pojmy:precision - Příručka ČNK

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.
====== Precision a recall ======

Oba pojmy - //precision// i //recall// - jsou původně převzaty z informatiky a je možné je přeložit jako **přesnost** a **výtěžnost** pokrytí zkoumaných dat daným přístupem. Využívají se zejména při hodnocení úspěšnosti automatických nástrojů na analýzu textu (např. [[pojmy:tag|taggerů]]).

===== Precision =====

Míra precision je definována jako procentuální poměr relevantních výsledků analýzy ke všem výsledkům analýzou získaným. 

===== Recall =====

Na rozdíl od precision je recall poměr relevantních výsledků analýzy ke všem relevantním výskytům ve zkoumaném vzorku bez ohledu na to, zda byly analýzou identifikovány.

==== Příklad ====

Pokud bychom se např. snažili v korpusu vyhledat všechny výskyty slov patřících k paradigmatu //stavení// pouze pomocí dotazu, který nachází pouze tvary končící na //-í//, bez jakékoliv další specifikace, byla by míra precision snížena (z maximálních 100 %) tím, že by se ve výsledku objevovaly i formy z jiných paradigmat (//paní, mladí, trpí// apod.). Míra recall by byla nižší (než maximálních 100 %) v důsledku absence tvarů //stavením, náměstími// apod., které dotaz nepodchytil, avšak do výsledku měly být podle zadání započítány. 

Celkový objem dat, s nimiž pracujeme při analýze, můžeme rozdělit do čtyř skupin:
  - případy, které nás zajímají a pomocí dané metody se nám skutečně podařilo je vyfiltrovat (relevantní výsledky; angl. tzv. //true positives//, **TP** - správná zařazení do výsledků)
  - případy, které nás sice nezajímají, ale naše metoda (jsouc nedokonalá) je vyfiltrovala taky (//false positives//, **FP** - nesprávná zařazení)
  - případy, které nás sice zajímají, ale naší metodě unikly (//false negatives//, **FN** - nesprávná vynechání)
  - případy, které nás nezajímají a metoda je z výsledků správně vyloučila (//true negatives//, **TN** - správná vynechání) 
Počet všech výsledků získaných analýzou je dán součtem **N_získáno = TP + FP** (veškeré případy, které metoda za relevantní //označila//); počet výsledků, které bychom ideálně chtěli získat, je dán součtem **N_zamýšleno = TP + FN** (veškeré případy, které bez ohledu na nedokonalou metodu relevantní //reálně jsou//).

Předpokládejme, že dotaz hledající tvary končící na //-í// roztřídí (nerealisticky malý) korpus o 1000 [[pojmy:token|tokenů]] do čtyř výše zmíněných skupin následovně:

^ ^ relevantní tokeny ^ nerelevantní tokeny ^
^ tokeny zařazené do výsledků | 45 (TP) | 55 (FP) |
^ tokeny do výsledků nezařazené | 5 (FN) | 895 (TN) |

Z hlediska našeho záměru, kterým bylo najít všechna slova náležející k paradigmatu //stavení//, má naše metoda následující parametry:
  * //precision// = TP / N_získáno = TP / (TP + FP) = 45 / (45 + 55) = 45 %
  * //recall// = TP / N_zamýšleno = TP / (TP + FN) = 45 / (45 + 5) = 90 %

Můžeme učinit závěr, že se nám zvolenou metodou podařilo z korpusu vyvolat vysoké procento celkově dostupných výskytů sledovaného jevu (//recall// je 90 %), ale zároveň jsme je pomíchali v podstatě půl na půl s případy, které nás nezajímají (//precision// je jen 45 %).

==== Související odkazy ====

<WRAP round box 50%>
[[pojmy:desambiguace|Desambiguace]] • [[pojmy:parser|Parsing]] • [[pojmy:tag|Tagování]]
</WRAP>
Historie: • opus • menzerath • logdice • asociacni_miry • verze14 • within • site_notice_en • orator • meet • typ
Hledat

Navigace

Tisk/export

Nástroje

Jazyky

Licence
