pojmy:asociacni_miry - Příručka ČNK

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.
====== Asociační (kolokační) míry ======

Asociační míry (association measures) jsou matematické postupy (vzorce) používané pro vyhledání [[pojmy:kolokace|kolokací]] v korpusu. 

Velká většina asociačních měr je omezena pouze na dvoučlenné kolokace ([[pojmy:bigram|bigramy]]). Asociační míry mají převážně matematický základ vycházející ze statistického testování hypotéz, vyskytují se ale i jinak motivované míry včetně čistě empirických bez vztahu ke statistické relevanci.

===== Obecný princip =====

Asociační míry typicky pracují s [[pojmy:frekvence|frekvencí]] celé [[pojmy:kolokace|kolokace]], jejích jednotlivých členů (slov) a velikostí korpusu, dosazují je do kontingenčních tabulek a na jejich základě počítají podle určeného vzorce výslednou číselnou hodnotu. Obvyklé značení těchto proměnných je: 
  * //f(x), f(y)// pro frekvenci slov //x// a //y//
  * //f(xy)// pro frekvenci spojení //xy// 
  * //N// pro velikost korpusu (počet [[pojmy:token|tokenů]])

Výsledná hodnota pro danou dvojici slov (obecně n-tici, resp. [[pojmy:ngram|n-gram]]) v korpusu vyjadřuje míru asociace mezi nimi, která může být u některých měr i záporná, což ukazuje negativní asociaci, tj. vzájemné „odpuzování“. Číselné hodnoty jedné asociační míry obecně nejsou srovnatelné s hodnotami jiné asociační míry, pro srovnávání se však číselné hodnoty běžně převádějí na pořadí ([[pojmy:frekvence#rank|rank]]) v seznamu kolokací uspořádaného podle číselných hodnot dané míry. 

Kolokační moduly v korpusovém software zpravidla umožňují uživatelům tvořit a zobrazovat seznamy nejvýznamnějších kolokací (slovních tvarů nebo lemmat) k vyhledanému slovu (node) podle výsledné hodnoty zvolené asociační míry.

===== Běžně užívané asociační míry =====

V současné době jsou známé desítky asociačních měr, mezi nejpoužívanější patří **Dice, log-likelihood, MI-score, MI3, T-score** aj. Vzhledem k šíři a různorodosti kolokací z lingvistického i matematického hlediska je pochopitelné, že se jednotlivé míry mohou navzájem výrazně lišit druhem kolokací, které označují za významné. Podstatný rozdíl je např. mezi MI-score a T-score: zatímco MI-score nachází silné kolokace s velkou relativní frekvencí, a tedy spíše výjimečné až náhodné, T-score naopak kolokace nenáhodné, pravidelné a ustálené, ale nepříliš výrazné. 

Protože nelze určit, která asociační míra je obecně „nejlepší“, a nelze ani očekávat uspokojivé podchycení celé množiny kolokací pomocí jediné univerzální míry, používají se v praxi také jejich kombinace. Výběr vhodné asociační míry by tedy měl záviset především na tom, jaký druh kolokací chceme hledat; důležité je přitom i nastavení kontextu a dalších parametrů (např. MI-score je citlivá na minimální frekvenci celé kolokace apod.).

==== MI-score a MI3 ====

MI-score (zkratka stojící za angl. //mutual information//) vychází z teorie informace, kde je pro jevy //x// a //y// definována takto:

$$I(xy) = \log_{2} \frac{p(xy)}{p(x) p(y)}$$

kde //p(x)// je pravděpodobnost jevu //x//, //p(y)// pravděpodobnost jevu //y// a //p(xy)// je pravděpodobnost, že jevy //x// a //y// nastanou současně. V případě slov v korpusu rozumíme //p(x)// pravděpodobnost výskytu hledaného slova ((slovem přitom rozumíme jak [[pojmy:word|slovní tvar]] tak [[pojmy:lemma|lemma]])) //x//, podobně //p(y)// pravděpodobnost výskytu slova //y// a //p(xy)// pravděpodobnost výskytu slova //y// v kontextu slova //x//. Vzhledem k tomu, že pravděpodobnosti slov v jazyce nám nejsou bezprostředně známé, musíme jejich hodnotou aproximovat relativní frekvencí slova v korpusu, která se počítá jako podíl zjištěné frekvence slova k celkové velikosti korpusu (//N//):

$p(x) = f(x) / N$

$p(y) = f(y) / N$

$p(xy) = f(xy) / N$

Po dosazení do vzorce dostaneme:

$$MI(xy) = \log_{2} \frac{\frac{f(xy)}{N}}{\frac{f(x)}{N} \frac{f(y)}{N}} = \log_{2} \frac{N f(xy)}{f(x) f(y)}$$

Nevítanou vlastností MI-score je to, že je velmi ovlivňováno frekvencí jednotlivých slov. Nejvyšších hodnot totiž dosahují dvojice slov s nízkou frekvencí. Z tohoto důvodu umožňují korpusové manažery při výpočtu MI-score nastavit spodní hranici frekvence a pro slova s absolutní frekvencí pod touto hranicí se potom MI-score nepočítá.

Hodnoty MI-score jsou převážně kladné (záporné hodnoty značí vzájemné odpuzování jednotek a jsou relativně řídké). Za relevantní bývá považována hranice MI = 7 (pro stomilionový korpus), kdy je oprávněná domněnka, že se jedná o systémovou kolokaci. Tato hodnota ovšem samozřejmě závisí na velikosti korpusu.

FIXME

==== T-score ====

T-score vychází ze statistické metody testování hypotéz pomocí tzv. t-testu a bývá někdy označována jako míra kontrastu.

V případě [[pojmy:kolokace|kolokací]] testujeme, zda zjištěné počty výskytů jednotlivých slov a jejich dvojic odpovídají náhodnému rozložení slov v korpusu. Čím vyšší je hodnota T-score, tím méně je pravděpodobné, že jde o náhodné rozložení slov a a naopak tím pravděpodobnější je, že jde o pevnější, ustálenější kombinace slov, tj. o kolokace.

Statistický vzorec pro náhodnou veličinu adaptujeme na rozložení slov v korpusu a jeho zjednodušením dostáváme pro výpočet t-score vztah:

$$T(xy) = \frac{f(xy) - \frac{f(x) f(y)}{N}}{\sqrt{f(xy)}}$$

Vzorec pro výpočet T-score můžeme interpretovat i tak, že se v čitateli jedná o porovnání skutečné (tj. zjištěné, naměřené) hodnoty frekvence [[pojmy:ngram|bigramu]] //f(xy)//, od něhož je odečítána hodnota očekávaná. Očekávaná (expected) frekvence je vždy součinem frekvence slova //x// a pravděpodobnosti slova //y// (nebo také pravděpodobnosti slova //x// a freklvence slova //y//): $f(x) p(y) = p(x) f(y) = \frac{f(x) f(y)}{N}$. Předpokládáme totiž, že kolokace //xy// může vzniknout tolikrát, kolikrát je v korpusu //x,// krát pravděpodobnost, že se v okolí objeví slovo //y//.

Na rozdíl od MI-score je T-score citlivé na frekvenci celé kolokace - výsledky tohoto testu tak pravidelně přeceňují kombinace slov velmi frekventovaných (což jsou většinou slova gramatická) na úkor méně frekventovaných lexikálních kombinací.

FIXME

==== MIt score ====

MIt score je kombinací měr MI-score a T-score, které má alespoň částečně kompenzovat nevýhody těchto měr. Výpočet MIt se provádí podle následujícího vzorce:

$MIt(xy) = \min( MI(xy), T(xy) )$

Využívá přitom faktu, že hodnoty MI-score a T-score se pohybují zhruba ve stejném rozsahu. Za hodnotu MIt se považuje menší z hodnot MI-score a T-score. Jelikož je MI-score nespolehlivé při určování míry asociace u slov s nízkou frekvencí a T-score naopak přeceňuje kolokace tvořené slovy s vysokou frekvencí, slouží MIt jako korektiv, který bere v úvahu vždy tu z hodnot, o které můžeme předpokládat, že je v danou chvíli vhodnější. 

==== Dice a logDice ====

Na rozdíl od ostatních měr je Dice a od ní odvozená míra logDice závislá pouze na frekvencích slov //x// a //y// a na frekvenci bigramu //xy//. Do výpočtu tak nevstupuje N, tedy velikost korpusu.

$$Dice(xy) = \frac{2 f(xy)}{f(x) + f(y)}$$

$$logDice(xy) = 14 + \log_{2} \frac{2 f(xy)}{f(x) + f(y)} $$

V základu výpočtu míry Dice je poměřování frekvence bigramu, //f(xy)//, s průměrem frekvencí slov //x// a //y//, //(f(x) + f(y))/2//. Vzhledem k tomu, že frekvence bigramu //f(xy)// nemůže nikdy být větší než průměr hodnot frekvencí obou jeho konstituentů, pohybují se hodnoty Dice v intervalu (0,1). Maximální hodnota (=1) nastává v případě, že f(xy) = f(x) = f(y).

LogDice představuje normalizovanou variantu Dice, která nabývá hodnot od mínus nekonečna do 14.

FIXME

==== Log likelihood ====

$$LL(xy) = f(xy) \log(f(xy)) + (f(x) - f(xy)) \log (f(x) - f(xy)) + (f(y) - f(xy)) \log (f(y) - f(xy)) + N \log N $$
$$ + (N + f(xy) - f(x) - f(y)) \log (N + f(xy) - f(x) - f(y)) - f(x) \log (f(x)) - f(y) \log (f(y)) - (N - f(x)) \log (N - f(x)) - (N - f(y)) \log (N - f(y))$$

FIXME

==== Min. sensitivity (citlivost) ====

Minimální citlivost je jedna z nejjednodušších asociačních měr. Její silnou stránkou je fakt, že je snadno interpretovatelná. Vypočítává se podle vzorce:

$$MS(xy) = \min ( \frac{f(xy)}{f(x)}, \frac{f(xy)}{f(y)} ) $$

Jedná se tedy o menší z hodnot poměru frekvence bigramu k frekvenci jednoho z jeho konstituentů.

FIXME

==== Chi2 ====

Princip chi kvadrát testu, užívaného pro extrakci kolokací, je vysvětlen v [[pojmy:chi2|samostatném článku]].

==== z-score ====

Svojí podstatou i výsledky je z-score velmi podobné T-score. Dnes se užívá zřídka.

$$z(xy) = \frac{f(xy) - \frac{f(x) f(y)}{N}}{\sqrt{\frac{f(x) f(y)}{N}}}$$

FIXME

===== Související odkazy =====

<WRAP round box 49%>
[[pojmy:frekvence|Frekvence]] • [[pojmy:kolokace|Kolokace]] • [[http://www.collocations.de/AM/index.html|www.collocations.de]]
</WRAP>
Historie: • syn2015 • capka • syn2006pub • en • wag • syntakticka_komplexita • reprezentativnost • dotazovaci_jazyk • anotace_mwe • kwic