| Obě strany předchozí revizePředchozí verzeNásledující verze | Předchozí verze |
| pojmy:frekvence [2016/09/29 13:37] – [Využití a význam frekvence] vaclavcvrcek | pojmy:frekvence [2021/02/22 18:36] (aktuální) – [Využití a význam frekvence] dominikakovarikova |
|---|
| ====== Frekvence ====== | ====== Frekvence ====== |
| |
| Frekvence v korpusové lingvistice označuje počet výskytů jevu v korpusu, **četnost** formy nebo jevu. Uvádí se buď v **absolutních hodnotách**, např. [[pojmy:lemma|lemma]] //pes// se ve 100 milionovém korpusu [[cnk:syn2010|SYN2010]] vyskytuje 17 701krát, nebo jako údaj **relativní**, např. lemma //pes// se v SYN2010 vyskytuje (po zohlednění rozdílného počtu slov a pozic v korpusu) 145krát na milion slov (používané zkratky jsou **[[pojmy:ipm|ipm]]** = instances per million nebo **ppm** = parts per million nebo ). | Frekvence v korpusové lingvistice označuje počet výskytů jevu v korpusu, **četnost** formy nebo jevu. Uvádí se buď v **absolutních hodnotách**, např. [[pojmy:lemma|lemma]] //pes// se ve 100 milionovém korpusu [[cnk:syn2020|SYN2020]] vyskytuje 17 026krát, nebo jako údaj **relativní**, např. lemma //pes// se v SYN2020 vyskytuje (po zohlednění rozdílného počtu slov a pozic v korpusu) 140krát na milion slov (používané zkratky jsou **[[pojmy:ipm|ipm]]** = instances per million nebo **ppm** = parts per million nebo ). |
| |
| Zatímco absolutní frekvence (tj. prostý počet výskytů slov v korpusu) vyžaduje pro jejich zhodnocení další upřesnění (v podobě celkové velikosti korpusu nebo frekvence jiného jevu pro srovnání), relativní frekvence (tj. absolutní frekvence poměřovaná celkovou délkou korpusu) slouží jako ukazatel četnosti jevu sama o sobě a umožňuje porovnání i mezi korpusy nebo texty nestejné velikosti. | Zatímco absolutní frekvence (tj. prostý počet výskytů slov v korpusu) vyžaduje pro jejich zhodnocení další upřesnění (v podobě celkové velikosti korpusu nebo frekvence jiného jevu pro srovnání), relativní frekvence (tj. absolutní frekvence poměřovaná celkovou délkou korpusu) slouží jako ukazatel četnosti jevu sama o sobě a umožňuje porovnání i mezi korpusy nebo texty nestejné velikosti. |
| Frekvence jako základní veličina libovolné jednotky ([[pojmy:typ|typu]]) a languová (systémová) charakteristika se používá nejen k poměřování mezi alternujícími jevy (např. frekvence morfologických variant //bychom// a //bysme//, viz [[http://syd.korpus.cz/05xNuUX8.syn|SyD]]), ale slouží také ke konstruování slovníků (vymezení nejčetnějších slov jako jádra slovní zásoby), extrakci [[pojmy:kolokace|kolokací]], zhodnocení gramatických kategorií, identifikaci [[pojmy:keyword|klíčových slov]] v textech apod. | Frekvence jako základní veličina libovolné jednotky ([[pojmy:typ|typu]]) a languová (systémová) charakteristika se používá nejen k poměřování mezi alternujícími jevy (např. frekvence morfologických variant //bychom// a //bysme//, viz [[http://syd.korpus.cz/05xNuUX8.syn|SyD]]), ale slouží také ke konstruování slovníků (vymezení nejčetnějších slov jako jádra slovní zásoby), extrakci [[pojmy:kolokace|kolokací]], zhodnocení gramatických kategorií, identifikaci [[pojmy:keyword|klíčových slov]] v textech apod. |
| |
| Pro korektní interpretaci frekvence je třeba si uvědomit, že se jedná o bodový odhad četnosti jevu v celém jazyce. Každý korpus je více či méně přesnou aproximací zkoumané populace (= texty určitého druhu) a tudíž v různých korpusech vytvořených podle téže metodologie (i kdybychom byli schopni zaručit jejich plnou srovnatelnost) se bude frekvence zkoumaného jevu drobně lišit. K podchycení této variability hodnot slouží **konfidenční intervaly**, které udávají, v jakém rozmezí se skutečná četnost zkoumaného jevu v populaci nachází. Pro zjištění konfidenčního intervalu využíváme binomické rozdělení, vstupními informacemi jsou frekvence jevu, velikost korpusu a hladina významnosti. | Pro korektní interpretaci frekvence je třeba si uvědomit, že se jedná o bodový odhad četnosti jevu v celém jazyce. Každý korpus je více či méně přesnou aproximací zkoumané populace (= texty určitého druhu), a tudíž v různých korpusech vytvořených podle téže metodologie (i kdybychom byli schopni zaručit jejich plnou srovnatelnost) se bude frekvence zkoumaného jevu drobně lišit. K podchycení této variability hodnot slouží **[[wp>Confidence_interval|konfidenční intervaly]]**, které udávají rozmezí, v němž se skutečná četnost zkoumaného jevu s určitou pravděpodobností v populaci nachází. Pro zjištění konfidenčního intervalu využíváme [[wp>Binomial_distribution|binomické rozdělení]], vstupními hodnotami jsou frekvence jevu, velikost korpusu a hladina významnosti vyjadřující přípustnou míru omylu. |
| |
| <html> | Pro účely zjištění konfidenčních intervalů můžeme použít např. korpusovou kalkulačku **Calc** ([[https://www.korpus.cz/calc/|www.korpus.cz/calc]]), konkrétně první modul [[https://www.korpus.cz/calc/?module=OwOc|1 slovo v 1 korpusu]]. |
| <script> | |
| function resizeIframe(pixels) { | |
| document.getElementById("varianty").style.height = pixels + "px"; | |
| } | |
| |
| // cross-browser compatible infrastructure | Konfidenční interval okolo naměřené (zjištěné) frekvence na hladině významnosti 0,95 říká, že v pokusu, který by zahrnoval nekonečné množství srovnatelných a stejně rozsáhlých korpusů, by frekvence hledaného jevu byla v 95 % měření v rámci tohoto intervalu. Při analýze bychom tedy měli vždy počítat s tím, že reálná frekvence jevu může nabývat kterékoli hodnoty z konfidenčního intervalu. |
| var eventMethod = window.addEventListener ? "addEventListener" : "attachEvent"; | |
| var eventer = window[eventMethod]; | |
| var messageEvent = eventMethod == "attachEvent" ? "onmessage" : "message"; | |
| |
| // listen to message from iframe | === Příklady === |
| eventer(messageEvent, function(e) { | |
| if (e.origin == "https://trost.korpus.cz") { | |
| var key = e.message ? "message" : "data"; | |
| var data = e[key]; | |
| resizeIframe(data); | |
| } else { | |
| console.log("Was expecting a message from https://trost.korpus.cz, got " + e.origin + " instead."); | |
| } | |
| }, false); | |
| |
| // send message to iframe on window resize | Když v korpusu o velikosti zhruba 100 mil. slov (např. [[cnk:syn2020|SYN2020]]) naměříme u zkoumaného jevu frekvenci 50 výskytů, je třeba takový výsledek interpretovat tak, že v populaci textů, kterou má tento korpus reprezentovat, se tento jev objevuje v rozmezí od 37 do 66 výskytů na 100 mil. textových slov (s 5% pravděpodobností omylu, tj. s rizikem, že reálný výsledek se bude nacházet vně tohoto intervalu). |
| window.onresize = function() { | |
| document.getElementById("varianty").contentWindow.postMessage("parentWindowResized", "*"); | Zjistíme-li, že se hledaný jev v korpusu (např. v [[cnk:oral2008|ORAL2008]]) vyskytuje právě třikrát, znamená to, že v jiném plně srovnatelném korpusu by tentýž jev mohl nabývat hodnoty až 9 výskytů nebo by v něm nemusel být přítomen vůbec (opět při 5% pravděpodobnosti chyby).((U takto nízkých hodnot záleží rovněž na zvoleném způsobu zaokrouhlování.)) |
| } | |
| </script> | |
| <iframe id="varianty" src="https://trost.korpus.cz/shiny/cvrcek/confintwiki/" frameborder="0" width="100%"></iframe> | |
| </html> | |
| |
| Konfidenční interval okolo naměřené (zjištěné) frekvence na hladině významnosti 95 % nám říká, že v pokusu, který by zahrnoval nekonečné množství srovnatelných a stejně rozsáhlých korpusů, by frekvence hledaného jevu byla v 95 % měření v rámci tohoto intervalu. | |
| ===== Disperze jevů ===== | ===== Disperze jevů ===== |
| |
