pojmy:srovnatelny - Příručka ČNK

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.
====== Srovnatelné korpusy ======


Srovnatelné (//comparable//) korpusy se liší od korpusů [[pojmy:paralelni|paralelních]] tím, že neobsahují doslovné překlady textů, ale „texty vybrané podle týchž kritérií (žánru, zaměření, délky apod.) v různých jazycích (příp. v různých varietách jednoho jazyka)“((Chlumská, L., Není korpus jako korpus: Korpusy v kontrastivní lingvistice a translatologii. //Časopis pro moderní filologii 96//, 2014, č. 2, s. 225)). Srovnatelné korpusy bývají vícejazyčné, ale např. projekt ICE ukazuje druhou možnost: jednojazyčný korpus zachycující regionální variety daného jazyka. U tohoto typu korpusů velmi záleží na dodržení totožné metodologie při sestavování: podstatný není jen žánrově či časově vymezený výběr textů, ale kupříkladu i shoda v jejich délce.


===== Příklady srovnatelných korpusů =====

  * Korpusy sestavené podle vzoru prvního Brownova korpusu standardní americké angličtiny, např. LOB Corpus (britská angličtina) a Kolhapur Corpus (indická angličtina).
  * Projekt ICE (International Corpus of English) shromažďuje srovnatelné korpusy regionálních variet angličtiny, např. britské ([[http://www.ucl.ac.uk/english-usage/projects/ice-gb/index.htm|ICE-GB]]) či jamajské nebo irské. Oficiální stránka projektu v současnosti odkazuje na [[http://ice-corpora.net/ice/|čtrnáct (ne vždy plně) srovnatelných korpusů]].
  * Korpus [[https://sites.google.com/site/motazsite/arabic/comparable-corpora|AFEWC]] obsahuje texty v angličtině, francouzštině a arabštině, je založený na textech z Wikipedie.
  * V rámci Českého národního korpusu je k dispozici srovnatelný korpus [[cnk:jerome|JEROME]], obsahující nepřekladovou a překladovou češtinu (85 mil. slov), a korpusy řady WaC (Web as Corpus) obsahující např. britskou angličtinu [[cnk:ukwac|Korpus ukWaC]], [[cnk:dewac|němčinu]] a další jazyky.
  * Přes rozhraní [[pojmy:korpusovy_manazer#rozhrani_kontext|KonText]] je zpřístupněna i práce V. Benka, a sice srovnatelné [[cnk:aranea|korpusy Aranea]], obsahující 1 miliardu slov v sedmi evropských jazycích.

===== Srovnávání textů =====

Po vytvoření srovnatelného korpusu by bylo dobré moci ověřit, do jaké míry si zařazené dokumenty skutečně odpovídají. Na ''corpora-list'' proběhla v únoru a březnu 2014 diskuze na téma vyhodnocování podobnosti textů (//document similarity metrics//). Zaznělo, že řada případů identifikované podobnosti se zakládá na tom, že noviny vycházejí z týchž agenturních textů ((Srovnejme s tím, že [[http://qwone.com/~jason/20Newsgroups/|20 newsgroups]] je oblíbený datový zdroj sestávající z dvaceti různých publicistických tematických oblastí.)) i že k identifikování podobných textů lze využít třeba nějaký volně dostupný bezplatný program běžně používaný na odhalování plagiátů:
[[http://plagiarism.bloomfieldmedia.com/z-wordpress/2012/03/05/new-release-wcopyfind-4-1-1/|Copyfind]].
Velkou potíž představuje stanovení určité míry podobnosti. ((Věnoval se tomu i workshop 
[[http://ixa2.si.ehu.es/sts/index.php?option=com_content&view=article&id=47&Itemid=54|SemEval Text Similarity task 2013]], jehož hlavní zadání stanovilo: Mějme dvě věty, s1 a s2. Účastníci kvantifikují, jak podobné si s1 a s2 jsou, čímž vytvoří míru podobnosti (//similarity score//). Mezi druhy podobnosti, na něž se měli zaměřit, bylo: místo, autor, účastníci dění, čas, události nebo akce, téma, popis. Data jsou [[http://ixa2.si.ehu.es/sts/index.php?option=com_content&view=article&id=49&Itemid=56|dostupná zde]]<torsten.zesch@uni-due.de>).) Adam Kilgarriff & Tony Russell-Rose((<tgr@russellrose.com>)) [[http://aclweb.org/anthology//W/W98/W98-1506.pdf| vyhodnocovali různé metriky pro srovnávání korpusů]]
a vytvořili metodu //known-similarity corpora// na základě korpusu [[ftp://ftp.itri.brighton.ac.uk/KSC|KSC]] a [[http://nlp.shef.ac.uk/meter/|METER]].

Současnou bibliografii k tématu nabízí [[http://tuprints.ulb.tu-darmstadt.de/3641/1/Thesis_Screen.pdf|dizertace Daniela Baera]], navrhující srovnávat tři hodnoty: obsah, strukturu a styl textu. Je nicméně jasné, že bádání v dané oblasti se velmi rychle vyvíjí a máloco je pevně dané.
==== Související odkazy ====

<WRAP round box 51%>
[[pojmy:korpusy|Korpusy u nás a ve světě]] • [[pojmy:paralelni|Paralelní korpus]] • [[https://wiki.korpus.cz/doku.php/pojmy:korpusy#vyber_specificky_zamerenych_korpusu|Specifické korpusy]]  • 
[[cnk:struktura|Struktura Českého národního korpusu]]
</WRAP>
Historie: • ksk-dopisy • pozice • czesl-sgt • konfidencni_intervaly • nahodne_vzorky • problemy_lemmatizace • kwic • problemy_morfologie • syntakticka_analyza • srovnatelny