pojmy:srovnatelny - Příručka ČNK

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.
====== Srovnatelné korpusy ======


Srovnatelné (//comparable//) korpusy se liší od korpusů [[pojmy:paralelni|paralelních]] tím, že neobsahují doslovné překlady textů, ale „texty vybrané podle týchž kritérií (žánru, zaměření, délky apod.) v různých jazycích (příp. v různých varietách jednoho jazyka)“((Chlumská, L., Není korpus jako korpus: Korpusy v kontrastivní lingvistice a translatologii. //Časopis pro moderní filologii 96//, 2014, č. 2, s. 225)). Srovnatelné korpusy bývají vícejazyčné, ale např. projekt ICE ukazuje druhou možnost: jednojazyčný korpus zachycující regionální variety daného jazyka. U tohoto typu korpusů velmi záleží na dodržení totožné metodologie při sestavování: podstatný není jen žánrově či časově vymezený výběr textů, ale kupříkladu i shoda v jejich délce.


===== Příklady srovnatelných korpusů =====
  * Korpusy sestavené podle vzoru prvního Brownova korpusu standardní americké angličtiny, např. LOB Corpus (britská angličtina) a Kolhapur Corpus (indická angličtina).
  * Projekt ICE (International Corpus of English) shromažďuje srovnatelné korpusy regionálních variet angličtiny, např. britské ([[http://www.ucl.ac.uk/english-usage/projects/ice-gb/index.htm|ICE-GB]]) či jamajské nebo irské. Oficiální stránka projektu v současnosti odkazuje na [[http://ice-corpora.net/ice/|čtrnáct (ne vždy plně) srovnatelných korpusů]].
  * Korpus [[https://sites.google.com/site/motazsite/arabic/comparable-corpora|AFEWC]] obsahuje texty v angličtině, francouzštině a arabštině, je založený na textech z Wikipedie.
  * V rámci Českého národního korpusu je k dispozici srovnatelný korpus [[cnk:jerome|JEROME]] obsahující původní a překladovou češtinu (85 mil. slov) a korpusy řady WaC (Web as Corpus) obsahující např. britskou angličtinu [[cnk:ukwac|Korpus ukWaC]], [[cnk:dewac|němčinu]] a další jazyky.
  * Přes rozhraní [[pojmy:korpusovy_manazer#rozhrani_kontext|KonText]] je zpřístupněna i práce V. Benka, a sice srovnatelné [[cnk:aranea|korpusy Aranea]]  obsahující 1 miliardu slov v sedmi evropských jazycích.

===== Srovnávání textů =====
Po vytvoření srovnatelného korpusu by bylo dobré moci ověřit, do jaké míry si zařazené dokumenty skutečně odpovídají. Na ''corpora-list'' proběhla diskuze na téma vyhodnocování podobnosti textů (document similarity metrics). Ivelina Nikolova, která ji vyvolala, 4. 3. 2014 shrnula odpovědi takto:

K tématu podobnosti existuje poměrně málo jiných dat než těch zaměřených na úroveň vět. 

__Zdroje__:

1.  Michael D. Lee, Brandon Pincombe, and Matthew
Welsh. 2005. An empirical evaluation of models of
text document similarity. In Proceedings of the 27th
Annual Conference of the Cognitive Science Society,
pages 1254--1259, Mahwah, NJ. Erlbaum.

Jde o podobnosti mezi texty o velikosti odstavce, stanovené lidmi. ((Přístup k datům lze získat od Michaela Lee, <mdlee@uci.edu>))

2. Linda Bawcom ((<linda.bawcom@sbcglobal.net>)) v souvislosti se svým korpusem článků vztahujících se k tématu tsunami upozorňuje, že:
1) řada případů identifikované podobnosti se zakládá na tom, že noviny vycházejí z týchž agenturních textů 
2) použila volně dostupný bezplatný program k identifikování podobných textů (běžně používaný na odhalování plagiátů):
[[http://plagiarism.bloomfieldmedia.com/z-wordpress/2012/03/05/new-release-wcopyfind-4-1-1/|Copyfind]].


3. [[http://ixa2.si.ehu.es/sts/index.php?option=com_content&view=article&id=47&Itemid=54|SemEval Text Similarity task 2013]]
- Hlavní zadání: Mějme dvě věty, s1 a s2. Účastníci kvantifikují, jak podobné si s1 a s2 jsou, čímž vytvoří míru podobnosti (similarity score).
- Mezi druhy podobnosti, na něž se měli zaměřit, bylo: místo, autor, účastníci dění, čas, události nebo akce, téma, popis. 
Data jsou [[http://ixa2.si.ehu.es/sts/index.php?option=com_content&view=article&id=49&Itemid=56|dostupná zde]]((<torsten.zesch@uni-due.de>)).

4. [[http://qwone.com/~jason/20Newsgroups/|20 newsgroups]]
Oblíbený datový zdroj sestávající z dvaceti různých publicistických tematických oblastí.

5. [[http://trec.nist.gov/data/reuters/reuters.html|Publicistický korpus uvolněný Reuters]] je k dispozici po zaslání podepsaných souhlasů.

6. Adam Kilgarriff & Tony Russell-Rose((<tgr@russellrose.com>)) [[http://aclweb.org/anthology//W/W98/W98-1506.pdf|vyhodnocovali různé metriky pro srovnávání korpusů]]
a vytvořili metodu //known-similarity corpora// na základě korpusu [[ftp://ftp.itri.brighton.ac.uk/KSC|KSC]] a [[http://nlp.shef.ac.uk/meter/|METER]].

7. Právo EU - korpus JRC((<ralf.steinberger@jrc.ec.europa.eu>))
- [[http://ipsc.jrc.ec.europa.eu/index.php?id=60|JEX Indexer]] je využívaný k indexaci dokumentů pomocí klíčových slov. 

8. Současnou bibliografii k tématu nabízí [[http://tuprints.ulb.tu-darmstadt.de/3641/1/Thesis_Screen.pdf|dizertace Daniela Baera]], navrhující srovnávat tři hodnoty: obsah, strukturu a styl textu.
==== Související odkazy ====

<WRAP round box 60%>
[[pojmy:korpusy|Rozmanité korpusy]] • [[pojmy:paralelni|Paralelní korpus]] • [[https://wiki.korpus.cz/doku.php/pojmy:korpusy#vyber_specificky_zamerenych_korpusu|Specifické korpusy]]  • 
[[cnk:struktura|Struktura Českého národního korpusu]]
</WRAP>
Historie: • periodicity • nahodne_vzorky • hledani_v_mluvenych_korpusech_ortofon • problemy_lemmatizace • syntakticka_komplexita • srovnatelny • ksk-dopisy • kwic • syntakticka_analyza • pozice