AplikaceAplikace
Nastavení

Toto je starší verze dokumentu!


Korpus SYN

Název SYN verze 3
Pozice Počet pozic (tokenů) 2 685 127 310
Počet pozic (tokenů) bez interpunkce 2 231 541 041
Počet slovních tvarů (wordů) 7 604 328
Počet lemmat 5 170 696
Struktury Počet opusů 49 882
Počet dokumentů 9 163 021
Počet vět 178 499 972
Další informace Referenční ANO
Reprezentativní NE (převažuje publicistika)
Rok zveřejnění 2014

Korpus SYN je spojení všech synchronních psaných korpusů řady SYN, které konkrétně ve verzi 3 zahrnuje korpusy SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010 a SYN2013PUB.

Protože jsou všechny tyto korpusy navzájem disjunktní (tj. každý z nich obsahuje rozdílné texty), je celková velikost korpusu SYN verze 3 dána součtem jejich velikostí, který činí 2,232 miliardy textových slov (tokenů bez interpunkce). Korpus SYN není reprezentativní; v jeho složení výrazně převažuje publicistika, což je důsledkem převahy rozsáhlých publicistických korpusů SYN2006PUB, SYN2009PUB a SYN2013PUB v korpusu SYN verze 3.

Korpus SYN verze 3 je referenční, a zůstane tedy uživatelům neustále dostupný i po zveřejnění novějších verzí. Je ovšem třeba upozornit na postupné zastarávání dodané lingvistické informace, které z referenčnosti zákonitě vyplývá.

Složení korpusu SYN verze 3

Referenční korpusy psaného jazyka (synchronní a obecné) v pořadí podle doby vzniku
korpus velikost (počet slov) lemmatizace morfologické značky rok zveřejnění charakteristika korpusu
SYN2013PUB 935 mil. ANO ANO 2013 korpus publicistických textů z let 2005-2009
SYN2010 100 mil. ANO ANO 2010 žánrově vyvážený korpus, převažují texty z let 2005–2009
SYN2009PUB 700 mil. ANO ANO 2010 korpus publicistických textů z let 1995–2007
SYN2006PUB 300 mil. ANO ANO 2006 korpus publicistických textů z let 1989–2004
SYN2005 100 mil. ANO ANO 2005 žánrově vyvážený korpus, převažují texty z let 2000–2004
SYN2000 100 mil. ANO ANO 2000 žánrově vyvážený korpus, převažují texty z let 1990–1999

Složení publicistické části korpusu SYN verze 3 pokrývá produkci hlavních celostátních deníků (Mladá fronta DNES, Lidové noviny, Právo, Hospodářské noviny, Blesk) a nespecializovaných časopisů (Reflex, Respekt, Týden) mezi lety 1998–2009. Tabulku s velikostí 15 titulů nejvíce zastoupených v publicistické části korpusu SYN verze 3 (s rozložením po jednotlivých letech; údaje jsou v milionech slov, tj. pozic bez započtení interpunkce) je možné stáhnout níže, náhled složení publicistické části je vidět na následujícím grafu.

Složení publicistické části korpusu SYN verze 3

Náhled složení publicistické části korpusu SYN verze 3

Pozor na srovnávání korpusů řady SYN

Neustálý vývoj nástrojů, jimiž se korpusy zpracovávají, ztěžuje prosté srovnávání mezi nimi. Vylepšení, kterými zpracování korpusů prošlo od roku 2000, přitom vůbec nejsou zanedbatelná: mnoho nově rozpoznaných slovních tvarů, spolehlivější desambiguace s pravidlovým komponentem, odlišné zpracování některých jazykových jevů, doplnění a sjednocení bibliografických údajů (strukturní značky a zdroje) atd. Všechna tato vylepšení přitom nebylo možné promítnout do již zveřejněných korpusů: buď by totiž došlo k nepřijatelnému porušení referenčnosti, nebo by bylo nutné zavést různé verze jednotlivých korpusů, což by ale pro většinu uživatelů bylo nepřehledné.

Řešením je aktuální SYN

Kvůli tomu všemu byl vytvořen korpus SYN, který je možné si představit jako jakýsi koláč rozdělený na řadu dílků, tvořený ze všech obecných synchronních psaných korpusů, které ovšem byly před zařazením do korpusu SYN jednotně zpracovány nejnovějšími nástroji včetně tokenizace, segmentace, morfologické analýzy a desambiguace. U všech zařazených korpusů se tak zpracování dostává na úroveň posledního referenčního korpusu řady SYN, ve verzi 3 tedy SYN2013PUB.

Referenční korpusy jako subkorpusy v SYN

Hledání v nově zpracovaných textech všech korpusů řady SYN je doplněno také možností vytváření subkorpusů, které svým složením odpovídají původním referenčním korpusům. To je možné pomocí hodnoty atributu <doc.syn> (do verze 3 včetně <opus.syn>), takže například subkorpus odpovídající korpusu SYN2005 lze vytvořit zadáním podmínky syn="2005" na značku <doc> (do verze 3 <opus>). Tuto podmínku lze samozřejmě dále kombinovat s dalšími podmínkami omezujícími typ textu, rok vydání apod., jak je popsáno v Kurzu práce s ČNK. Korpus SYN je tedy možné používat také pro práci se staršími reprezentativními korpusy, v jeho rámci zpracovanými nejnovějšími nástroji. Při srovnávání původních korpusů s jim odpovídajícími novými subkorpusy mohou být patrné někdy i dosti podstatné změny způsobené rozdíly ve zpracování. Jde o změny způsobené nejenom odlišnou lemmatizací, ale i rozdílnou frekvencí slovních tvarů nebo rozdílným počtem pozic, což je dáno změnami v tokenizaci.

Jednotlivé verze korpusu SYN jsou referenční, a tedy neměnné a zpětně dostupné. Nové verze korpusu SYN budou počínaje rokem 2016 zveřejňovány v pravidelných ročních intervalech a budou především zahrnovat nové publicistické texty z předchozího roku; součástí aktualizované verze budou samozřejmě také opravy chyb a vylepšení anotace, zejména morfologické analýzy a/nebo desambiguace. Korpus SYN je proto možné charakterizovat jako spojení všech korpusů řady SYN zpracované nejnovějšími verzemi dostupných nástrojů.

Výhody korpusu SYN

  • přístup k velmi rozsáhlým jazykovým datům (více než 2 mld. slov)
  • možnost vyhledávání ve všech korpusech řady SYN současně
  • možnost vytváření subkorpusů odpovídajících původním korpusům
  • nové zpracování původních korpusů vylepšenými nástroji

Struktura korpusu SYN verze 3

Mezi strukturní značky používané v tomto korpusu patří <opus>, <doc>, <s> – tedy opus, dokument, věta – a pak každá jednotlivá pozice. Zobrazit si je můžete v položce menu Zobrazení.

Strukturní značky v korpusovem manažeru

K těmto strukturním jednotkám náležejí následující atributy, na obrázku patrné pod nadpisem Reference.

Jak citovat SYN verze 3

Křen, M. – Čermák, F. – Hlaváčová, J. – Hnátková, M. – Jelínek, T. – Kocek, J. – Kopřivová, M. – Novotná, R. – Petkevič, V. – Procházka, P. – Schmiedtová, V. – Skoumalová, H. – Šulc, M.: Korpus SYN, verze 3 z 27. 1. 20141). Ústav Českého národního korpusu FF UK, Praha 2014. Dostupný z WWW: http://www.korpus.cz

Hnátková, M. – Křen, M. – Procházka, P. – Skoumalová, H. (2014): The SYN-series corpora of written Czech. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), 160–164. Reykjavík: ELRA. ISBN 978-2-9517408-8-4.

Michal Křen, Olga Richterová

Související odkazy

1)
Doplňte aktuální datum.