Toto je starší verze dokumentu!
Korpus SYN verze 4
Název | SYN verze 4 | |
---|---|---|
Pozice | Počet pozic (tokenů) | 4 349 023 692 |
Počet pozic (tokenů) bez interpunkce | 3 626 417 275 | |
Počet slovních tvarů (wordů) | 10 506 034 | |
Počet lemmat | 7 427 573 | |
Struktury | Počet dokumentů | 87 653 |
Počet textů | 14 097 711 | |
Počet vět | 275 182 453 | |
Další informace | Referenční | ANO |
Reprezentativní | NE (převažuje publicistika) | |
Rok zveřejnění | 2016 |
Každý korpus SYN obsahuje vždy všechny synchronní psané korpusy řady SYN zveřejněné do doby vzniku dané verze. Korpus SYN verze 4 tedy zahrnuje korpusy SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010, SYN2013PUB a SYN2015; kromě nich je však jeho součástí také dosud nezveřejněná publicistika převážně z let 2010–2014 v ročních objemech přesahujících 200 mil. slov.
Protože jsou všechny tyto složky navzájem disjunktní (tj. neobsahují stejné texty), je celková velikost korpusu SYN verze 4 dána součtem jejich velikostí, který činí 3,626 miliardy textových slov (tokenů bez interpunkce). Korpus SYN není reprezentativní; v jeho složení dominuje publicistika, což je důsledkem převahy rozsáhlých publicistických korpusů SYN2006PUB, SYN2009PUB, SYN2013PUB a publicistické složky z let 2010–2014.
Korpus SYN verze 4 je referenční, a zůstane tedy uživatelům neustále dostupný i po zveřejnění novějších verzí (je ovšem třeba upozornit na postupné zastarávání dodané lingvistické informace, které z referenčnosti zákonitě vyplývá). Jednotlivé verze korpusu SYN budou nadále zveřejňovány pravidelně každý rok s přírůstkem v podobě aktuálních publicistických dat, přičemž tento přírůstek bude označen hodnotou atributu <doc.syn>
rovnou verzi korpusu SYN, v níž se daný text objevil poprvé; subkorpus odpovídající výše zmíněné dosud nezveřejněné publicistice tak lze ze SYN verze 4 vytvořit zadáním podmínky syn="v4"
.
Složení korpusu SYN verze 4
Referenční korpusy psaného jazyka (synchronní a obecné) v pořadí podle doby vzniku | |||||
---|---|---|---|---|---|
korpus | velikost (počet slov) | lemmatizace | morfologické značky | rok zveřejnění | charakteristika korpusu |
SYN2015 | 100 mil. | ANO | ANO | 2015 | reprezentativní korpus, převažují texty z let 2010–2014 |
SYN2013PUB | 935 mil. | ANO | ANO | 2013 | korpus publicistických textů z let 2005-2009 |
SYN2010 | 100 mil. | ANO | ANO | 2010 | reprezentativní korpus, převažují texty z let 2005–2009 |
SYN2009PUB | 700 mil. | ANO | ANO | 2010 | korpus publicistických textů z let 1995–2007 |
SYN2006PUB | 300 mil. | ANO | ANO | 2006 | korpus publicistických textů z let 1989–2004 |
SYN2005 | 100 mil. | ANO | ANO | 2005 | reprezentativní korpus, převažují texty z let 2000–2004 |
SYN2000 | 100 mil. | ANO | ANO | 2000 | reprezentativní korpus, převažují texty z let 1990–1999 |
Složení publicistické části korpusu SYN verze 4 pokrývá produkci hlavních celostátních deníků (Mladá fronta DNES, Lidové noviny, Právo, Hospodářské noviny, Blesk, Sport), regionálních deníků (především Deníky Bohemia a Moravia z produkce nakladatelství Vltava Labe Media) a nespecializovaných časopisů (Reflex, Respekt, Týden) v letech 1998–2014; celkový počet publicistických titulů je 176. Následující grafy ukazují složení korpusu SYN podle hlavních textových typů v jednotlivých letech a bližší pohled na složení publicistické části.
Pozor na srovnávání korpusů řady SYN
Neustálý vývoj nástrojů, jimiž se korpusy zpracovávají, ztěžuje prosté srovnávání mezi nimi. Vylepšení, kterými zpracování korpusů prošlo od roku 2000, přitom vůbec nejsou zanedbatelná: mnoho nově rozpoznaných slovních tvarů, spolehlivější desambiguace s pravidlovým komponentem, odlišné zpracování některých jazykových jevů, doplnění a sjednocení bibliografických údajů (strukturní značky a zdroje) atd. Všechna tato vylepšení přitom nebylo možné promítnout do již zveřejněných korpusů: buď by totiž došlo k nepřijatelnému porušení referenčnosti, nebo by bylo nutné zavést různé verze jednotlivých korpusů, což by ale pro většinu uživatelů bylo nepřehledné.
Řešením je aktuální SYN
Kvůli tomu všemu byl vytvořen korpus SYN, který je možné si představit jako jakýsi koláč rozdělený na řadu dílků, tvořený ze všech obecných synchronních psaných korpusů, které ovšem byly před zařazením do korpusu SYN jednotně zpracovány nejnovějšími nástroji včetně tokenizace, segmentace, morfologické analýzy a desambiguace. U všech zařazených korpusů se tak zpracování dostává na úroveň posledního referenčního korpusu řady SYN, ve verzi 4 tedy SYN2015.
Referenční korpusy jako subkorpusy v SYN
Hledání v nově zpracovaných textech všech korpusů řady SYN je doplněno také možností vytváření subkorpusů, které svým složením odpovídají původním referenčním korpusům. To je možné pomocí hodnoty atributu <doc.syn>
(do verze 3 včetně <opus.syn>
), takže například subkorpus odpovídající korpusu SYN2005 lze vytvořit zadáním podmínky syn="2005"
na značku <doc>
(do verze 3 <opus>
). Tuto podmínku lze samozřejmě dále kombinovat s dalšími podmínkami omezujícími typ textu, rok vydání apod., jak je popsáno v Kurzu práce s ČNK. Korpus SYN je tedy možné používat také pro práci se staršími reprezentativními korpusy, v jeho rámci zpracovanými nejnovějšími nástroji. Při srovnávání původních korpusů s jim odpovídajícími novými subkorpusy mohou být patrné někdy i dosti podstatné změny způsobené rozdíly ve zpracování. Jde o změny způsobené nejenom odlišnou lemmatizací, ale i rozdílnou frekvencí slovních tvarů nebo rozdílným počtem pozic, což je dáno změnami v tokenizaci.
Jednotlivé verze korpusu SYN jsou referenční, a tedy neměnné a zpětně dostupné. Nové verze korpusu SYN budou počínaje rokem 2016 zveřejňovány v pravidelných ročních intervalech a budou především zahrnovat nové publicistické texty z předchozího roku; součástí aktualizované verze budou samozřejmě také opravy chyb a vylepšení anotace, zejména morfologické analýzy a/nebo desambiguace. Korpus SYN je proto možné charakterizovat jako spojení všech korpusů řady SYN zpracované nejnovějšími verzemi dostupných nástrojů.
Výhody korpusu SYN
- přístup k velmi rozsáhlým jazykovým datům (více než 2 mld. slov)
- možnost vyhledávání ve všech korpusech řady SYN současně
- možnost vytváření subkorpusů odpovídajících původním korpusům
- nové zpracování původních korpusů vylepšenými nástroji
Struktura a anotace korpusu SYN verze 4
Korpus SYN verze 4 odpovídá korpusu SYN2015 jak způsobem zpracování a strukturace textů, tak i jejich klasifikací, která byla zpětně aplikována na všechny v něm obsažené texty; výjimkou je pouze syntaktická anotace, která byla nahrazena pilotní verzí anotace frazémů. To mj. znamená, že se korpus SYN verze 4 strukturací a anotací textů od svého předchůdce, korpusu SYN verze 3, výrazně liší.
Jak citovat SYN verze 4
Křen, M. – Cvrček, V. – Čapka, T. – Čermáková, A. – Hnátková, M. – Chlumská, L. – Jelínek, T. – Kováříková, D. – Petkevič, V. – Procházka, P. – Skoumalová, H. – Škrabal, M. – Truneček, P. – Vondřička, P. – Zasina, A.: Korpus SYN, verze 4 z ??. ?. 2016. Ústav Českého národního korpusu FF UK, Praha 2016. Dostupný z WWW: http://www.korpus.cz
Hnátková, M. – Křen, M. – Procházka, P. – Skoumalová, H. (2014): The SYN-series corpora of written Czech. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), 160–164. Reykjavík: ELRA. ISBN 978-2-9517408-8-4.
— Michal Křen, Olga Richterová
Související odkazy
SYN • SYN verze 3 • SYN2000 • SYN2005 • SYN2006PUB • SYN2009PUB • SYN2010 • SYN2013PUB • SYN2015