Nastavení

Korpus SYN

SYN je souhrnné označení pro korpus, který obsahuje vždy všechny synchronní psané korpusy řady SYN zveřejněné do doby vzniku dané verze korpusu SYN (například SYN verze 3 z roku 2014 tedy zahrnuje korpusy SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010 a SYN2013PUB, viz následující tabulka) a který je přitom zpracován nejnovějšími verzemi všech nástrojů (tokenizace, segmentace, morfologické analýzy a desambiguace).

Korpus SYN není reprezentativní, v jeho složení dominují publicistické texty, což je důsledkem jejich snadné dostupnosti.

Korpus SYN je verzovaný, což znamená, že je referenční v jednotlivých verzích. Počínaje verzí 3 zůstávají všechny jeho verze uživatelům neustále zpětně dostupné (je ovšem třeba upozornit na postupné zastarávání dodané lingvistické informace, které z referenčnosti zákonitě vyplývá). Jednotlivé verze korpusu SYN jsou od verze 4 zveřejňovány pravidelně každý rok s přírůstkem v podobě aktuálních publicistických dat, přičemž tento přírůstek je označen hodnotou atributu <doc syn>, která je rovna verzi korpusu SYN, v níž se daný text objevil poprvé; subkorpus odpovídající výše zmíněné dosud nezveřejněné publicistice tak lze ze SYN verze 5 vytvořit zadáním podmínky syn="v5".

Verze korpusu SYN
verze rok zveřejnění velikost (počet slov) složení
SYN verze 5 2017 3 836 mil. SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010, SYN2013PUB, SYN2015, další publicistika
SYN verze 4 2016 3 626 mil. SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010, SYN2013PUB, SYN2015, další publicistika
SYN verze 3 2014 2 232 mil. SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010, SYN2013PUB
SYN verze 2 2010 1 300 mil. SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010
SYN verze 1 2007 500 mil. SYN2000, SYN2005, SYN2006PUB

Pozor na srovnávání korpusů řady SYN

Neustálý vývoj nástrojů, jimiž se korpusy zpracovávají, ztěžuje prosté srovnávání mezi nimi. Vylepšení, kterými zpracování korpusů prošlo od roku 2000, přitom vůbec nejsou zanedbatelná: mnoho nově rozpoznaných slovních tvarů, spolehlivější desambiguace s pravidlovým komponentem, odlišné zpracování některých jazykových jevů, doplnění a sjednocení bibliografických údajů (strukturní značky a zdroje) atd. Všechna tato vylepšení přitom nebylo možné promítnout do již zveřejněných korpusů: buď by totiž došlo k nepřijatelnému porušení referenčnosti, nebo by bylo nutné zavést různé verze jednotlivých korpusů, což by ale pro většinu uživatelů bylo nepřehledné.

Řešením je aktuální SYN

Proto byl vytvořen korpus SYN, který je možné si představit jako jakýsi koláč rozdělený na řadu dílků, tvořený ze všech obecných synchronních psaných korpusů, ovšem jednotně anotovaných a zpracovaných nejnovějšími nástroji včetně tokenizace, segmentace, morfologické analýzy a desambiguace. Pro analýzu jazykového vývoje mezi reprezentativními korpusy řady SYN doporučujeme používat Srovnávací frekvenční seznamy, které vycházejí z dat nejnovější verze korpusu SYN a zároveň berou v úvahu rozdílné složení reprezentativních korpusů tak, aby byla zajištěna srovnatelnost lexikálních frekvencí.

Referenční korpusy jako subkorpusy v SYN

Hledání v nově zpracovaných textech všech korpusů řady SYN je doplněno také možností vytváření subkorpusů, které svým složením odpovídají původním referenčním korpusům. To je možné pomocí hodnoty atributu <doc syn> (do SYN verze 3 <opus syn>), takže například subkorpus odpovídající korpusu SYN2005 lze vytvořit zadáním podmínky syn="2005" na značku <doc> (příp. <opus>). Tuto podmínku lze samozřejmě dále kombinovat s dalšími podmínkami omezujícími typ textu, rok vydání apod., jak je popsáno v Kurzu práce s ČNK. Korpus SYN je tedy možné používat také pro práci se staršími reprezentativními korpusy, které jsou ovšem v rámci SYN zpracovány nejnovějšími nástroji. Při srovnávání původních korpusů s jim odpovídajícími novými subkorpusy mohou být patrné někdy i dosti podstatné změny způsobené rozdíly ve zpracování. Jde o změny způsobené nejenom odlišnou lemmatizací, ale i rozdílnou frekvencí slovních tvarů nebo rozdílným počtem pozic, což je dáno změnami v tokenizaci.

Výhody korpusu SYN

  • přístup k velmi rozsáhlým jazykovým datům (více než 4,5 mld. slov)
  • možnost vyhledávání ve všech korpusech řady SYN současně
  • možnost vytváření subkorpusů odpovídajících původním korpusům
  • nové zpracování původních korpusů vylepšenými nástroji

Jak citovat SYN

Hnátková, M. – Křen, M. – Procházka, P. – Skoumalová, H. (2014): The SYN-series corpora of written Czech. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), 160–164. Reykjavík: ELRA. ISBN 978-2-9517408-8-4.

Michal Křen, Olga Richterová

Související odkazy