Toto je starší verze dokumentu!
Korpus SYN
Korpus SYN je souhrnný korpus, který obsahuje vždy všechny synchronní psané korpusy řady SYN zveřejněné do doby vzniku dané verze korpusu SYN (například SYN verze 3 z roku 2014 tedy zahrnuje korpusy SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010 a SYN2013PUB). Korpus SYN není reprezentativní, v jeho složení dominují publicistické texty, což je důsledkem jejich snadné dostupnosti.
Korpus SYN je zpracováván sadou nejlepších nástrojů dostupných v době jeho vzniku: tokenizace (rozdělení textu na slova), segmentace (rozpoznávání hranic vět), morfologické analýzy i desambiguace.
Korpus SYN je referenční, počínaje verzí 3 zůstávají všechny jeho verze uživatelům neustále zpětně dostupné (je ovšem třeba upozornit na postupné zastarávání dodané lingvistické informace, které z referenčnosti zákonitě vyplývá). Jednotlivé verze korpusu SYN budou od verze 4 zveřejňovány pravidelně každý rok s přírůstkem v podobě aktuálních publicistických dat, přičemž tento přírůstek bude označen hodnotou atributu <doc.syn>
rovnou verzi korpusu SYN, v níž se daný text objevil poprvé; subkorpus odpovídající výše zmíněné dosud nezveřejněné publicistice tak lze ze SYN verze 4 vytvořit zadáním podmínky syn="v4"
.
Verze korpusu SYN
Verze korpusu SYN | |||
---|---|---|---|
verze | rok zveřejnění | velikost (počet slov) | složení |
SYN verze 4 | 2016 | 3 626 mil. | SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010, SYN2013PUB, SYN2015, další publicistika |
SYN verze 3 | 2014 | 2 232 mil. | SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010, SYN2013PUB |
SYN verze 2 | 2010 | 1 300 mil. | SYN2000, SYN2005, SYN2006PUB, SYN2009PUB, SYN2010 |
SYN verze 1 | 2007 | 500 mil. | SYN2000, SYN2005, SYN2006PUB |
Pozor na srovnávání korpusů řady SYN
Neustálý vývoj nástrojů, jimiž se korpusy zpracovávají, ztěžuje prosté srovnávání mezi nimi. Vylepšení, kterými zpracování korpusů prošlo od roku 2000, přitom vůbec nejsou zanedbatelná: mnoho nově rozpoznaných slovních tvarů, spolehlivější desambiguace s pravidlovým komponentem, odlišné zpracování některých jazykových jevů, doplnění a sjednocení bibliografických údajů (strukturní značky a zdroje) atd. Všechna tato vylepšení přitom nebylo možné promítnout do již zveřejněných korpusů: buď by totiž došlo k nepřijatelnému porušení referenčnosti, nebo by bylo nutné zavést různé verze jednotlivých korpusů, což by ale pro většinu uživatelů bylo nepřehledné.
Řešením je aktuální SYN
Kvůli tomu všemu byl vytvořen korpus SYN, který je možné si představit jako jakýsi koláč rozdělený na řadu dílků, tvořený ze všech obecných synchronních psaných korpusů, které ovšem byly před zařazením do korpusu SYN jednotně zpracovány nejnovějšími nástroji včetně tokenizace, segmentace, morfologické analýzy a desambiguace. U všech zařazených korpusů se tak zpracování dostává na úroveň posledního referenčního korpusu řady SYN, v současné verzi 3 tedy SYN2013PUB.
Referenční korpusy jako subkorpusy v SYN
Hledání v nově zpracovaných textech všech korpusů řady SYN je doplněno také
možností vytváření subkorpusů, které svým složením
odpovídají původním referenčním korpusům. To je možné pomocí hodnoty atributu
<opus.syn>
, takže například subkorpus odpovídající korpusu SYN2005 lze
vytvořit zadáním podmínky syn="2005"
na
značku <opus>
. Tuto podmínku lze samozřejmě
dále kombinovat s dalšími podmínkami omezujícími typ textu, rok vydání apod.,
jak je popsáno v Kurzu práce s ČNK. Korpus SYN je tedy možné používat také pro práci se staršími reprezentativními korpusy, v jeho rámci zpracovanými nejnovějšími nástroji. Při srovnávání původních korpusů s jim odpovídajícími novými subkorpusy mohou být patrné někdy i dosti podstatné změny způsobené rozdíly ve zpracování. Jde o změny způsobené nejenom odlišnou lemmatizací, ale i rozdílnou frekvencí slovních tvarů nebo rozdílným počtem pozic, což je dáno změnami v tokenizaci.
Korpus SYN jakožto nereferenční se v průběhu let mění. Důvody přitom mohou být různé, od zjištění závažných chyb ve stávajícím korpusu, přes výrazné vylepšení morfologické analýzy a/nebo desambiguace, až po zahrnutí budoucích synchronních psaných korpusů. Tato aktualizace tedy nebude pravidelná, nebude k ní však docházet častěji než jednou ročně. Korpus SYN každopádně stále bude možné charakterizovat jako nereferenční spojení všech korpusů řady SYN zpracované nejnovějšími verzemi dostupných nástrojů.
Výhody korpusu SYN
- přístup k velmi rozsáhlým jazykovým datům (více než 2 mld. slov)
- možnost vyhledávání ve všech korpusech řady SYN současně
- možnost vytváření subkorpusů odpovídajících původním korpusům
- nové zpracování původních korpusů vylepšenými nástroji
Struktura korpusu SYN
Mezi strukturní značky používané v tomto korpusu patří <opus>
, <doc>
a <s>
, tedy opus, dokument a věta - a pak každá jednotlivá pozice.
Zobrazit si je můžete v položce menu Zobrazení.
K těmto strukturním jednotkám náležejí následující atributy, na obrázku patrné pod nadpisem Reference.
Jak citovat SYN
Křen, M. – Čermák, F. – Hlaváčová, J. – Hnátková, M. – Jelínek, T. – Kocek, J. – Kopřivová, M. – Novotná, R. – Petkevič, V. – Procházka, P. – Schmiedtová, V. – Skoumalová, H. – Šulc, M.: Korpus SYN, verze 3 z 27. 1. 20141). Ústav Českého národního korpusu FF UK, Praha 2014. Dostupný z WWW: http://www.korpus.cz
Hnátková, M. – Křen, M. – Procházka, P. – Skoumalová, H. (2014): The SYN-series corpora of written Czech. In Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC'14), 160–164. Reykjavík: ELRA. ISBN 978-2-9517408-8-4.
— Michal Křen, Olga Richterová
Související odkazy
SYN2000 • SYN2005 • SYN2006PUB • SYN2009PUB • SYN2010 • SYN2013PUB