Totalita: korpus jazyka totality

Korpus Etalon je synchronní korpus psané češtiny, který byl manuálně morfologicky označkován podle stejných zásad jako SYN2020.

Korpus obsahující 2 265 762 slov včetně interpunkce by měl sloužit dvěma hlavním účelům:

1. Jako etalon pro korpus SYN2020, tzn. v případě pochybností o správnosti segmentace, tokenizace či morfologického značkování korpusu SYN2020 nebo dalších korpusů z řady SYN, by měl poskytnout odpověď na otázku, jak měl být korpus anotován.
2. Jako soubor trénovacích a testovacích dat pro metody automatického značkování, ať už jde o metody využívající lingvistická pravidla, nebo o metody stochastické, neuronové sítě apod.

Korpus Etalon je složen z textů publicistických, odborných i z beletrie. Převážná část textů pochází z korpusu SYN2010. Převažují texty publicistické (36 %) a odborné (40 %), ale beletrie (24 %) je též významně zastoupena (viz tabulka). Některé texty nejsou v korpusu celé, protože by způsobily nevyváženost stylů. Jiné texty jsou redakčně upraveny, protože hlavním cílem naší práce bylo získat texty vzorové. Opravovali jsme zjevné překlepy, ale též případy, kdy při počítačovém zpracování došlo k porušení textů a k jejich přeskládání.

Korpus Etalon je segmentován, lemmatizován a morfologicky anotován stejně jako SYN2020: korpus obsahuje atributy word, synword, lemma, sublemma, tag a verbtag.

Korpus Etalon je zpřístupněn dvěma způsoby:

1. Korpus ČNK v rozhraní Kontext.
2. Data ve vertikále: tato data je možné si stáhnout z úložiště LINDAT/CLARIN (pro nekomerční účely). Tato data jsou rozdělena na segmenty o maximálně 100 slovech (bez interpunkce) a segmenty jsou promíchány.

Ráda bych poděkovala všem anotátorům, kteří se na vzniku Etalonu podíleli. Byla jich celá řada a nemohu je zde vyjmenovat všechny. Jmenovitě chci ale poděkovat kolegům z ÚTKL, hlavně Mileně Hnátkové, Vladimíru Petkevičovi a Tomáši Jelínkovi za pomoc při testování a odhalování chyb.