cnk:fsc2000 - Příručka ČNK

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.
~~NOTOC~~
====== Korpus FSC2000 ======

Korpus FSC2000 je referenčním zdrojem a doplňkem [[https://ucnk.ff.cuni.cz/cs/veda-a-vyzkum/publikace/|Frekvenčního slovníku češtiny]] (FSČ), který vyšel koncem roku 2004 v NLN. Korpus FSC2000 vychází z korpusu [[cnk:SYN2000]], postup jeho vzniku je popsán níže. Jedním z důsledků tohoto postupu je, že texty obsažené v korpusu FSC2000 jsou vlastně podmnožinou textů obsažených v korpusu SYN2000. Přesná velikost korpusu FSC2000 činí bez započtení interpunkce 95 854 929 slovních tvarů; velikost 114 363 813 pozic, udávaná korpusovým manažerem, je údaj zahrnující kromě slovních tvarů i interpunkci.

Seznam všech zdrojových textů korpusu FSC2000 naleznete {{:seznamy:syn2000.ods|zde}}.

Následuje úryvek z předmluvy k FSČ, který popisuje vznik korpusu FSC2000:

//1) Z korpusu SYN2000 bylo vyřazeno několik duplicitních textů, a dále byly vypuštěny části, ve kterých převažovaly tabulky, čísla apod. Podobným čištěním prošel sice již původní korpus, v praxi se však ukázalo, že nebylo dostatečně účinné. Přestože se tak korpus o necelých 5 % zmenšil (a tím také došlo k mírnému posunu v jeho reprezentativním složení), jednalo se jednoznačně o velmi prospěšnou změnu, protože se výrazně zvýšila kvalita textů, a tím také věrohodnost poskytovaných frekvenčních údajů.//

//2) Na takto pročištěný korpus byla aplikována ve srovnání s korpusem SYN2000 novější verze lemmatizace, což je sada programů, které na základě rozsáhlého slovníku a za pomoci statistických metod přiřazují všem výskytům všech slovních tvarů v textu jejich lemma, tj. základní slovníkový tvar.//

//3) Výstup této automatické analýzy však byl z mnoha důvodů pro FSČ stále ještě nevyhovující a vyžadoval několik fází velice náročných a zdlouhavých manuálních oprav. Šlo především o nedokonalé rozpoznávání zkratek a proprií (zvláště cizojazyčných), dále nevhodně pojaté zpracování některých gramatických jevů (např. negací, pomnožných substantiv atd.), a v neposlední řadě chyby v rozlišování homonymních tvarů. Toto rozlišování (např. zda tvar //bouří// je v daném kontextu sloveso nebo substantivum) nazýváme desambiguace. Protože primárním cílem slovníku je poskytnout uživateli informace o frekvenci slov (nikoli tedy například o jednotlivých tvarech), a s vědomím tohoto cíle byl také korpus jako referenční zdroj FSČ zpracováván, nevěnovali jsme se opravě určení lemmat u všech výskytů všech tvarů obsažených v korpusu tak, aby lemma bylo vždy určeno bezchybně. Důvodem byla samozřejmě enormní časová, a tedy i finanční náročnost takových oprav. Naším cílem bylo "pouze" zajistit, aby frekvence udávané u jednotlivých hesel ve FSČ byly správné (s určitou možnou malou chybou, jak bude vysvětleno dále), přičemž jsme zanedbávali jednotlivosti s minimálním vlivem na celkovou frekvenci hesla, které by bylo neúměrně pracné opravovat. Znamená to, že při podrobné prohlídce tvarů, které byly započítány pod určité heslo, je možné v korpusu narazit i na tvary, které pod daným heslem sice zahrnuty být neměly, přesto jsme však jejich zařazení neopravovali. Pod heslem pes jsou tak například započítány všechny výskyty tvaru //PES//, ačkoliv jde v některých případech o zkratku pro polyester, palubní elektronický systém, Pacifickou Exportní Společnost z Čapkovy Války s mloky aj. Protože ale všechny tyto zkratky dohromady tvoří pouze 0,2 % celkové frekvence hesla pes, můžeme je zanedbat, aniž bychom výrazně ovlivnili frekvenci hesla. Uvědomujeme si, že jsme přes veškerou snahu a pečlivost při zpracování slovníku mohli v jednotlivých případech přehlédnout i podstatnější chyby nebo nepřesnosti. Je však třeba zdůraznit, že tak velké množství dat není v žádném případě možné zpracovávat pouze manuálně, takže i když je v současné době každá automatická lemmatizace nedokonalá, je nezbytné ji použít alespoň jako základ pro pozdější korekci.//

Po všech těchto úpravách byl tedy na základě textů, obsažených již v korpusu [[cnk:SYN2000]], vytvořen nový korpus FSC2000 s novou [[pojmy:lemma|lemmatizací]]; z něj teprve vznikl heslář FSČ. Hlavním přínosem nového korpusu je právě tato jeho vylepšená (stále však nikoli bezchybná!) lemmatizace, která přesně odpovídá FSČ. Protože se ale při jejích opravách neopravovaly [[pojmy:tag|morfologické značky]] (tagy), chybí v korpusu FSC2000 atributy tag a pos. Doufáme, že korpus FSC2000 bude -- zejména díky své lemmatizaci -- užitečným nástrojem pro široký okruh uživatelů.

--- //Michal Křen// (vedoucí realizačního týmu, Praha 2004)

===== Související odkazy =====

<WRAP round box 49%>
[[cnk:syn|SYN]] • [[cnk:SYN2000]] • [[cnk:SYN2005|SYN2005]] • [[cnk:syn2006pub|SYN2006PUB]] • [[cnk:syn2009pub|SYN2009PUB]] • [[cnk:SYN2010|SYN2010]] • [[cnk:SYN2013PUB|SYN2013PUB]]
</WRAP>
Historie: • ukwac • genre • verbtagy • kh-noviny • abc_seznamy • syntakticke_znacky • schola2010 • p_tag • totalita • verze16ud
Hledat

Navigace

Tisk/export

Nástroje

Jazyky

Licence
