pojmy:lexikalni_bohatost - Příručka ČNK

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.

====== Lexikální diverzita ======

  * InterCorp je ve verzi 16ud anotován dvěma mírami lexikální diverzity. Tyto míry se uvádějí jako metadata pro každý dostatečně dlouhý text v každém jazykovém anotovaném jazyce:
    * **lexDivWord**: průměrný počet různých tvarů slov na 1000 tokenů
    * **lexDivLemma**: průměrný počet různých lemmat na 1000 tokenů
  * Míry jsou založeny na metrice type-token ratio (poměr typů a tokenů). Ukazují průměrný počet různých typů (tvarů slov nebo lemat) v pohyblivém okně 1000 tokenů. Interpunkce se ignoruje.
  * Pokud má text méně než 1000 tokenů, míry nejsou definovány a hodnota obou atributů se rovná znaku podtržítka (''_'').
  * U jazyků bez lingvistické anotace je uvedena pouze míra počítající tvary slov (''lexDivWord''). U takových jazyků vychází výpočet z tokenů, nikoli ze slov, interpunkce se tedy počítá také. Proto mohou být hodnoty ''lexDivWord'' nižší, než by odpovídalo jiným textům v jazycích s lingvistickou anotací.
  * V KonTextu lze míry zobrazovat a v dotazech uvádět stejně jako jakékoli jiná metadata o textu, např. autor nebo ID textu.
Průměrné hodnoty pro všechny kombinace jazyka a typu textu v InterCorpu v16ud jsou zobrazeny v tabulce [[https://wiki.korpus.cz/doku.php/cnk:intercorp
#detailed_statistics|Podrobné statistiky]].
  * Viz také [[https://wiki.korpus.cz/doku.php/pojmy:syntakticka_komplexita#syntakticka_komplexita|míry syntaktické komplexity]].

===== Odkazy =====

Olga Nádvorníková a Alexandr Rosen: Vyhledávání v paralelním korpusu za použití anotace Universal Dependencies. [[https://www.youtube.com/watch?v=5l5Vbb1eQDw&t=190s|Záznam workshopu]] z 17. 9. 2024, doprovodné akce [[https://bcl2024.ff.cuni.cz|Bienále české lingvistiky 2024]], viz též [[https://owncloud.korpus.cz/s/nwa9pQs2wmD423E|prezentace]].

Olga Nádvorníková a Alexandr Rosen: InterCorp a Universal Dependencies: nové možnosti výzkumu. [[https://docs.google.com/document/d/1nSPzyhT6oHKUDN8A_uYmWrZH6tAmxTH_pUMOdjg01Eg/edit?usp=sharing|Záznam workshopu]] z 20. a 27. 3. 2024 v rámci Teoreticko-metodologického semináře Ústavu českého jazyka a teorie komunikace.

Alexandr Rosen: Exploring InterCorp v16ud: the potential of a multilingual parallel treebank with complexity and diversity metrics. [[https://drive.google.com/file/d/1L9yTjj0bTrGgf8lDcOAsJoJOoeYEoPEm/view?usp=sharing|Presentation]] from the seminar at the University of Warsaw, 10 July 2024.

Historie: • lexikalni_bohatost • genre_group • verze3 • historie • verze11 • verze15

Hledat

Navigace

Tisk/export

Nástroje

Jazyky

Licence