pojmy:token - Příručka ČNK

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.

====== Token ======

Token je nejmenší jednotka textu, většinou se jedná o grafické slovo, resp. o jednu jeho konkrétní realizaci. V některých případech je jedno grafické slovo rozděleno na dvě (např. //mohu -li//), často je také z praktických důvodů (pro snadné vyhledávání) oddělována interpunkce od předcházejícího slova (3 tokeny: //řekl , že//). O jednotlivých tokenech v korpusu se také mluví jako o [[pojmy:pozice|pozicích]].

Velikost korpusu se udává v tokenech nebo také v textových slovech. Rozčlenění textu na tokeny je výsledkem procesu **tokenizace**.

V opozici k tokenům se vyděluje jako vyšší rovina abstrakce [[pojmy:typ|typ]] (anglicky //type//).

==== Související odkazy ====

<WRAP round box 49%>
[[pojmy:heaps|Heapsův zákon]] • [[pojmy:zipf|Zipfovy zákony]]  • [[pojmy:pozice|Textová pozice]]
</WRAP>

Historie: • dice • token • zipf • heaps • within • quitaup • frekvence • manualy • medium • containing

Hledat

Navigace

Tisk/export

Nástroje

Jazyky

Licence