Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

--- pojmy:token [2012/10/16 15:40] – vytvořeno vaclavcvrcek
+++ pojmy:token [2021/01/16 21:55] (aktuální) – [Token] jankrivan
@@ Řádek 1: / Řádek 1: @@
 ====== Token ======
-Token je nejmenší jednotka textu, většinou grafické slovo, resp. jedna jeho realizace. V některých případech je jedno grafické slovo rozděleno na dvě (např. //mohu -li//), často je také z praktických důvodů (pro snadné vyhledávání) oddělována interpunkce od předcházejícího slova (3 tokeny: //řekl , že//). O jednotlivých tokenech v korpusu se také mluví jako o [[pozice|pozicích]].
+Token je nejmenší jednotka textu, většinou se jedná o grafické slovo (tj. řetězec alfabetických znaků oddělený mezerou v textu), resp. o jednu jeho konkrétní realizaci. V některých případech je jedno grafické slovo rozděleno na dvě (např. //mohu -li//), často je také z praktických důvodů (pro snadné vyhledávání) oddělována interpunkce od předcházejícího slova (3 tokeny: //řekl , že//). O jednotlivých tokenech v korpusu se také mluví jako o [[pojmy:pozice|pozicích]].
-Velikost korpusu se udává v tokenech nebo také v textových slovech. Rozčlenění textu na tokeny je výsledkem procesu tokenizace.
+Velikost korpusu se udává v tokenech nebo také v textových či grafických slovech. Rozčlenění textu na tokeny je výsledkem procesu **tokenizace**. Tokenizace numerických a interpunkčních znaků je v korpusech řešena různě, podrobně je popsána na příkladu korpusu SYN2020 [[cnk:syn2020:tokenizace|na této stránce]].
+V opozici k tokenům se vyděluje jako vyšší rovina abstrakce [[pojmy:typ|typ]] (anglicky //type//).
+==== Související odkazy ====
+<WRAP round box 49%>
+[[pojmy:heaps|Heapsův zákon]] • [[pojmy:zipf|Zipfovy zákony]]  • [[pojmy:pozice|Textová pozice]] • [[pojmy:segmentace|Segmentace]]
+</WRAP>