Rozdíly
Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
Obě strany předchozí revizePředchozí verzeNásledující verze | Předchozí verzeNásledující verzeObě strany příští revize | ||
pojmy:token [2013/05/27 16:38] – vaclavcvrcek | pojmy:token [2013/09/13 16:20] – Schvaleno pro 1. verzi vaclavcvrcek | ||
---|---|---|---|
Řádek 3: | Řádek 3: | ||
Token je nejmenší jednotka textu, většinou se jedná o grafické slovo, resp. o jednu jeho konkrétní realizaci. V některých případech je jedno grafické slovo rozděleno na dvě (např. //mohu -li//), často je také z praktických důvodů (pro snadné vyhledávání) oddělována interpunkce od předcházejícího slova (3 tokeny: //řekl , že//). O jednotlivých tokenech v korpusu se také mluví jako o [[pojmy: | Token je nejmenší jednotka textu, většinou se jedná o grafické slovo, resp. o jednu jeho konkrétní realizaci. V některých případech je jedno grafické slovo rozděleno na dvě (např. //mohu -li//), často je také z praktických důvodů (pro snadné vyhledávání) oddělována interpunkce od předcházejícího slova (3 tokeny: //řekl , že//). O jednotlivých tokenech v korpusu se také mluví jako o [[pojmy: | ||
- | Velikost korpusu se udává v tokenech nebo také v textových slovech. Rozčlenění textu na tokeny je výsledkem procesu tokenizace. | + | Velikost korpusu se udává v tokenech nebo také v textových slovech. Rozčlenění textu na tokeny je výsledkem procesu |
V opozici k tokenům se vyděluje jako vyšší rovina abstrakce [[pojmy: | V opozici k tokenům se vyděluje jako vyšší rovina abstrakce [[pojmy: | ||
+ | |||
+ | ==== Související odkazy ==== | ||
+ | |||
+ | <WRAP round box 49%> | ||
+ | [[pojmy: | ||
+ | </ |