~~NOTOC~~
====== Korpus SYN2020: Tokenizace ======

===== Tokenizace numerických a interpunkčních znaků  =====

Numerické a interpunkční znaky jsou systematicky oddělovány jako samostatné tokeny, pohromadě však zůstávají některé kombinace znaků podle předem vymezených pravidel a seznamů slov: 

==== Spojovníky (- – — −) ====

Spojovníky (příp. pomlčky na jejich místě) se tokenizují dohromady s okolním textem:

  * ve **složených adjektivech a adverbiích** (//červeno-bílý//, //česko-anglicky//) 

  * ve **frekventovaných slovech** (//e-mail, on-line//) včetně vlastních jmen (//Wu-chan//, //Coca-Cola//) a proměnných (//n-tý//). \\ Seznamy těchto slov jsou uvedeny na zvláštní stránce //Seznamy slov tokenizovaných dohromady// v sekci [[cnk:syn2020:seznamy:tokenizace_dohromady#slova_se_spojovnikem|Slova se spojovníkem]]. 

Ostatní případy psaní spojovníku jsou tokenizovány zvlášť (//Rakousko - Uhersko//, //Jean - Philippe//, //Kvitová - Muchová//, //ne - člověk//). 

==== Apostrofy (' ’ ‘ ’ ' ´ ‛) ====

Apostrofy (v libovolném způsobu záznamu) se tokenizují dohromady, pokud se vyskytují **mezi alfabetickými znaky** (//rock’n’roll//, //Lao’c//, //McDonald’s//), na jejich hranici se naopak oddělují (//moh ’//). 

==== Hvězdičky (*) ====

Hvězdičky se tokenizují dohromady **v řadě alfabetických znaků**, která je potenciálním tabuovým slovem (//nas*anej//, //f%%***%%ing//).

==== Numerické znaky (0123456789) ====

Numerické znaky se tokenizují dohromady: 

  * v každém řetězci, který **začíná alfabetickým znakem** (//m2//, //cm3//, //TOP09//, //H2SO4//) 

  * v **adjektivech a číslovkových výrazech** začínajících číslicí (//54letý//, //8hodinový//, //5násobný//, //8krát//, //12násobek//, //10násobně//) \\ Seznam těchto výrazů je uveden na zvláštní stránce v sekci [[cnk:syn2020:seznamy:tokenizace_dohromady#slozeniny_obsahujici_cislovku_a_odvozeniny_od_cislovek|Složeniny obsahující číslovku a odvozeniny od číslovek]]. 

  * ve vybraných **frekventovaných zkratkách** začínajících číslicí (//3D//, //5G//) \\ Seznam těchto slov je uveden na zvláštní stránce v sekci [[cnk:syn2020:seznamy:tokenizace_dohromady#konvencializovane_zkratky|Konvencializované zkratky]].

Ostatní případy jsou tokenizovány rozděleně (//6 W//, //40 km//, //1 h//) 

==== Skupiny interpunkčních znaků ====

Řady interpunkčních znaků se tokenizují dohromady: 

  * tvoří-li **skupiny** teček, trojteček (včetně kombinací teček a trojteček), vykřičníků, otazníků (včetně kombinací vykřičníků a otazníků), hvězdiček 

  * v těchto vybraných **emotikonech**: //%%:-) :-( :) ;-) :-D%%//

==== Ve všech ostatních kombinacích se numerické a interpunkční znaky tokenizují zvlášť ====

Oproti minulosti se tak zvlášť tokenizují i **tečky**, které se nevyskytují na konci věty, tj. tečky za zkratkami (2 tokeny: //nám .//), iniciálami (2 tokeny: //J .//) nebo číslicemi (2 tokeny: //12 .//). Pro identifikaci tohoto typu teček byla vytvořena na druhé pozici v [[pojmy:tag|tagu]] zvláštní hodnota **0**. Tuto hodnotu 0 mají v tagu také dvojtečky mezi číslicemi (//16 : 30//), vykřičníky, které jsou součástí názvu (//Aha !//), a všechny spojovníky, které byly ve zdrojovém textu psány dohromady (//Rakousko - Uhersko//, //bude - li//). 

\\
%%%% >> [[cnk:syn2020|Zpět na hlavní stránku Korpus SYN2020]]