Korpus SYN2020: Tokenizace

Numerické a interpunkční znaky jsou systematicky oddělovány jako samostatné tokeny, pohromadě však zůstávají některé kombinace znaků podle předem vymezených pravidel a seznamů slov:

Spojovníky (příp. pomlčky na jejich místě) se tokenizují dohromady s okolním textem:

• ve složených adjektivech a adverbiích (červeno-bílý, česko-anglicky)

• ve frekventovaných slovech (e-mail, on-line) včetně vlastních jmen (Wu-chan, Coca-Cola) a proměnných (n-tý).
  Seznamy těchto slov jsou uvedeny na zvláštní stránce Seznamy slov tokenizovaných dohromady v sekci Slova se spojovníkem.

Ostatní případy psaní spojovníku jsou tokenizovány zvlášť (Rakousko - Uhersko, Jean - Philippe, Kvitová - Muchová, ne - člověk).

Apostrofy (v libovolném způsobu záznamu) se tokenizují dohromady, pokud se vyskytují mezi alfabetickými znaky (rock’n’roll, Lao’c, McDonald’s), na jejich hranici se naopak oddělují (moh ’).

Hvězdičky se tokenizují dohromady v řadě alfabetických znaků, která je potenciálním tabuovým slovem (nas*anej, f***ing).

Numerické znaky se tokenizují dohromady:

• v každém řetězci, který začíná alfabetickým znakem (m2, cm3, TOP09, H2SO4)

• v adjektivech a číslovkových výrazech začínajících číslicí (54letý, 8hodinový, 5násobný, 8krát, 12násobek, 10násobně)
  Seznam těchto výrazů je uveden na zvláštní stránce v sekci Složeniny obsahující číslovku a odvozeniny od číslovek.

• ve vybraných frekventovaných zkratkách začínajících číslicí (3D, 5G)
  Seznam těchto slov je uveden na zvláštní stránce v sekci Konvencializované zkratky.

Ostatní případy jsou tokenizovány rozděleně (6 W, 40 km, 1 h)

Řady interpunkčních znaků se tokenizují dohromady:

• tvoří-li skupiny teček, trojteček (včetně kombinací teček a trojteček), vykřičníků, otazníků (včetně kombinací vykřičníků a otazníků), hvězdiček

• v těchto vybraných emotikonech: :-) :-( :) ;-) :-D

Oproti minulosti se tak zvlášť tokenizují i tečky, které se nevyskytují na konci věty, tj. tečky za zkratkami (2 tokeny: nám .), iniciálami (2 tokeny: J .) nebo číslicemi (2 tokeny: 12 .). Pro identifikaci tohoto typu teček byla vytvořena na druhé pozici v tagu zvláštní hodnota 0. Tuto hodnotu 0 mají v tagu také dvojtečky mezi číslicemi (16 : 30), vykřičníky, které jsou součástí názvu (Aha !), a všechny spojovníky, které byly ve zdrojovém textu psány dohromady (Rakousko - Uhersko, bude - li).

» Zpět na hlavní stránku Korpus SYN2020