Nastavení

Korpus SYN2020: Tokenizace

Tokenizace numerických a interpunkčních znaků

Numerické a interpunkční znaky jsou systematicky oddělovány jako samostatné tokeny, pohromadě však zůstávají některé kombinace znaků podle předem vymezených pravidel a seznamů slov:

Spojovníky (- – — −)

Spojovníky (příp. pomlčky na jejich místě) se tokenizují dohromady s okolním textem:

  • ve složených adjektivech a adverbiích (červeno-bílý, česko-anglicky)
  • ve frekventovaných slovech (e-mail, on-line) včetně vlastních jmen (Wu-chan, Coca-Cola) a proměnných (n-tý).
    Seznamy těchto slov jsou uvedeny na zvláštní stránce Seznamy slov tokenizovaných dohromady v sekci Slova se spojovníkem.

Ostatní případy psaní spojovníku jsou tokenizovány zvlášť (Rakousko - Uhersko, Jean - Philippe, Kvitová - Muchová, ne - člověk).

Apostrofy (' ’ ‘ ’ ' ´ ‛)

Apostrofy (v libovolném způsobu záznamu) se tokenizují dohromady, pokud se vyskytují mezi alfabetickými znaky (rock’n’roll, Lao’c, McDonald’s), na jejich hranici se naopak oddělují (moh ’).

Hvězdičky (*)

Hvězdičky se tokenizují dohromady v řadě alfabetických znaků, která je potenciálním tabuovým slovem (nas*anej, f***ing).

Numerické znaky (0123456789)

Numerické znaky se tokenizují dohromady:

  • v každém řetězci, který začíná alfabetickým znakem (m2, cm3, TOP09, H2SO4)
  • ve vybraných frekventovaných zkratkách začínajících číslicí (3D, 5G)
    Seznam těchto slov je uveden na zvláštní stránce v sekci Konvencializované zkratky.

Ostatní případy jsou tokenizovány rozděleně (6 W, 40 km, 1 h)

Skupiny interpunkčních znaků

Řady interpunkčních znaků se tokenizují dohromady:

  • tvoří-li skupiny teček, trojteček (včetně kombinací teček a trojteček), vykřičníků, otazníků (včetně kombinací vykřičníků a otazníků), hvězdiček
  • v těchto vybraných emotikonech: :-) :-( :) ;-) :-D

Ve všech ostatních kombinacích se numerické a interpunkční znaky tokenizují zvlášť

Oproti minulosti se tak zvlášť tokenizují i tečky, které se nevyskytují na konci věty, tj. tečky za zkratkami (2 tokeny: nám .), iniciálami (2 tokeny: J .) nebo číslicemi (2 tokeny: 12 .). Pro identifikaci tohoto typu teček byla vytvořena na druhé pozici v tagu zvláštní hodnota 0. Tuto hodnotu 0 mají v tagu také dvojtečky mezi číslicemi (16 : 30), vykřičníky, které jsou součástí názvu (Aha !), a všechny spojovníky, které byly ve zdrojovém textu psány dohromady (Rakousko - Uhersko, bude - li).


» Zpět na hlavní stránku Korpus SYN2020