Rozdíly
Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
Obě strany předchozí revizePředchozí verze | |||
cnk:syn2020:tokenizace [2021/03/05 10:37] – [Ve všech ostatních kombinacích se numerické a interpunkční znaky tokenizují zvlášť] jankrivan | cnk:syn2020:tokenizace [2021/03/12 16:53] (aktuální) – [Skupiny interpunkčních znaků] jankrivan | ||
---|---|---|---|
Řádek 40: | Řádek 40: | ||
Řady interpunkčních znaků se tokenizují dohromady: | Řady interpunkčních znaků se tokenizují dohromady: | ||
- | * tvoří-li **skupiny** teček, trojteček (včetně kombinací teček a trojteček), | + | * tvoří-li **skupiny** teček, trojteček (včetně kombinací teček a trojteček), |
* v těchto vybraných **emotikonech**: | * v těchto vybraných **emotikonech**: |