Rozdíly
Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
| Obě strany předchozí revizePředchozí verze | |||
| cnk:syn2020:tokenizace [2021/03/05 10:37] – [Ve všech ostatních kombinacích se numerické a interpunkční znaky tokenizují zvlášť] jankrivan | cnk:syn2020:tokenizace [2021/03/12 16:53] (aktuální) – [Skupiny interpunkčních znaků] jankrivan | ||
|---|---|---|---|
| Řádek 40: | Řádek 40: | ||
| Řady interpunkčních znaků se tokenizují dohromady: | Řady interpunkčních znaků se tokenizují dohromady: | ||
| - | * tvoří-li **skupiny** teček, trojteček (včetně kombinací teček a trojteček), | + | * tvoří-li **skupiny** teček, trojteček (včetně kombinací teček a trojteček), |
| * v těchto vybraných **emotikonech**: | * v těchto vybraných **emotikonech**: | ||