AplikaceAplikace
Nastavení

Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revizePředchozí verze
cnk:syn2020:tokenizace [2021/03/05 10:37] – [Ve všech ostatních kombinacích se numerické a interpunkční znaky tokenizují zvlášť] jankrivancnk:syn2020:tokenizace [2021/03/12 16:53] (aktuální) – [Skupiny interpunkčních znaků] jankrivan
Řádek 40: Řádek 40:
 Řady interpunkčních znaků se tokenizují dohromady:  Řady interpunkčních znaků se tokenizují dohromady: 
  
-  * tvoří-li **skupiny** teček, trojteček (včetně kombinací teček a trojteček), vykřičníků, otazníků (včetně kombinací vykřičníků a otazníků), spojovníků, hvězdiček +  * tvoří-li **skupiny** teček, trojteček (včetně kombinací teček a trojteček), vykřičníků, otazníků (včetně kombinací vykřičníků a otazníků), hvězdiček 
  
   * v těchto vybraných **emotikonech**: //%%:-) :-( :) ;-) :-D%%//   * v těchto vybraných **emotikonech**: //%%:-) :-( :) ;-) :-D%%//