Rozdíly
Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
| Obě strany předchozí revizePředchozí verzeNásledující verze | Předchozí verzePoslední revizeObě strany příští revize | ||
| cnk:syn2020:tokenizace [2020/12/21 15:04] – [Numerické znaky (0123456789)] jankrivan | cnk:syn2020:tokenizace [2021/03/05 10:37] – [Ve všech ostatních kombinacích se numerické a interpunkční znaky tokenizují zvlášť] jankrivan | ||
|---|---|---|---|
| Řádek 46: | Řádek 46: | ||
| ==== Ve všech ostatních kombinacích se numerické a interpunkční znaky tokenizují zvlášť ==== | ==== Ve všech ostatních kombinacích se numerické a interpunkční znaky tokenizují zvlášť ==== | ||
| - | Oproti minulosti se tak zvlášť tokenizují i **tečky**, které se nevyskytují na konci věty, tj. tečky za zkratkami (2 tokeny: //nám .//), iniciálami (2 tokeny: //J .//) nebo číslicemi (2 tokeny: //12 .//). Pro identifikaci tohoto typu teček byla vytvořena na druhé pozici v [[pojmy: | + | Oproti minulosti se tak zvlášť tokenizují i **tečky**, které se nevyskytují na konci věty, tj. tečky za zkratkami (2 tokeny: //nám .//), iniciálami (2 tokeny: //J .//) nebo číslicemi (2 tokeny: //12 .//). Pro identifikaci tohoto typu teček byla vytvořena na druhé pozici v [[pojmy: |
| \\ | \\ | ||
| %%%% >> [[cnk: | %%%% >> [[cnk: | ||
