pojmy:segmentace - Příručka ČNK

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.

====== Segmentace ======

Z pohledu korpusové lingvistiky je segmentace členění textu či obvykle jeho větších částí (popř. celého korpusu) na menší úseky určitého typu či stejné povahy pro účely bližší analýzy, dnes zpravidla automatickými metodami. Nejběžnější je segmentace na věty nebo slova ([[pojmy:token|tokenizace]]), segmentace větná; obecně se však segmentace textů provádí i na morfémy či grafémy.

===== Segmentace větná =====

Automatický proces, při němž se text dělí na věty. Větnou segmentaci provádí počítačový program zvaný segmenter/segmentátor. Je to po [[pojmy:token|tokenizaci]] obvykle druhá fáze automatického zpracování textu. 

Větná segmentace je obecně netriviální, neboť interpunkční znaménka typicky ukončující větu bývají homonymní, např. tečka, jež ukončuje jak větu, tak i zkratku. Při větné segmentaci se obvykle počátek, resp. konec věty explicitně vyznačí zvláštní značkou značkovacího jazyka (např. XML), např. ''<s>'', resp. ''</s>'' (viz [[pojmy:atributy_strukturni|strukturní atributy]]). Například text

//Caesar byl zavražděn r. 43 př. Kr. Řím byl tehdy na pokraji převratu.//

obsahující dvě věty (nikoli jednu!) by se při netriviální segmentaci (tečka za //Kr// je totiž víceznačná a následující slovo začíná velkým písmenem) správně segmentoval takto:

''<s>Caesar byl zavražděn r. 43 př. Kr. </s>

<s>Řím byl tehdy na pokraji převratu.</s>''

==== Související odkazy ====

[[pojmy:struktura_korpusu|Struktura korpusu]]

[[pojmy:atributy_strukturni|Strukturní atributy]]

[[pojmy:token|Token]]

Historie: • alpha • parlcorp • mda • problemy_tokenizace • korpusy • stc_strdc_ud • ulozit • uvod • frekvence • syn2015

Hledat

Navigace

Tisk/export

Nástroje

Jazyky

Licence