AplikaceAplikace
Nastavení

Toto je starší verze dokumentu!


Lemmatizace a tagování mluvených korpusů

Lemmatizace a tagování transkriptu mluveného projevu je mnohem náročnější než u jazyka psaného. Přibývá zde neznámých tvarů (zachycované redukce výslovnosti, nářeční tvary, nová slova). Tyto tvary pak mohou být homonymní s tvary zastoupenými v morfologickém slovníku pro jazyk psaný (např. pudu jako zápis výslovnosti slovesného tvaru půjdu je homonymní s dativem a lokálem substantiva pud a se zaznamenanou krácenou výslovností genitivu plurálu substantiva půda). Odlišná struktura neformálního dialogu, kterou charakterizuje množství nedokončených, přerušených a modifikovaných výpovědí, opakujících se slov, výplňkových slov, odkazy k mimojazykovému kontextu ap., znesnadňuje určení morfologických kategorií i lingvistům. Vzhledem k velikosti korpusu je potřebná zejména lemmatizace, bez níž není prakticky možné vyhledat všechny tvary příslušného lemmatu (v transkriptu se navíc objevují tvary redukované a nářeční). Se způsobem transkripce (zejména užíváním pauzové interpunkce místo interpunkce syntaktické) souvisí i nemožnost použít nástrojů a postupů běžně užívaných pro psaný jazyk.

Následující způsob lemmatizace a morfologického značkování byl použit pro korpusy ORAL, ORTOFON a DIALEKT. Jeho přínos spočívá především v lemmatizaci a označení slovních druhů, které přesto doporučujeme při vyhledávání pečlivě kontrolovat. Zvlášť pečlivou kontrolu však doporučujeme pro další morfologické kategorie.

Užitý způsob lemmatizace a tagování, jakkoli pracný, je pouze prvním pokusem usnadnit uživateli práci s rozsáhlými daty korpusů ORAL, ORTOFON a DIALEKT a jako takový obsahuje chyby a nepřesnosti, které ale zároveň vedou k obecnějším otázkám o koncepci značkování mluveného jazyka. Ty se snad podaří vyřešit v dalších verzích vytvořením nového tagovacího schématu (NovaMorf) a nástrojů k jeho implemantaci. I přes zmíněné nedostatky přináší tento korpus mnohem lepší podmínky pro práci s mluvenými daty, než tomu bylo dosud.

Pojetí lemmatu

Pojetí lemmatu je širší, než je tomu u psaného jazyka. Prioritou je možnost vyhledat všechny tvary určitého slova, které mohou být zaznamenány s redukovanou výslovností, ale i nářeční tvary, jež by mohly mít samostatné lemma (např. týden – tejden – tédeň – tydeň). Velkou variantností se vyznačují zejména ukazovací zájmena, např. lemma tenhleten obsahuje 105 slovních tvarů (např. nom. sg. neutra může být zapsán následujícími deseti způsoby: tohleto, todnecto, todleto, todlecto, todlencto, tohlencto, tohlento, toleto, tohlensto, todlensto).

Způsob tagování

Systém morfologických značek je stejný jako v psaných korpusech, jsou zde ovšem ponechány některé značky pro sdružené kategorie (např. X pro libovolný rod, Y pro maskulinum životné nebo neživoté atd.) tak, jak jsou obsaženy v použitém morfologickém slovníku MorFlex CZ (Hajič–Hlaváčková, 2013). Tento slovník byl ručně i poloautomaticky doplňován o nerozpoznané frekventované tvary (např. nářeční koncovky, tvary s odlišnou kvantitou, protetickým v). K samotnému značkování byl použit stochastický tagovací systém MorphoDiTa (Straka a kol., 2014).

Úpravy morfologického slovníku

Výchozí morfologický slovník MorfFlex CZ (Hajič - Hlaváčová, 2013) byl ručně a poloautomaticky doplňován, upravován nebo byly některé interpretace gramatických kategorií vynechány s ohledem na cílový registr (např. tvar bej představuje v mluvených datech pouze redukovanou variantu slovesa být, a nikoliv substantivum). Nerozpoznané tvary byly doplňovány od frekvence 5 výskytů. Příklady některých úprav:

Poloautomatické doplňování:

  • nářeční koncovky jako např. ak. sg. fem. na -u (nedělu, chvilu), slovesné tvary minulého aktivního příčeští (dělale, chodile)
  • varianty lišící se kvantitou samohlásek (myslim, vim, makem, polivka), palatalizací (tydeň), přítomností protetického v- (vokýnko, vobrazovka)
  • „namapování“ neznámých tvarů ke známým (se všemi jeho morfologickými intepretacemi)

Manuální doplňování:

  • přiřazení a sjednocení výslovnostních variant (např. třeba, čovek, depák; dokavád, dovaď, dovad) pod jedno lemma
  • přiřazení nářečních podob (dňama, Davidoj, ňou) ke spisovnému lemmatu

Odstranění některých interpretací:

  • odstranění interpretace jako adverbium: prostě
  • odstranění interpretace jako imperativ viď
  • odstranění interpretace jako vokativu pote (redukovaná výslovnost pojďte)

Doplnění některých interpretací

  • přidání kategorie částice: jen (původně pouze adverbium)
  • změna interpretace: puč neoznačujeme jako substantivum, jedná se o redukovanou výslovnost imperativu slovesa půjčit

Podoba lemmatu

  • většinu slov má lemma v podobě spisovného lemmatu, tedy stejnou jako v psaném jazyce, a to i v případech, kdy regionální podoba frekvenčně převažuje (např. pod lemma týden spadají všechny tvary regionálních variant tejden, tydeň, tédeň)
  • slova s dvojí spisovnou podobou mají dvojité lemma (polívka/polévka)
  • slova, u nichž nelze jednoznačně přiřadit jednotlivé tvary mají také dvojité lemma (myslet/myslit, muset/musit)
  • zkratky mají dvojIté lemma: SMS/esemeska, endéer/NDR

Dvojité lemma funguje jako multihodnota, to znamená, že při zadání jedné z možností vždy dostaneme všechny tvary přiřazené k dvojitému lemmatu.

Podoba tagu

Podoba tagu odpovídá morfologickým značkám používaným pro psané korpusy řady syn před zjednodušením systému značek, neobsahuje označení vidu na 16. pozici. Kromě těchto značek označuje na první pozici slovního druhu a v atributu POS hodnoty:

  • F pro nedořečená slova (např. nepoda*)
  • H pro neverbální zvuky (hezitační zvuky označené @, responzní hmm, emm)
  • M pro komentáře

Související odkazy