AplikaceAplikace
Nastavení

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
en:cnk:lemtag_mluv [2017/07/07 09:47] – [Podoba tagu] veronikapojarovaen:cnk:lemtag_mluv [2017/07/18 15:12] (current) – [Lemmatization and tagging in spoken corpora] michalkren
Line 1: Line 1:
 ====== Lemmatization and tagging in spoken corpora ====== ====== Lemmatization and tagging in spoken corpora ======
  
-Lemmatizace tagování transkriptu mluveného projevu je mnohem náročnější než u jazyka psanéhoPřibývá zde neznámých tvarů (zachycované redukce výslovnostinářeční tvarynová slova), jež mohou být homonymní s tvary zastoupenými v morfologickém slovníku pro psaný jazyk (např. //pudu// jako zápis výslovnosti slovesného tvaru //půjdu// je homonymní s dativem a lokálem substantiva //pud// a se zaznamenanou krácenou výslovností genitivu plurálu substantiva //půda//). Odlišná struktura neformálního dialogukterou charakterizuje množství nedokončenýchpřerušených a modifikovaných výpovědíopakujících se slovvýplňkových výrazůodkazy k mimojazykovému kontextu ap., znesnadňuje určení morfologických kategorií i lingvistům.  +Lemmatizing and tagging transcription of spoken language is much more demanding than for written languageThere is a larger amount of unknown forms (reduced pronunciationdialectal formsneologisms), which can be homonymous with forms contained in the morphological dictionary for written language (e.g. //pudu// as recorded pronunciation of the verbal form //půjdu// is homonymous with the dative and locative forms of the noun //pud// and with the recorded shortened pronunciation of the plural genitive of the noun //půda//). The distinct structure of informal dialoguewhich is characterized by the quantity of unfinishedinterrupted and modified utterancesrepeated wordsfiller soundsreferences to the extralinguistic context etc., makes the identification of morphological categories difficult even for linguists.  
-Vzhledem k velikosti korpusu je potřebná zejména lemmatizacebez níž není prakticky možné vyhledat všechny tvary příslušného lemmatu (například tvary redukované a nářeční). Se způsobem transkripce (zejména s užíváním pauzové interpunkce místo interpunkce syntaktickésouvisí i nemožnost použít nástrojů a postupů běžně užívaných pro psaný jazyk+With regard to the size of the corpus, lemmatization, in particular, is indispensablewithout which it would be virtually impossible to find all forms of a given lemma (for example reduced and dialectal forms). Due to the mode of transcription (namely the use of pause punctuation in the place of syntactic punctuation), tools and procedures commonly used for written language cannot be used
  
-Následující způsob lemmatizace a morfologického značkování byl použit pro korpusy [[cnk:oral|ORAL]], [[cnk:ortofon|ORTOFON]] [[cnk:dialekt|DIALEKT]]. Jeho přínos spočívá především v lemmatizaci a označení slovních druhůPři vyhledávání však doporučujeme jejich důslednou kontroluzvlášť pečlivou v případě dalších morfologických kategorií.+The following method for lemmatization and morphological tagging has been used for the [[en:cnk:oral|ORAL]], [[en:cnk:ortofon|ORTOFON]] and [[en:cnk:dialekt|DIALEKT]] corporaIts primary contribution lies in the lemmatization and tagging of word classesHowever, it is recommended to carefully double check this when searchingespecially in the case of morphological categories.
  
-Užitý způsob lemmatizace a tagováníjakkoli pracnýje pouze prvním pokusem usnadnit uživateli práci s rozsáhlými daty korpusů ORAL, ORTOFON DIALEKT a jako takový obsahuje chyby a nepřesnostikteré ale zároveň vedou k obecnějším otázkám o koncepci značkování mluveného jazykaTy se snad podaří vyřešit v dalších verzích vytvořením nového tagovacího schématu (NovaMorf) a nástrojů k jeho implemantaciI přes zmíněné nedostatky přináší tento korpus mnohem lepší podmínky pro práci s mluvenými datynež tomu bylo dosud.+The lemmatization and tagging method usedalthough laboriousis only the first attempt to facilitate working with the extensive data of the ORAL, ORTOFON and DIALEKT corporaand as such contains errors and inaccuracies, which in turn lead to more general questions regarding the notion of tagging spoken corporaIt is hoped that these will be solved in the upcoming versions by the creation of a new tagging scheme (NovaMorf) and tools for its implementationDespite these shortcomingsthis corpus provides vastly improved conditions for working with spoken data in comparison to previous corpora.
  
-**Pojetí lemmatu**+**Concept of lemma**
  
-Pojetí lemmatu je širší, než je tomu u psaného jazykaPrioritou je možnost vyhledat všechny tvary určitého slovakteré mohou být zaznamenány s redukovanou výslovnostíale i nářeční tvaryjež by mohly mít samostatné lemma (např. //týden – tejden – tédeň – tydeň//). Velkou variantností se vyznačují zejména ukazovací zájmena, např. lemma **tenhleten** obsahuje 105 slovních tvarů (např. nom. sg. neutra může být zapsán následujícími deseti způsoby: //tohleto, todnecto, todleto, todlecto, todlencto, tohlencto, tohlento, toleto, tohlensto, todlensto//).+The concept of lemma is broader than in written languageThe main priority is to be able to find all forms of a given wordswhich can be recorded with reduced pronunciationbut also dialectal formswhich could have a separate lemma (e.g. //týden – tejden – tédeň – tydeň//). Large-scale variation is typical namely for demonstrative pronouns e.g. lemma **tenhleten** contains 105 word forms (e.g. nom. sg. neut. can be written in the following ten ways: //tohleto, todnecto, todleto, todlecto, todlencto, tohlencto, tohlento, toleto, tohlensto, todlensto//).
  
-**Způsob tagování**+**Tagging method**
  
-[[seznamy:tagy#pozice_1_-_slovni_druh|Systém morfologických značek]] je stejný jako v psaných korpusechjsou zde ovšem ponechány některé značky pro sdružené kategorie (např. X pro libovolný rod, Y pro maskulinum životné nebo neživotné atd.) tak, jak jsou obsaženy v použitém morfologickém slovníku MorfFlex CZ (Hajič–Hlaváčová, 2013). Tento slovník byl ručně i poloautomaticky doplňován o nerozpoznané frekventované tvary (napřnářeční koncovkytvary s odlišnou kvantitouprotetickým v). K samotnému značkování byl použit stochastický tagovací systém MorphoDiTa (Straka a kol., 2014). +[[seznamy:tagy#pozice_1_-_slovni_druh|The morphological tagging system]] (the description is in Czech only) is the same as for written corporahowever, some tags for associated categories are retained (e.g. X for any gender, Y for masculine animate or inanimate etc.) just as they are contained in the morphological dictionary MorfFlex CZ (Hajič–Hlaváčová, 2013). This dictionary was manually and semiautomatically supplemented by frequently unrecognised forms (e.g. dialectal suffixesforms with varying quantityprothetic v). The stochastic tagging system MorphoDiTa (Straka a kol., 2014) was used for the tagging itself.
-===== Úpravy morfologického slovníku =====+
  
-Výchozí morfologický slovník MorfFlex CZ (Hajič–Hlaváčová, 2013) byl ručně a poloautomaticky doplňován, upravován nebo byly některé interpretace gramatických kategorií vynechány s ohledem na cílový registr (např. tvar //bej// představuje v mluvených datech pouze redukovanou variantu slovesa //být//, a nikoliv substantivum). Nerozpoznané tvary byly doplňovány od frekvence 5 výskytů.  +===== Modifications to the morphological dictionary =====
-Příklady některých úprav:+
  
-**Poloautomatické** doplňování: +The original morphological dictionary MorfFlex CZ (Hajič–Hlaváčová2013was manually and semiautomatically supplementededitedand selected interpretations of grammatical categories were omitted with regard to the target register (e.g. the form //bej// in spoken data represents only a reduced variant of the verb //být//, and not a noun). Unrecognised forms were added from a frequency of 5 occurrences or higher.  
-  * **nářeční koncovky** jako např. u ak. sg. fem. zakončení na -u (//neděluchvilu//), slovesné tvary minulého aktivního příčeští (//dělalechodile//+Examples of some modifications:
-  * varianty lišící se **kvantitou samohlásek** (//myslim, vim, makem, polivka//), **palatalizací** (//tydeň//)**přítomností protetického v-** (//vokýnko, vobrazovka//+
-  * "namapování" neznámých tvarů ke známým (se všemi jeho morfologickými interpretacemi)+
  
-**Manuální doplňování**: +**Semiautomatic additions**: 
-  * přiřazení a sjednocení **výslovnostních variant** (např. //třebačovekdepák; dokavád, dovaďdovad//) pod jedno lemma  +  * **dialectal suffixes** such as the accsg. fem. ending with -u (//neděluchvilu//)verbal forms of the past active participle (//dělalechodile//) 
-  * přiřazení **nářečních podob** (//dňamaDavidoj, ňou//) ke spisovnému lemmatu+  * variants differing in **vowel quantity** (//myslimvimmakem, polivka//), **palatalization** (//tydeň//), **the presence of a prothetic v-** (//vokýnko, vobrazovka//
 +  * "mapping" unknown forms to familiar forms (with all of their morphological interpretations)
  
 +**Manual additions**:
 +  * assigning and merging **pronunciation variants** (e.g. //třeba, čovek, depák; dokavád, dovaď, dovad//) into one single lemma 
 +  * assigning **dialectal forms** (//dňama, Davidoj, ňou//) to a standard lemma
  
-**Odstranění některých interpretací**: 
-  * odstranění interpretace výrazu jako adverbium: //prostě// 
-  * odstranění interpretace výrazu jako imperativ: //viď// 
-  * odstranění interpretace výrazu jako vokativ: //pote// (redukovaná výslovnost //pojďte//) 
  
-**Doplnění některých interpretací** +**Removal of selected interpretations**: 
-  * přidání kategorie částice: //jen// (původně pouze adverbium) +  * removal of the expression's adverbial interpretation: //prostě// 
-  * změna interpretace: //puč// neoznačujeme jako substantivum, jedná se o redukovanou výslovnost imperativu slovesa //půjčit//  +  * removal of the expression's imperative interpretation: //viď// 
-===== Podoba lemmatu =====+  * removal of the expression's vocative interpretation: //pote// (reduced pronunciation of //pojďte//)
  
-  většina slov má lemma v podobě **spisovného lemmatu**, tedy stejnou jako v psaném jazyce, a to i v případech, kdy regionální podoba frekvenčně převažuje (např. pod lemma **//týden//** spadají všechny tvary regionálních variant //tejden, tyden, tydeň, tédeň//) +**Addition of selected interpretations** 
-  * slova s** dvojí spisovnou podobou** mají vícenásobné lemma (//polívka/polévka//) +  * addition of the particle category: //jen// (originally only adverb
-  * slova, u nichž **nelze jednoznačně přiřadit jednotlivé tvary**, mají také vícenásobné lemma (//myslet/myslit, muset/musit//+  * new interpretation: //puč// is no longer a nounbut the imperative of the verb //půjčit// with reduced pronunciation 
-  * **zkratky** mají vícenásobné lemma: //SMS/esemeskaendéer/NDR// +===== Lemma forms =====
  
-Vícenásobné lemma funguje jako multihodnotato znamenážpři zadání jedné z možností vždy dostaneme všechny tvary přiřazené k vícenásobnému lemmatu.+  * most words have a lemma in the form of a **standard lemma**i.e. the same as in written languageeven in cases where the regional form has a higher frequency (e.g. the lemma **//týden//** subsumes all regional variant forms //tejden, tyden, tydeň, tédeň//
 +  * words with a **dual standard form** have a multiple lemma (//polívka/polévka//
 +  * words which **can not be unambiguously assigned one specific form**, also have a multiple lemma (//myslet/myslit, muset/musit//
 +  * **abbreviations** have a multiple lemma: //SMS/esemeska, endéer/NDR//  
 + 
 +The multiple lemma functions as a multi-value, which means that if we enter any one of the forms, the search returns all of the forms assigned to the multiple lemma.
  
  
 ===== Tag forms===== ===== Tag forms=====
  
-The form of the tags corresponds to that of the [[en:seznamy:tagy#pozice_1_-_slovni_druh|morphological tags]] used in the [[en:cnk:syn|SYN]] series written corpora before the simplification of the tagging systemand does not include aspect on the 16th position.+The form of the tags corresponds to that of the [[seznamy:tagy#pozice_1_-_slovni_druh|morphological tags]] (Czech only) used in the [[en:cnk:syn|SYN]] series written corpora before the simplification of the tagging system and does not include aspect in the 16th position.
 Apart from these tags, the first position for the word class and the POS attribute can have the following values: Apart from these tags, the first position for the word class and the POS attribute can have the following values:
  
Line 58: Line 59:
  
 ===== Acknowledgements ===== ===== Acknowledgements =====
-We would like to thank doc. Klára Osolsobě and Mgr. Dana Hlaváčková, Ph.D. for providing valuable consultation+We would like to thank doc. Klára Osolsobě and Dr. Dana Hlaváčková for providing valuable consultations
  
 ===== Sources ===== ===== Sources =====
Line 66: Line 67:
 Kopřivová, M. - Lukeš, D. - Komrsková, Z. - Poukarová, P.: Korpus ORAL: sestavení, lemmatizace a morfologické značkování. In //Korpus - Gramatika - Axiologie// 2017 (in print). Kopřivová, M. - Lukeš, D. - Komrsková, Z. - Poukarová, P.: Korpus ORAL: sestavení, lemmatizace a morfologické značkování. In //Korpus - Gramatika - Axiologie// 2017 (in print).
  
-Lukeš. D. - Klimešová, P. - Komrsková, Z. - Kopřivová, M. (2015): Experimental Tagging of the ORAL Series Corpora: Insights on Using a Stochastic Tagger. In: TSD 2015, Ed. P. Král a V. Matoušek. Springer international Publishing, 342-350.+Lukeš. D. - Klimešová, P. - Komrsková, Z. - Kopřivová, M. (2015): Experimental Tagging of the ORAL Series Corpora: Insights on Using a Stochastic Tagger. In: TSD 2015, Ed. P. Král a V. Matoušek. Springer International Publishing, 342-350.
 </WRAP> </WRAP>
  
Line 72: Line 73:
  
 <WRAP round box 72%> <WRAP round box 72%>
-[[en:cnk:oral|ORAL]] • [[en:cnk:ortofon|ORTOFON]] • [[en:cnk:dialekt|Dialekt]] • [[en:pojmy:mluveny|Spoken language corpus]] • [[en:pojmy:atributy_strukturni#strukturni_atributy_korpusu_rady_oral|Structure of the ORAL corpora]] • [[en:kurz:hledani_v_mluvenych_korpusech|Searching in spoken corpora]] • [[en:kurz:hledani_ORTOFON|Searching in the ORTOFON corpus]] • [[en:cnk:dialekt:prace|Searching in the DIALEKT corpus]]+[[en:cnk:oral|ORAL]] • [[en:cnk:ortofon|ORTOFON]] • [[en:cnk:dialekt|DIALEKT]]
  </WRAP>  </WRAP>