Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

--- pojmy:ud [2022/08/12 19:42] – [Universal Dependencies – UD] alexandrrosen
+++ pojmy:ud [2024/10/08 21:58] (aktuální) – [O korpusu InterCorp s anotací podle UD] alexandrrosen
@@ Řádek 1: / Řádek 1: @@
 ====== Universal Dependencies – UD ======
-[[https://universaldependencies.org|Universal Dependencies]] je otevřený mezinárodní projekt, jehož cílem je shromažďovat a nabízet texty v mnoha jazycích, a to s lingvistickou anotací provedenou jednotným způsobem. Zásady morfologické a syntaktické anotace podle UD spolu s anotačními nástroji vytvořenými v rámci tohoto projektu byly využity k anotaci verze [[https://wiki.korpus.cz/doku.php/cnk:intercorp:verze13ud|13ud]] paralelního korpusu [[https://wiki.korpus.cz/doku.php/cnk:intercorp|InterCorp]].
+[[https://universaldependencies.org|Universal Dependencies]] je otevřený mezinárodní projekt, jehož cílem je shromažďovat a nabízet texty v mnoha jazycích, a to s lingvistickou anotací provedenou jednotným způsobem. Zásady morfologické a syntaktické anotace podle UD spolu s anotačními nástroji vytvořenými v rámci tohoto projektu byly využity k anotaci některých nedávno zveřejněných verzí ([[cnk:intercorp:verze13ud|13ud]], [[cnk:intercorp:verze16ud|16ud]]) paralelního korpusu [[https://wiki.korpus.cz/doku.php/cnk:intercorp|InterCorp]].
 Obecné zásady anotace jsou uvedeny na stránkách projektu UD ([[https://universaldependencies.org/guidelines.html|UD Guidelines]]), včetně podrobného popisu:
@@ Řádek 12: / Řádek 12: @@
   * Pro využití v KonTextu byly **agregáty**, tj. slovní tvary složené ze dvou nebo i tří syntaktických slov, upraveny do podoby dělených tokenů. V češtině se to týká např. tvarů //ses// (//se//+//jsi//) nebo //oč// (//o//+//co//). Podrobněji viz níže část [[pojmy:ud#vicedilne_tokeny|Vícedílné tokeny]].
   * U každého slova je určena jeho **syntaktická funkce** (''deprel'' – viz [[pojmy:ud#syntakticke_funkce|Syntaktické funkce]] a řídící člen v závislostní syntaktické struktuře, tzv. **hlava** (''head''). K usnadnění orientace v této struktuře se uvádějí také odkazy na důležité vlastnosti hlavy (lemma, slovní druh a morfologické kategorie, viz [[pojmy:ud#odkazy_na_ridici_clen|Odkazy na řídící člen]]). Pokud k významovému slovu patří nějaké **slovo pomocné** (např. předložka, pomocné sloveso, podřadicí spojka), uvádějí se u významového slova také některé vlastnosti pomocného slova (viz [[pojmy:ud#odkazy_na_pomocna_slova|Odkazy na pomocná slova]]).
-  * **Jazyky se liší** v repertoáru kategoriálních atributů i v odkazech na pomocná slova. Podrobnosti jsou uvedeny v {{cnk:intercorp:ud_ic_atributy.pdf|Seznamu atributů podle jazyků}}, který je popsán níže v [[https://wiki.korpus.cz/doku.php/pojmy:ud#legenda_k_seznamu_atributu|Legendě k seznamu atributů]].
+  * **Jazyky se liší** v repertoáru kategoriálních atributů i v odkazech na pomocná slova. Podrobnosti viz níže v [[https://wiki.korpus.cz/doku.php/pojmy:ud#legenda_k_seznamu_atributu|Legendě k seznamu atributů]].
   * KonText usnadňuje **hledání** podle slovního druhu a dalších morfologických kategorií pomocí funkce ''Vložit tag'', která do dotazu vkládá slovní druh podle UD (''upos'') a libovolné kategorie ze seznamu ''feats''. Funkce ''Vložit tag'' je dostupná u všech lingvisticky anotovaných jazyků.
@@ Řádek 131: / Řádek 131: @@
 | //flat:foreign// | [[https://universaldependencies.org/u/dep/flat-foreign.html | další části cizího víceslovného výrazu ]] | // Summum **ius**, summa **iniuria** je estetická maxima. // |
 | //goeswith// | [[https://universaldependencies.org/u/dep/goeswith.html | další část chybně rozděleného tvaru ]] | // Zastavil se a z **těžka** oddychoval. // |
-| **iobj** | [[https://universaldependencies.org/u/dep/iobj.html | nepřímý předmět ]] | //Vysvětlila **studentům** svůj plán.// |
+| **iobj** | [[https://universaldependencies.org/u/dep/iobj.html | nepřímý předmět v akuzativu ]] | //Učí **mne** chemii.// |
 | //list// | [[https://universaldependencies.org/u/dep/list.html | další části seznamu ]] | //Steve Jones **tel.: 555-9814 e-mail: jones@abc.edf**// |
 | //**mark**// | [[https://universaldependencies.org/u/dep/mark.html | podřadicí spojka ]] | //Nevěděli jsme, **že** babička není doma. // |
@@ Řádek 139: / Řádek 139: @@
 | **nummod** | [[https://universaldependencies.org/cs/dep/nummod.html | číslovka ]] | // **Jedno** kotě spalo. // |
 | **nummod:gov** | [[https://universaldependencies.org/cs/dep/nummod-gov.html | číslovka v pádu neshodném se jménem ]] | // **Pět** mužů hrálo karty. // |
-| **obj** | [[https://universaldependencies.org/u/dep/obj.html | přímý předmět ]] | //Cením si **vaší __pomoci__**.// |
+| **obj** | [[https://universaldependencies.org/u/dep/obj.html | přímý předmět ]] | //Přiloží si **ruku** na srdce.// |
 | **obl** | [[https://universaldependencies.org/u/dep/obl.html | jmenné příslovečné určení ]] | //Vzduch se tetelil **__očekáváním__ blaha**. // |
-| **obl:arg** | [[https://universaldependencies.org/cs/dep/obl.html | jmenné příslovečné určení ve funkci argumentu ]] | //Otec určitě myslel **jen na __matku__**. // |
+| **obl:arg** | [[https://universaldependencies.org/cs/dep/obl.html | předmět v nepřímém pádu nebo přísl. určení ve funkci argumentu ]] | //Otec určitě myslel **jen na __matku__**. Věnoval **jí** knížku. // |
 | //orphan// | [[https://universaldependencies.org/u/dep/orphan.html | závislost na vypuštěném větném členu ]] | // Pavel si objednal špenát a Markéta **brokolici**. // |
 | //parataxis// | [[https://universaldependencies.org/u/dep/parataxis.html | vsuvka, uvozovací věta ]] | // „Ten člověk,“ **__řekl__ Honza,** „odjel brzy ráno.“ // |
@@ Řádek 172: / Řádek 172: @@
   * Spojka závisí na následujícím členu koordinace. Její syntaktická funkce je ''cc''.
   * K identifikaci hlavy bez ohledu na to, zda je token členem koordinace nebo zda je v ní na prvním nebo některém dalším místě, slouží odkaz na tzv. efektivní hlavu: atribut ''e_id'' odkazuje na její identifikátor (pořadové číslo tokenu představujícího hlavu v rámci věty), atribut ''eparent'' na její relativní pozici vůči danému tokenu.
-  * Chceme-li vyhledat všechna slova s určitou syntaktickou funkcí, včetně těch, které jsou součástí koordinace, můžeme využít atribut ''p_deprel'', který ukazuje syntaktickou funkci hlavy daného tokenu. Např. dotaz na všechny nepřímé předměty, včetně koordinovaných, tak můžeme formulovat pomocí operátoru disjunkce (%%|%%) takto: ''%%[deprel="obj" | deprel="conj" & p_deprel="obj"]%%''.
+  * Ve [[en:cnk:intercorp:verze16ud|verzi 16ud]] je další atribut ''e_deprel'', jehož hodnota se rovná hodnotě atributu ''deprel'' daného tokenu, s výjimkou případů, kdy daný token není prvním členem koordinace, tj. když jeho ''deprel'' má hodnotu ''conj''. V těchto případech se hodnota ''e_deprel'' rovná hodnotě ''p_deprel'' – ukazuje tedy syntaktickou funkci celé koordinace.
+  * Atribut ''e_deprel'' má stejnou hodnotu jako ''p_deprel'' také v případech, kdy má atribut ''deprel'' hodnotu ''fixed'', ''flat'', ''compound'' nebo ''list''. Tokeny, které jsou součástí takových konstrukcí, lze tedy také vyhledávat podle syntaktické funkce celé konstrukce pomocí atributu ''e_deprel''.
+  * Chceme-li vyhledat všechna slova s určitou syntaktickou funkcí, včetně těch, které jsou součástí koordinace, můžeme ve [[cnk:intercorp:verze13ud|verzi 13ud]], kde atribut ''e_deprel'' chybí, využít atribut ''p_deprel'', který ukazuje syntaktickou funkci hlavy daného tokenu. Např. dotaz na všechny přímé předměty, včetně koordinovaných, tak můžeme formulovat pomocí operátoru disjunkce (%%|%%) takto: ''%%[deprel="obj" | deprel="conj" & p_deprel="obj"]%%''.
 ===== UD a KonText =====
@@ Řádek 225: / Řádek 228: @@
 <code>[deprel="nsubj" & lemma="pták"]</code>
-  * [[https://www.korpus.cz/kontext/view?q=~WwowOEw4Uss6|Tento dotaz]] hledá tvary lexému //pták// ve funkci podmětu. Najde např. větu //Několik	**ptáků** znechuceně odletělo.//
+  * [[https://www.korpus.cz/kontext/view?q=~WwowOEw4Uss6|Tento dotaz]] hledá tvary lexému //pták// ve funkci podmětu. Najde např. větu //Několik **ptáků** znechuceně odletělo.//
   * Nejčastější lexémy řídícího slovesa podmětu zjistíme nejlépe z frekvenční distribuce podle atributu ''p_lemma'' (v menu KonTextu: ''%%Frekvence / Vlastní... / Atribut: p_lemma%%'').
@@ Řádek 233: / Řádek 236: @@
 <code>[case="Acc" & case_lemma="o"]</code>
-  * [[https://www.korpus.cz/kontext/view?q=~w4OmGg4oSYkq|Tento dotaz]] najde všechna jména, tj. slova, která se skloňují (mají pád), tedy substantiva, zájmena a adjektiva; pádem má být akuzativ a dané jméno následuje po předložce //o// (lemma závislého pomocného slova se syntaktickou funkcí ''case'' je //o//).
+  * [[https://www.korpus.cz/kontext/view?q=~0AwsQAG8Y4Sg|Tento dotaz]] najde všechna jména, tj. slova, která se skloňují (mají pád), tedy substantiva, zájmena a adjektiva; pádem má být akuzativ a dané jméno následuje po předložce //o// (lemma závislého pomocného slova se syntaktickou funkcí ''case'' je //o//).
   * Najdeme tak např. větu //Dědovy holínky **pleskaly** o dlaždičky.//
   * Vzhledem k tomu, že údaj o předložce bývá uveden jen u substantiv nebo zájmen, ve výsledku by se adjektiva neměla objevit.
@@ Řádek 239: / Řádek 242: @@
-=== Přímé předměty v dativu, i v koordinaci ===
+=== Slovesa s nepřímým předmětem ===
-<code>[case="Dat" & deprel="obj" | case="Dat" & deprel="conj" & p_deprel="obj"]</code>
+<code>[deprel="iobj"]</code>
-  * [[https://www.korpus.cz/kontext/view?q=~3wGKQkuy2kE6|Tento dotaz]] najde přímé předměty v dativu, i když jsou součástí koordinace, např. ve větě //Chytil chřipku, **které** v novinách říkali "ruská".// nebo //Není jiná možnost, než je ukrást **mamce**, jejímu **manželovi** a **babičce**.//
+  * [[https://www.korpus.cz/kontext/view?q=~MwKKiaMYIgcg|Tento dotaz]] najde v anglických textech nepřímé předměty.
+  * Lemma řídícího členu nepřímého předmětu zjistíme pomocí frekvenční distribuce podle atributu ''p_lemma''.
+  * Podle UD by se předmět v dativu (např. v němčině nebo češtině) měl považovat za tzv. non-core dependent a měl by být označen za ''%%deprel="obl"%%'' nebo (pokud možno) ''%%deprel="obl:arg"%%''. Podrobněji viz [[https://universaldependencies.org/u/overview/syntax.html#core-arguments-vs-oblique-modifiers|Core Arguments vs. Oblique Modifiers]].
+=== Předměty v dativu, i v koordinaci ===
+<code>[case="Dat" & e_deprel="obl:arg"]</code>
+  * [[https://www.korpus.cz/kontext/view?q=~Xe0a6sQci0YS|Tento dotaz]] najde ve verzi 16ud přímé předměty v dativu, i když jsou součástí koordinace, např. ve větě //Chytil chřipku, **které** v novinách říkali "ruská".// nebo //Není jiná možnost, než je ukrást **mamce**, jejímu **manželovi** a **babičce**.//
   * U koordinovaných předmětů je každý z nich v samostatné konkordanci.
-  * Buď je v dativu s funkcí přímého předmětu klíčové slovo (''%%case="Dat" & deprel="obj"%%''), nebo má klíčové slovo v dativu (''%%case="Dat"%%'') funkci ''conj'' (''%%deprel="conj"%%'') a závisí na uzlu s funkcí přímého předmětu (''%%p_deprel="obj"%%''). To znamená, že je druhým nebo dalším členem koordinace, která má celá funkci ''obj''.
+<code>[case="Dat" & deprel="obl:arg" | case="Dat" & deprel="conj" & p_deprel="obl:arg"]</code>
+  * [[https://www.korpus.cz/kontext/view?q=~3wGKQkuy2kE6|Tento dotaz]] je třeba použít ve verzi 13ud, kde chybí atribut ''e_deprel''. Najde totéž.
+  * Buď je v dativu s funkcí přímého předmětu klíčové slovo (''%%case="Dat" & deprel="obj"%%''), nebo má klíčové slovo v dativu (''%%case="Dat"%%'') funkci ''conj'' (''%%deprel="conj"%%'') a závisí na uzlu s funkcí přímého předmětu (''%%p_deprel="obj"%%''). To znamená, že je druhým nebo dalším členem koordinace, která má celá funkci ''obj''.
 === Vlastní jména jako podmět, i v koordinaci ===
@@ Řádek 253: / Řádek 267: @@
   * [[https://www.korpus.cz/kontext/view?q=~NQYQAU0ma42U|Tento dotaz]] najde vlastní jména ve funkci podmětu, i když jsou součástí koordinace.
   * Např. ve větě //**Evropa** a **Japonsko** se v mnohém cítí stejně ukřivděně jako Trump.// se ve výsledcích objeví Evropa i Japonsko.
+  * Ve verzi 16ud najdeme totéž pomocí atributu ''e_deprel'' jednodušeji:
+<code>[e_deprel="nsubj" & upos="PROPN"]</code>
@@ Řádek 324: / Řádek 341: @@
 ==== Legenda k seznamu atributů =====
-  * V {{cnk:intercorp:ud_ic_atributy.pdf|Seznamu atributů podle jazyků}} jsou pod sebou všechny atributy v korpusu.
+  * V {{cnk:intercorp:ud_ic_atributy.pdf|Seznamu atributů podle jazyků ve verzi 13ud}} nebo {{cnk:intercorp:ud_ic16ud_attributy.pdf|Seznamu atributů podle jazyků ve verzi 13ud}} jsou pod sebou všechny atributy v daném korpusu.
   * Ve sloupcích je uvedeno, zda je atribut využit pro jazyk určený zkratkou v záhlaví.
   * Atributy jsou rozděleny do čtyř kategorií, odlišených barvou pozadí.
+  * Pro stručnost jsou uvedeny jen lingvisticky označkované jazyky. Např. v seznamu k verzi 16ud je vynecháno 14 jazyků označených zkratkami bn, br, bs, eo, hs, ka, mk, ml, ms, rn, si, sq, th a tl. U těchto jazyků lze hledat jen podle atributů ''word'' a ''lc''.
 ==== Základní atributy ====
@@ Řádek 340: / Řádek 358: @@
 ==== Strukturní atributy ====
-  * Těchto 7 atributů je na <fc #6495ed>světle modrém</fc> pozadí.
+  * Tyto atributy je na <fc #6495ed>světle modrém</fc> pozadí.
   * Rozšiřují odkaz na syntaktickou hlavu tokenu (''head'') o další atributy, usnadňující identifikaci hlavy a orientaci v jejích vlastnostech, např. na její lemma (''p_lemma''), slovní druh (''p_upos'') nebo syntaktickou funkci (''p_deprel'').
   * Atributy tohoto typu jsou v plném počtu u všech jazyků.
@@ Řádek 368: / Řádek 386: @@
   * Zásady jednotné klasifikace jevů se neuplatňují ve všech jazycích stejně důsledně.
   * Chyby a nedůslednosti v daném jazyce (např. //udělals// jako jednodílný token).
+  * Ve verzi 13ud je v němčině u sloves i osobních zájmen kategorie osoby často určena nesprávně, např. //siehst// nebo //du// je podle anotace 1. nebo 3. osoba. UDPipe se takhle mýlí i ve verzi 2 podle modelu german-hdt-ud-2.10-220711. Model german-gsd-ud-2.10-220711 to má správně.
 Kvalita anotace v různých jazycích se liší zejména objemem a kvalitou trénovacích dat. Má na ni vliv i metoda a nástroj použitý k anotaci.
@@ Řádek 376: / Řádek 395: @@
---- //Alexandr Rosen//
+===== Odkazy =====
+==== Výběr literatury k UD ====
+Marie-Catherine de Marneffe, Christopher Manning, Joakim Nivre, Daniel Zeman (2021): [[https://doi.org/10.1162/coli_a_00402|Universal Dependencies]]. In: //Computational Linguistics//, ISSN 1530-9312, vol. 47, no. 2, pp. 255-308.
+Timothy Baldwin, William Croft, Joakim Nivre, Agata Savary (2021): [[https://drops.dagstuhl.de/opus/volltexte/2021/15591/pdf/dagrep_v011_i007_p089_21351.pdf|Universals of Linguistic Idiosyncrasy in Multilingual Computational Linguistics]]. Report from Dagstuhl Seminar 21351. DOI: 10.4230/DagRep.11.7.89
+Daniel Zeman (2018): [[https://ufal.mff.cuni.cz/books/2018-zeman|The World of Tokens, Tags and Trees]]. ISBN 978-80-88132-09-7.
+Úplný seznam najdete [[https://universaldependencies.org/introduction.html#ud-related-publications|zde]].
+==== Tutoriály a přednášky o UD ====
+Joakim Nivre: [[https://lectures.ms.mff.cuni.cz/view.php?rec=539|Ten Years of Universal Dependencies]]. Praha, 22/04/2024.
+Daniel Zeman: [[https://www.youtube.com/watch?v=xUmZ8Mxcmg0|Universal Dependencies and the Slavic Languages]]. Warszawa, 19.11.2018.
+Joakim Nivre, Daniel Zeman, Filip Ginter, Francis M. Tyers: [[http://universaldependencies.org/eacl17tutorial/adding.pdf|Tutorial on Universal Dependencies: Adding a new language to UD]]
+Anna Nedoluzhko, Michal Novák, Martin Popel, Zdeněk Žabokrtský, Daniel Zeman: [[https://lectures.ms.mff.cuni.cz/view.php?rec=475|Coreference meets Universal Dependencies]]. Praha, 19/04/2021.
+Daniel Zeman: [[https://lectures.ms.mff.cuni.cz/view.php?rec=421|Reflexives in Universal Dependencies]]. Praha, 04/03/2019.
+==== O korpusu InterCorp s anotací podle UD ====
+Olga Nádvorníková a Alexandr Rosen (2024): Vyhledávání v paralelním korpusu za použití anotace Universal Dependencies. [[https://www.youtube.com/watch?v=5l5Vbb1eQDw&t=190s|Záznam workshopu]] z 17. 9. 2024, doprovodné akce [[https://bcl2024.ff.cuni.cz|Bienále české lingvistiky 2024]], viz též [[https://jakobson.korpus.cz/~rosen/BCL2024/P18_SLIDES/Prezentace_Bienale2024_WorkShop.pdf|prezentace]].
+Alexandr Rosen (2024): Exploring InterCorp v16ud: the potential of a multilingual parallel treebank with complexity and diversity metrics. Instytut Slawistyki Zachodniej i Południowej, Uniwersytet Warszawski. Warszawa, 10/06/2024. [[https://jakobson.korpus.cz/~rosen/INTERCORP/SLIDES/2024_UDCM_Wwa.pdf|Prezentace]]
-===== Související odkazy =====
+Olga Nádvorníková (2024): Analyse contrastive de la complexité syntaxique à l’aide de corpus parallèles. Translitteræ, Laboratoire LATTICE (Langues, Textes, Traitements informatiques et Cognition) – CNRS UMR 8094 (Centre national de la recherche scientifique: Unité mixte de recherche), ENS (L'École normale supérieure). Paris, 28/05/2024. [[https://www.youtube.com/watch?v=wJrCez_XPQY|Záznam přednášky]], [[https://jakobson.korpus.cz/~rosen/INTERCORP/SLIDES/C4%20Nadvornikova%20Analyse%20contrastiv%20e%20de%20la%20complexité%20syntaxique.pdf|prezentace]].
+Olga Nádvorníková, Alexandr Rosen, Martin Stluka (2024): InterCorp a Universal Dependencies: nové možnosti výzkumu. Teoreticko-metodologický seminář Ústavu českého jazyka a teorie komunikace FF UK. Praha, 20/03/2024, 27/03/2024. [[https://docs.google.com/document/d/1nSPzyhT6oHKUDN8A_uYmWrZH6tAmxTH_pUMOdjg01Eg/edit?usp=sharing|Program workshopu s odkazy na prezentace a záznamy]]
-<WRAP round box 50%>
+Alexandr Rosen (2023). The InterCorp parallel corpus with a uniform annotation for all languages. Jazykovedný časopis, 74(1):254–265. [[https://www.juls.savba.sk/ediela/jc/2023/1/jc23-01.pdf|Článek]], [[https://jakobson.korpus.cz/~rosen/INTERCORP/SLIDES/rosen-slovko-2023.pdf|prezentace]]
-xxx • xxx
-</WRAP>
+Olga Nádvorníková, Alexandr Rosen, Martin Vavřín (2021): InterCorp s jednotnou morfologickou a syntaktickou anotací podle Universal Dependencies: zážitky tvůrců a uživatelů. Praha, 16/11/2021.
+[[https://owncloud.korpus.cz/s/n3XSpYPpcMjbdC6|Záznam přednášky]], prezentace: [[https://owncloud.korpus.cz/s/aioW5oXt8Yo7tKp|zážitky tvůrců]], [[https://owncloud.korpus.cz/s/8ALLEPbZnqbLodY|zážitky uživatelů]]

Historie:

Rozdíly

Hledat

Navigace

Tisk/export

Nástroje

Jazyky

Licence