Obě strany předchozí revizePředchozí verzeNásledující verze | Předchozí verze |
pojmy:ud [2024/06/16 18:59] – [O korpusu InterCorp s anotací podle UD] alexandrrosen | pojmy:ud [2024/06/17 00:21] (aktuální) – [Syntaktické funkce] alexandrrosen |
---|
====== Universal Dependencies – UD ====== | ====== Universal Dependencies – UD ====== |
| |
[[https://universaldependencies.org|Universal Dependencies]] je otevřený mezinárodní projekt, jehož cílem je shromažďovat a nabízet texty v mnoha jazycích, a to s lingvistickou anotací provedenou jednotným způsobem. Zásady morfologické a syntaktické anotace podle UD spolu s anotačními nástroji vytvořenými v rámci tohoto projektu byly využity k anotaci verze [[https://wiki.korpus.cz/doku.php/cnk:intercorp:verze13ud|13ud]] paralelního korpusu [[https://wiki.korpus.cz/doku.php/cnk:intercorp|InterCorp]]. | [[https://universaldependencies.org|Universal Dependencies]] je otevřený mezinárodní projekt, jehož cílem je shromažďovat a nabízet texty v mnoha jazycích, a to s lingvistickou anotací provedenou jednotným způsobem. Zásady morfologické a syntaktické anotace podle UD spolu s anotačními nástroji vytvořenými v rámci tohoto projektu byly využity k anotaci některých nedávno zveřejněných verzí ([[cnk:intercorp:verze13ud|13ud]], [[cnk:intercorp:verze16ud|16ud]]) paralelního korpusu [[https://wiki.korpus.cz/doku.php/cnk:intercorp|InterCorp]]. |
| |
Obecné zásady anotace jsou uvedeny na stránkách projektu UD ([[https://universaldependencies.org/guidelines.html|UD Guidelines]]), včetně podrobného popisu: | Obecné zásady anotace jsou uvedeny na stránkách projektu UD ([[https://universaldependencies.org/guidelines.html|UD Guidelines]]), včetně podrobného popisu: |
* Pro využití v KonTextu byly **agregáty**, tj. slovní tvary složené ze dvou nebo i tří syntaktických slov, upraveny do podoby dělených tokenů. V češtině se to týká např. tvarů //ses// (//se//+//jsi//) nebo //oč// (//o//+//co//). Podrobněji viz níže část [[pojmy:ud#vicedilne_tokeny|Vícedílné tokeny]]. | * Pro využití v KonTextu byly **agregáty**, tj. slovní tvary složené ze dvou nebo i tří syntaktických slov, upraveny do podoby dělených tokenů. V češtině se to týká např. tvarů //ses// (//se//+//jsi//) nebo //oč// (//o//+//co//). Podrobněji viz níže část [[pojmy:ud#vicedilne_tokeny|Vícedílné tokeny]]. |
* U každého slova je určena jeho **syntaktická funkce** (''deprel'' – viz [[pojmy:ud#syntakticke_funkce|Syntaktické funkce]] a řídící člen v závislostní syntaktické struktuře, tzv. **hlava** (''head''). K usnadnění orientace v této struktuře se uvádějí také odkazy na důležité vlastnosti hlavy (lemma, slovní druh a morfologické kategorie, viz [[pojmy:ud#odkazy_na_ridici_clen|Odkazy na řídící člen]]). Pokud k významovému slovu patří nějaké **slovo pomocné** (např. předložka, pomocné sloveso, podřadicí spojka), uvádějí se u významového slova také některé vlastnosti pomocného slova (viz [[pojmy:ud#odkazy_na_pomocna_slova|Odkazy na pomocná slova]]). | * U každého slova je určena jeho **syntaktická funkce** (''deprel'' – viz [[pojmy:ud#syntakticke_funkce|Syntaktické funkce]] a řídící člen v závislostní syntaktické struktuře, tzv. **hlava** (''head''). K usnadnění orientace v této struktuře se uvádějí také odkazy na důležité vlastnosti hlavy (lemma, slovní druh a morfologické kategorie, viz [[pojmy:ud#odkazy_na_ridici_clen|Odkazy na řídící člen]]). Pokud k významovému slovu patří nějaké **slovo pomocné** (např. předložka, pomocné sloveso, podřadicí spojka), uvádějí se u významového slova také některé vlastnosti pomocného slova (viz [[pojmy:ud#odkazy_na_pomocna_slova|Odkazy na pomocná slova]]). |
* **Jazyky se liší** v repertoáru kategoriálních atributů i v odkazech na pomocná slova. Podrobnosti jsou uvedeny v {{cnk:intercorp:ud_ic_atributy.pdf|Seznamu atributů podle jazyků}}, který je popsán níže v [[https://wiki.korpus.cz/doku.php/pojmy:ud#legenda_k_seznamu_atributu|Legendě k seznamu atributů]]. | * **Jazyky se liší** v repertoáru kategoriálních atributů i v odkazech na pomocná slova. Podrobnosti viz níže v [[https://wiki.korpus.cz/doku.php/pojmy:ud#legenda_k_seznamu_atributu|Legendě k seznamu atributů]]. |
* KonText usnadňuje **hledání** podle slovního druhu a dalších morfologických kategorií pomocí funkce ''Vložit tag'', která do dotazu vkládá slovní druh podle UD (''upos'') a libovolné kategorie ze seznamu ''feats''. Funkce ''Vložit tag'' je dostupná u všech lingvisticky anotovaných jazyků. | * KonText usnadňuje **hledání** podle slovního druhu a dalších morfologických kategorií pomocí funkce ''Vložit tag'', která do dotazu vkládá slovní druh podle UD (''upos'') a libovolné kategorie ze seznamu ''feats''. Funkce ''Vložit tag'' je dostupná u všech lingvisticky anotovaných jazyků. |
| |
| //flat:foreign// | [[https://universaldependencies.org/u/dep/flat-foreign.html | další části cizího víceslovného výrazu ]] | // Summum **ius**, summa **iniuria** je estetická maxima. // | | | //flat:foreign// | [[https://universaldependencies.org/u/dep/flat-foreign.html | další části cizího víceslovného výrazu ]] | // Summum **ius**, summa **iniuria** je estetická maxima. // | |
| //goeswith// | [[https://universaldependencies.org/u/dep/goeswith.html | další část chybně rozděleného tvaru ]] | // Zastavil se a z **těžka** oddychoval. // | | | //goeswith// | [[https://universaldependencies.org/u/dep/goeswith.html | další část chybně rozděleného tvaru ]] | // Zastavil se a z **těžka** oddychoval. // | |
| **iobj** | [[https://universaldependencies.org/u/dep/iobj.html | nepřímý předmět ]] | //Vysvětlila **studentům** svůj plán.// | | | **iobj** | [[https://universaldependencies.org/u/dep/iobj.html | nepřímý předmět v akuzativu ]] | //Učí **mne** chemii.// | |
| //list// | [[https://universaldependencies.org/u/dep/list.html | další části seznamu ]] | //Steve Jones **tel.: 555-9814 e-mail: jones@abc.edf**// | | | //list// | [[https://universaldependencies.org/u/dep/list.html | další části seznamu ]] | //Steve Jones **tel.: 555-9814 e-mail: jones@abc.edf**// | |
| //**mark**// | [[https://universaldependencies.org/u/dep/mark.html | podřadicí spojka ]] | //Nevěděli jsme, **že** babička není doma. // | | | //**mark**// | [[https://universaldependencies.org/u/dep/mark.html | podřadicí spojka ]] | //Nevěděli jsme, **že** babička není doma. // | |
| **obj** | [[https://universaldependencies.org/u/dep/obj.html | přímý předmět ]] | //Cením si **vaší __pomoci__**.// | | | **obj** | [[https://universaldependencies.org/u/dep/obj.html | přímý předmět ]] | //Cením si **vaší __pomoci__**.// | |
| **obl** | [[https://universaldependencies.org/u/dep/obl.html | jmenné příslovečné určení ]] | //Vzduch se tetelil **__očekáváním__ blaha**. // | | | **obl** | [[https://universaldependencies.org/u/dep/obl.html | jmenné příslovečné určení ]] | //Vzduch se tetelil **__očekáváním__ blaha**. // | |
| **obl:arg** | [[https://universaldependencies.org/cs/dep/obl.html | jmenné příslovečné určení ve funkci argumentu ]] | //Otec určitě myslel **jen na __matku__**. // | | | **obl:arg** | [[https://universaldependencies.org/cs/dep/obl.html | předmět v nepřímém pádu nebo přísl. určení ve funkci argumentu ]] | //Otec určitě myslel **jen na __matku__**. Věnoval **jí** knížku. // | |
| //orphan// | [[https://universaldependencies.org/u/dep/orphan.html | závislost na vypuštěném větném členu ]] | // Pavel si objednal špenát a Markéta **brokolici**. // | | | //orphan// | [[https://universaldependencies.org/u/dep/orphan.html | závislost na vypuštěném větném členu ]] | // Pavel si objednal špenát a Markéta **brokolici**. // | |
| //parataxis// | [[https://universaldependencies.org/u/dep/parataxis.html | vsuvka, uvozovací věta ]] | // „Ten člověk,“ **__řekl__ Honza,** „odjel brzy ráno.“ // | | | //parataxis// | [[https://universaldependencies.org/u/dep/parataxis.html | vsuvka, uvozovací věta ]] | // „Ten člověk,“ **__řekl__ Honza,** „odjel brzy ráno.“ // | |
* Spojka závisí na následujícím členu koordinace. Její syntaktická funkce je ''cc''. | * Spojka závisí na následujícím členu koordinace. Její syntaktická funkce je ''cc''. |
* K identifikaci hlavy bez ohledu na to, zda je token členem koordinace nebo zda je v ní na prvním nebo některém dalším místě, slouží odkaz na tzv. efektivní hlavu: atribut ''e_id'' odkazuje na její identifikátor (pořadové číslo tokenu představujícího hlavu v rámci věty), atribut ''eparent'' na její relativní pozici vůči danému tokenu. | * K identifikaci hlavy bez ohledu na to, zda je token členem koordinace nebo zda je v ní na prvním nebo některém dalším místě, slouží odkaz na tzv. efektivní hlavu: atribut ''e_id'' odkazuje na její identifikátor (pořadové číslo tokenu představujícího hlavu v rámci věty), atribut ''eparent'' na její relativní pozici vůči danému tokenu. |
* Chceme-li vyhledat všechna slova s určitou syntaktickou funkcí, včetně těch, které jsou součástí koordinace, můžeme využít atribut ''p_deprel'', který ukazuje syntaktickou funkci hlavy daného tokenu. Např. dotaz na všechny nepřímé předměty, včetně koordinovaných, tak můžeme formulovat pomocí operátoru disjunkce (%%|%%) takto: ''%%[deprel="obj" | deprel="conj" & p_deprel="obj"]%%''. | * Ve [[en:cnk:intercorp:verze16ud|verzi 16ud]] je další atribut ''e_deprel'', jehož hodnota se rovná hodnotě atributu ''deprel'' daného tokenu, s výjimkou případů, kdy daný token není prvním členem koordinace, tj. když jeho ''deprel'' má hodnotu ''conj''. V těchto případech se hodnota ''e_deprel'' rovná hodnotě ''p_deprel'' – ukazuje tedy syntaktickou funkci celé koordinace. |
| * Atribut ''e_deprel'' má stejnou hodnotu jako ''p_deprel'' také v případech, kdy má atribut ''deprel'' hodnotu ''fixed'', ''flat'', ''compound'' nebo ''list''. Tokeny, které jsou součástí takových konstrukcí, lze tedy také vyhledávat podle syntaktické funkce celé konstrukce pomocí atributu ''e_deprel''. |
| * Chceme-li vyhledat všechna slova s určitou syntaktickou funkcí, včetně těch, které jsou součástí koordinace, můžeme ve [[cnk:intercorp:verze13ud|verzi 13ud]], kde atribut ''e_deprel'' chybí, využít atribut ''p_deprel'', který ukazuje syntaktickou funkci hlavy daného tokenu. Např. dotaz na všechny přímé předměty, včetně koordinovaných, tak můžeme formulovat pomocí operátoru disjunkce (%%|%%) takto: ''%%[deprel="obj" | deprel="conj" & p_deprel="obj"]%%''. |
| |
===== UD a KonText ===== | ===== UD a KonText ===== |
| |
| |
=== Přímé předměty v dativu, i v koordinaci === | === Slovesa s nepřímým předmětem === |
| |
<code>[case="Dat" & deprel="obj" | case="Dat" & deprel="conj" & p_deprel="obj"]</code> | <code>[deprel="iobj"]</code> |
| |
* [[https://www.korpus.cz/kontext/view?q=~3wGKQkuy2kE6|Tento dotaz]] najde přímé předměty v dativu, i když jsou součástí koordinace, např. ve větě //Chytil chřipku, **které** v novinách říkali "ruská".// nebo //Není jiná možnost, než je ukrást **mamce**, jejímu **manželovi** a **babičce**.// | * [[https://www.korpus.cz/kontext/view?q=~MwKKiaMYIgcg|Tento dotaz]] najde v anglických textech nepřímé předměty. |
| * Lemma řídícího členu nepřímého předmětu zjistíme pomocí frekvenční distribuce podle atributu ''p_lemma''. |
| * Podle UD by se předmět v dativu (např. v němčině nebo češtině) měl považovat za tzv. non-core dependent a měl by být označen za ''%%deprel="obl"%%'' nebo (pokud možno) ''%%deprel="obl:arg"%%''. Podrobněji viz [[https://universaldependencies.org/u/overview/syntax.html#core-arguments-vs-oblique-modifiers|Core Arguments vs. Oblique Modifiers]]. |
| |
| === Předměty v dativu, i v koordinaci === |
| |
| <code>[case="Dat" & e_deprel="obl:arg"]</code> |
| |
| * [[https://www.korpus.cz/kontext/view?q=~Xe0a6sQci0YS|Tento dotaz]] najde ve verzi 16ud přímé předměty v dativu, i když jsou součástí koordinace, např. ve větě //Chytil chřipku, **které** v novinách říkali "ruská".// nebo //Není jiná možnost, než je ukrást **mamce**, jejímu **manželovi** a **babičce**.// |
* U koordinovaných předmětů je každý z nich v samostatné konkordanci. | * U koordinovaných předmětů je každý z nich v samostatné konkordanci. |
* Buď je v dativu s funkcí přímého předmětu klíčové slovo (''%%case="Dat" & deprel="obj"%%''), nebo má klíčové slovo v dativu (''%%case="Dat"%%'') funkci ''conj'' (''%%deprel="conj"%%'') a závisí na uzlu s funkcí přímého předmětu (''%%p_deprel="obj"%%''). To znamená, že je druhým nebo dalším členem koordinace, která má celá funkci ''obj''. | |
| |
| <code>[case="Dat" & deprel="obl:arg" | case="Dat" & deprel="conj" & p_deprel="obl:arg"]</code> |
| |
| * [[https://www.korpus.cz/kontext/view?q=~3wGKQkuy2kE6|Tento dotaz]] je třeba použít ve verzi 13ud, kde chybí atribut ''e_deprel''. Najde totéž. |
| * Buď je v dativu s funkcí přímého předmětu klíčové slovo (''%%case="Dat" & deprel="obj"%%''), nebo má klíčové slovo v dativu (''%%case="Dat"%%'') funkci ''conj'' (''%%deprel="conj"%%'') a závisí na uzlu s funkcí přímého předmětu (''%%p_deprel="obj"%%''). To znamená, že je druhým nebo dalším členem koordinace, která má celá funkci ''obj''. |
| |
=== Vlastní jména jako podmět, i v koordinaci === | === Vlastní jména jako podmět, i v koordinaci === |
| |
* [[https://www.korpus.cz/kontext/view?q=~NQYQAU0ma42U|Tento dotaz]] najde vlastní jména ve funkci podmětu, i když jsou součástí koordinace. | * [[https://www.korpus.cz/kontext/view?q=~NQYQAU0ma42U|Tento dotaz]] najde vlastní jména ve funkci podmětu, i když jsou součástí koordinace. |
* Např. ve větě //**Evropa** a **Japonsko** se v mnohém cítí stejně ukřivděně jako Trump.// se ve výsledcích objeví Evropa i Japonsko. | * Např. ve větě //**Evropa** a **Japonsko** se v mnohém cítí stejně ukřivděně jako Trump.// se ve výsledcích objeví Evropa i Japonsko. |
| * Ve verzi 16ud najdeme totéž pomocí atributu ''e_deprel'' jednodušeji: |
| |
| <code>[e_deprel="nsubj" & upos="PROPN"]</code> |
| |
| |
==== Legenda k seznamu atributů ===== | ==== Legenda k seznamu atributů ===== |
| |
* V {{cnk:intercorp:ud_ic_atributy.pdf|Seznamu atributů podle jazyků}} jsou pod sebou všechny atributy v korpusu. | * V {{cnk:intercorp:ud_ic_atributy.pdf|Seznamu atributů podle jazyků ve verzi 13ud}} nebo {{cnk:intercorp:ud_ic16ud_attributy.pdf|Seznamu atributů podle jazyků ve verzi 13ud}} jsou pod sebou všechny atributy v daném korpusu. |
* Ve sloupcích je uvedeno, zda je atribut využit pro jazyk určený zkratkou v záhlaví. | * Ve sloupcích je uvedeno, zda je atribut využit pro jazyk určený zkratkou v záhlaví. |
* Atributy jsou rozděleny do čtyř kategorií, odlišených barvou pozadí. | * Atributy jsou rozděleny do čtyř kategorií, odlišených barvou pozadí. |
| * Pro stručnost jsou uvedeny jen lingvisticky označkované jazyky. Např. v seznamu k verzi 16ud je vynecháno 14 jazyků označených zkratkami bn, br, bs, eo, hs, ka, mk, ml, ms, rn, si, sq, th a tl. U těchto jazyků lze hledat jen podle atributů ''word'' a ''lc''. |
| |
==== Základní atributy ==== | ==== Základní atributy ==== |
==== Strukturní atributy ==== | ==== Strukturní atributy ==== |
| |
* Těchto 7 atributů je na <fc #6495ed>světle modrém</fc> pozadí. | * Tyto atributy je na <fc #6495ed>světle modrém</fc> pozadí. |
* Rozšiřují odkaz na syntaktickou hlavu tokenu (''head'') o další atributy, usnadňující identifikaci hlavy a orientaci v jejích vlastnostech, např. na její lemma (''p_lemma''), slovní druh (''p_upos'') nebo syntaktickou funkci (''p_deprel''). | * Rozšiřují odkaz na syntaktickou hlavu tokenu (''head'') o další atributy, usnadňující identifikaci hlavy a orientaci v jejích vlastnostech, např. na její lemma (''p_lemma''), slovní druh (''p_upos'') nebo syntaktickou funkci (''p_deprel''). |
* Atributy tohoto typu jsou v plném počtu u všech jazyků. | * Atributy tohoto typu jsou v plném počtu u všech jazyků. |
==== O korpusu InterCorp s anotací podle UD ==== | ==== O korpusu InterCorp s anotací podle UD ==== |
| |
Alexandr Rosen: Exploring InterCorp v16ud: the potential of a multilingual parallel treebank with complexity and diversity metrics. Instytut Slawistyki Zachodniej i Południowej, Uniwersytet Warszawski. Warszawa, 10/06/2024. [[https://owncloud.korpus.cz/s/RRdGfaEAw2RMZ8g|prezentace]] | Alexandr Rosen: Exploring InterCorp v16ud: the potential of a multilingual parallel treebank with complexity and diversity metrics. Instytut Slawistyki Zachodniej i Południowej, Uniwersytet Warszawski. Warszawa, 10/06/2024. [[https://owncloud.korpus.cz/s/RRdGfaEAw2RMZ8g|Prezentace]] |
| |
| |
Olga Nádvorníková: Analyse contrastive de la complexité syntaxique à l’aide de corpus parallèles. Translitteræ, Laboratoire LATTICE (Langues, Textes, Traitements informatiques et Cognition) – CNRS UMR 8094 (Centre national de la recherche scientifique: Unité mixte de recherche), ENS (L'École normale supérieure), Sorbonne Nouvelle. Paris, 28/05/2024. [[https://www.youtube.com/watch?v=wJrCez_XPQY|Video]], [[https://owncloud.korpus.cz/s/aHLBR4soqmoZcFQ|pdf]] | Olga Nádvorníková: Analyse contrastive de la complexité syntaxique à l’aide de corpus parallèles. Translitteræ, Laboratoire LATTICE (Langues, Textes, Traitements informatiques et Cognition) – CNRS UMR 8094 (Centre national de la recherche scientifique: Unité mixte de recherche), ENS (L'École normale supérieure). Paris, 28/05/2024. [[https://www.youtube.com/watch?v=wJrCez_XPQY|Video]], [[https://owncloud.korpus.cz/s/aHLBR4soqmoZcFQ|pdf]] |
| |
Olga Nádvorníková, Alexandr Rosen, Martin Stluka: InterCorp a Universal Dependencies: nové možnosti výzkumu. Teoreticko-metodologický seminář Ústavu českého jazyka a teorie komunikace FF UK. Praha, 20/03/2024, 27/03/2024. [[https://docs.google.com/document/d/1nSPzyhT6oHKUDN8A_uYmWrZH6tAmxTH_pUMOdjg01Eg/edit?usp=sharing|Program workshopu s odkazy na prezentace a záznamy]] | Olga Nádvorníková, Alexandr Rosen, Martin Stluka: InterCorp a Universal Dependencies: nové možnosti výzkumu. Teoreticko-metodologický seminář Ústavu českého jazyka a teorie komunikace FF UK. Praha, 20/03/2024, 27/03/2024. [[https://docs.google.com/document/d/1nSPzyhT6oHKUDN8A_uYmWrZH6tAmxTH_pUMOdjg01Eg/edit?usp=sharing|Program workshopu s odkazy na prezentace a záznamy]] |
| |
Alexandr Rosen (2023). The InterCorp parallel corpus with a uniform annotation for all languages. Jazykovedný časopis, 74(1):254–265. [[https://www.juls.savba.sk/ediela/jc/2023/1/jc23-01.pdf|paper]], [[https://owncloud.korpus.cz/s/wLxfrmwKCACX73W|prezentace]] | Alexandr Rosen (2023). The InterCorp parallel corpus with a uniform annotation for all languages. Jazykovedný časopis, 74(1):254–265. [[https://www.juls.savba.sk/ediela/jc/2023/1/jc23-01.pdf|Článek]], [[https://owncloud.korpus.cz/s/wLxfrmwKCACX73W|prezentace]] |
| |
Olga Nádvorníková, Alexandr Rosen, Martin Vavřín: InterCorp s jednotnou morfologickou a syntaktickou anotací podle Universal Dependencies: zážitky tvůrců a uživatelů. Praha, 16/11/2021. | Olga Nádvorníková, Alexandr Rosen, Martin Vavřín: InterCorp s jednotnou morfologickou a syntaktickou anotací podle Universal Dependencies: zážitky tvůrců a uživatelů. Praha, 16/11/2021. |