Korpus InterCorp verze 13ud – Universal Dependencies

Po registraci na stránce Prohlášení uživatele korpusů ÚČNK lze korpus prohledávat přes webové rozhraní. Registrace platí pro všechny veřejně přístupné korpusy ÚČNK. Máte-li uživatelské jméno a heslo k české části Českého národního korpusu, další registraci pro paralelní korpus nepotřebujete.

InterCorp je přístupný přes běžný webový prohlížeč z jednotného vyhledávacího rozhraní KonText pomocí speciálního dotazovacího formuláře pro paralelní korpusy.

Texty z korpusu InterCorp lze získat po podpisu licenčního ujednání pro neziskové účely také v podobě dvojjazyčných souborů náhodně seřazených dvojic vět. Zájemci se mohou obrátit na Martina Vavřína.

Obvykle jednou ročně vychází nová verze InterCorpu. V každé nové verzi roste objem textů, případně i počet jazyků a rozsah anotace. Od verze 6 dál jsou všechny předchozí verze stále dostupné. Verzi 13, označenou 13ud, zveřejňujeme také s lingvistickým značkováním podle standardu Universal Dependencies.

• Z celkového počtu 41 jazyků (včetně češtiny) je ve verzi 13ud lingvisticky anotovaných 36; všechny takové jazyky jsou navíc vybaveny i syntaktickou anotací.
• Texty jsou ve všech jazycích anotované stejně, a to podle standardu UD (Universal Dependencies).
• Obecné zásady anotace jsou uvedeny na stránkách projektu UD (UD Guidelines), včetně podrobného popisu:
  • slovních druhů (Universal POS tags)
  • morfologických kategorií (Universal features)
  • syntaktických funkcí (Universal Dependency Relations)
• Anotaci provedl u všech jazyků nástroj UDPipe na základě dat vytvořených v projektu UD.¹⁾
• Pro využití v KonTextu byly agregáty, tj. slovní tvary složené ze dvou nebo i tří syntaktických slov, upraveny do podoby dělených tokenů. V češtině se to týká např. tvarů ses (se+jsi) nebo oč (o+co), v angličtině isn't nebo cannot, v němčině zur (zu+der) nebo am (an+dem), v polštině miałam (miała+m), żebyś (że+by+ś) nebo chciałbym (chciał+by+m), ve francouzštině des (de+les), aux (à+les) nebo auquel (à+lequel).²⁾
• Také byly přidány údaje usnadňující orientaci v syntaktické struktuře. Mezi tyto údaje patří odkazy na důležité vlastnosti řídícího členu (lemma, slovní druh a morfologické kategorie). Pokud k významovému slovu patří nějaké slovo pomocné (např. předložka, pomocné sloveso, podřadicí spojka), uvádí se u významového slova také některé vlastnosti pomocného slova.
• Často využívaným morfologickým kategoriím ze seznamu features (v KonTextu feats) se dostalo privilegovaného postavení samostatných atributů. To se týká např. morfologického pádu a čísla (case, number), jmenného rodu (gender) nebo osoby (person).
• Anotace mezi jazyky se liší jen počtem atributů, viz Seznam atributů podle jazyků, popsaný níže v Legendě k seznamu atributů.
• KonText usnadňuje hledání podle slovního druhu a dalších morfologických kategorií pomocí funkce Vložit tag, která do dotazu vkládá slovní druh podle UD (upos) a libovolné kategorie ze seznamu feats. Funkce Vložit tag je dostupná u všech lingvisticky anotovaných jazyků.

InterCorp verze 13ud obsahuje stejné texty jako InterCorp verze 13, obě verze se liší jen v lingvistické anotaci. Údaje o počtu tokenů a slov ve verzi 13ud se však můžou mírně lišit kvůli jinému způsobu tokenizace.

Jádrem korpusu InterCorp jsou ručně zarovnané, převážně beletristické texty. Kromě toho korpus obsahuje také nabídku automaticky zpracovaných textů, tzv. kolekce. Ve verzi 13ud jsou k dispozici tyto kolekce:

• publistické články a zpravodajství z webových stránek Project Syndicate a VoxEurop (dříve PressEurop)
• právní texty Evropské unie z korpusu Acquis Communautaire
• zápisy jednání Evropského parlamentu z let 2007–2011 z korpusu Europarl
• filmové titulky z databáze OpenSubtitles
• překlady Bible

Tyto texty jsou zarovnány jen automaticky, v konkordancích tedy může být více vět, které si navzájem neodpovídají. Kolekce také neobsahují všechny texty z původního zdroje, např. ty, které nemají český protějšek. Některé texty z korpusů Acquis Communautaire a Europarl byly rovněž částečně opraveny nebo vytříděny, takže se mohou ve srovnání s původním zdrojem lišit podobou i rozsahem. Podobně byla zredukována i databáze OpenSubtitles, kde jsme navíc u každého titulu převzali z více verzí překladu jen jednu. Zato byly doplněny některé metainformace, které v původním zdroji chyběly, ale daly se zjistit z kontextu nebo jiných zdrojů. Došlo rovněž k rozdělení Syndicate a PressEurop na jednotlivé ročníky, čímž se navýšil počet dokumentů v kolekcích.

Každý cizojazyčný text má v korpusu svou českou verzi. Čeština je tedy tzv. pivot, česká verze textu (originál nebo překlad) je zarovnána s jednou nebo více verzemi cizojazyčnými. Celkový rozsah zpřístupněné části korpusu ve verzi 13ud z prosince 2021 činí v zarovnaných cizojazyčných textech 327 milionů slov v jádru a 1 220 milionů slov v kolekcích. V českých textech je v jádru 114 a v kolekcích 90 milionů slov (viz historie verzí). Rozložení textů v rámci jádra a v jednotlivých kolekcích je znázorněno na následujících grafech. Čísla v grafech ukazují velikost v milionech slov.

Skladba korpusu podle jednotlivých jazyků – jádro i kolekce

Skladba korpusu podle jednotlivých jazyků – jádro

Skladba korpusu podle jednotlivých jazyků – kolekce

Pozn.: U českých textů se počítají slova jen jednou za každý text, i když má více cizojazyčných protějšků.

• V UD se slovní druh uvádí odděleně od dalších kategorií.
• Slovní druhy jsou pro všechny jazyky stejné.
• Slovní druh se uvádí jako hodnota atributu upos.
• U většiny jazyků je v atributu xpos i jazykově specifická morfologická značka.

• Další kategorie se řídí podle slovního druhu a jazyka.
• Každá kategorie je uvedena jako dvojice „název kategorie = hodnota kategorie“, tedy např. Number=Sg.
• Seznam takových dvojic tvoří hodnotu atributu feats.
• Kategorie v atributu feats jsou odděleny znakem „|“, např. tvar школы v genitivu singuláru je značkován takto: Animacy=Inan|Case=Gen|Gender=Fem|Number=Sing.
• Dotaz pomocí CQL lze specifikovat jednotlivé části značky zvlášť, tedy např. [upos="NOUN" & feats="Gender=Fem" & feats="Case=Gen"] (na pořadí kategorií nezáleží).
• Dotaz lze formulovat také na řetězec znaků, např. [upos="NOUN" & feats=".*Case=Gen.*Gender=Fem.*"]. Výsledek je v obou případech stejný.
• Některé z kategorií ve feats jsou uvedeny zároveň jako další atributy. Tyto atributy lze využít při hledání nebo pro generování frekvenčních seznamů.

• Některé tokeny, tzv. agregáty, se skládají z více částí.
• Tyto části odpovídají v syntaktické struktuře různým uzlům.
• V češtině jde např. o tvary abychom, ses, bylas nebo oč.
• Části takových tokenů dělí znak „|“.
• Části jsou uvedeny v podobě odpovídající původnímu tvaru (tedy např. se |s) i v podobě, která by odpovídala jeho nezkrácené verzi (tedy např. se |jsi).
• Vícedílné tokeny se ve všech jazycích hledají jako celé tvary. To se týká např. anglických spřežek (can't) nebo polských aglutinovaných tvarů (byłbym).

• U každého tokenu je uvedena závislostní syntaktická funkce (deprel) a odkaz na syntakticky řídící slovo, tj. na hlavu (head).
• V níže uvedené tabulce se pro lepší orientaci rozlišují typem písma syntaktické funkce čtyř typů:
  • Obvyklé syntaktické funkce jsou uvedeny tučně.
  • Funkce určené pro pomocná slova jsou uvedeny tučnou kurzívou.
  • Funkce umožňující zachytit v závislostní syntaktické struktuře koordinaci a podobné jevy nebo mají čistě technickou povahu jsou uvedeny kurzívou.
  • Funkce, které se v češtině nevyužívají, jsou uvedeny šedě.
• V některých jazycích mohou mít některé funkce podtypy. Název podtypu je uveden po dvojtečce za názvem typu. Níže uvedený seznam obsahuje pouze podtypy relevantní pro češtinu a zastoupené v korpusu.
• Pro jiné jazyky než češtinu nebo angličtinu lze seznam všech funkcí a jejich podtypů zobrazit v prohlížeči KonText. Vyberte konkrétní jazykový subkorpus, klikněte na Dotaz v horní liště a v nabídce zvolte Seznam slov. V rámečku za Hledat podle atributu nastavte možnost deprel. Pak klikněte dole na Vytvořit seznam slov. Funkce jsou seřazeny podle frekvence. Chcete-li je seřadit podle abecedy, klikněte na záhlaví sloupce deprel. Seznam obsahuje samostatné položky pro vícedílné tokeny s oddělovačem „|“.

• Kromě odkazu na hlavu jsou u každého tokenu uvedeny i některé další atributy jeho hlavy: lemma, slovní druh, morfologické kategorie, syntaktická funkce.
• Token může být vybaven i atributy, které specifikují vlastnosti pomocného slova, které na tokenu závisí.
• Podobné prostředky reprezentace syntaktické struktury používají i jiné syntakticky anotované korpusy zpřístupněné v prohlížeči KonText (např. syn2020).

• Mezi pomocná slova patří podle UD pomocná slovesa, předložky, podřadicí spojky, spona, determinátory a kvantifikátory.
• Pomocná slova závisejí na příslušném slově významovém.
• Druhy pomocných slov jsou určeny zejména svou syntaktickou funkcí.
• Za každé pomocné slovo může být u jeho řídícího slova významového uvedeno lemma, upos, feats a podrobnější specifikace typu type.
• Názvy příslušných atributů významového slova se skládají z funkce a atributu pomocného slova.
• Např. case_lemma specifikuje u substantiva nebo zájmena lemma předložky.

• První člen koordinace závisí na hlavě celé koordinace. Jeho syntaktická funkce určuje syntaktickou funkci celé koordinace.
• Druhý a další člen koordinace závisí vždy na prvním členu koordinace. Jejich syntaktická funkce je určena jako conj.
• Spojka závisí na následujícím členu koordinace. Její syntaktická funkce je cc.
• K identifikaci hlavy bez ohledu na to, zda je token členem koordinace nebo zda je v ní na prvním nebo některém dalším místě, slouží odkaz na tzv. efektivní hlavu.

• Jednoduchý dotaz na slovní tvar nebo slovní spojení se zadává stejně jako v předchozích verzích InterCorpu.⁶⁾

• Stejně jako v předchozích verzích InterCorpu lze v pokročilém dotazu zadat lemma a morfologickou značku (tag). U většiny lingvisticky anotovaných jazyků (výjimkou jsou be, da, en, fr, hu, no a ru) je možné zadat značku z jazykově specifické sady (národního tagsetu), obvykle totožné se sadou z předchozích verzí InterCorpu pro daný jazyk. Jen je třeba místo atributu tag použít atribut xpos. Např. dotaz na substantiva ženského rodu ve vokativu singuláru v češtině lze tímto způsobem zadat takto: [xpos="NNFS5.*"].
• Slovní druh a morfologické kategorie se podle UD uvádějí zvlášť jako hodnoty atributů upos a feats. Jejich hodnoty lze zadat pomocí funkce Vložit tag.
• Slovní druhy (upos) jsou stejné pro všechny jazyky. Např. dotaz na vlastní jména lze i bez využití funkce Vložit tag zadat takto: [upos="PROPN"].
• Morfologické kategorie se uvádějí jako dvojice <název kategorie>=<hodnota kategorie>. Tyto dvojice jsou uvedeny jako položky seznamu pod atributem feats a jsou oddělené znakem |. Např. u substantiva moře v nominativu jsou morfologické kategorie jako hodnota atributu feats uvedeny takto: Case=Nom|Gender=Neut|Number=Sing|Polarity=Pos. Tvar moře anotovaný tímto způsobem se najde např. na dotaz [upos="NOUN" & feats="Number=Sing"].
• Některé kategorie jsou zpřístupněny zároveň i mimo seznam feats, takže stejný dotaz je možné zadat i jednodušeji: [upos="NOUN" & number="Sing"]. Názvy kategorií jsou zde z technických důvodů uvedeny s malým písmenem, včetně např. verb_form místo VerbForm.
• Stejné nebo srovnatelné morfologické kategorie i jejich hodnoty se nazývají ve všech jazycích stejně.

• Při zadávání pokročilého dotazu lze využít funkci Vložit tag, která umožňuje ve všech lingvisticky anotovaných jazycích vybrat podle nabídky slovní druh a/nebo hodnoty příslušných kategorií (vlastností) ze seznamu feats. Nabídka vlastností se u daného slovního druhu řídí jejich reálným výskytem v korpusu, takže může odrážet i chybné kombinace.

• Syntaktická funkce se u každého tokenu uvádí jako hodnota atributu deprel.
• Např. dotaz, který má ukázat výskyty slovesa běhat ve funkci řídícího členu přívlastkové věty, se zadává jako [lemma="běhat" & deprel="acl"].

• Po kliknutí na klíčové slovo a Formátovaný text v záhlaví kontextového rámečku se objeví konkordance spolu s nejbližším kontextem v podobě, která se blíží původní typografii textu. Nejsou v ní např. mezery mezi koncem slova a interpunkcí a odstavce jsou odděleny prázdným řádkem.

• Po kliknutí na ikonku syntaktické struktury na začátku řádky každé konkordance se zobrazí syntaktická struktura věty. U každého uzlu je uveden slovní tvar, slovní druh a syntaktická funkce slova, které k danému tokenu patří. Po kliknutí na daný uzel se objeví další anotace, zejména lemma daného tvaru.
• Vícedílné tokeny jsou rozděleny do více uzlů a slovní tvar pak odpovídá příslušné části tokenu (atributu iword). Po kliknutí na takový uzel se kromě lemmatu dané části vícedětného tokenu objeví i její plná podoba (jako samostatné slovo, atribut sword) a slovní tvar celého tokenu (word).
• V textové řádce nad strukturou i ve struktuře se pod kurzorem paralelně zvýrazňují relevantní řetězce a uzly.

[case_lemma="o" & case="Acc"]

– najde jména v akuzativu s předložkou o; lexémy řídícího slovesa zjistíme nejlépe z frekvenční distribuce podle atributu p_lemma

[deprel="obj" & case="Dat" | deprel="conj" & p_deprel="obj" & case="Dat"]

– najde předměty v dativu, i když jsou součástí koordinace

[deprel="nsubj" & upos="PROPN" | deprel="conj" & p_deprel="nsubj" & upos="PROPN"]

– najde vlastní jména ve funkci podmětu, i když jsou součástí koordinace

[upos="NOUN" & case="Ins" & deprel="obj" & p_feats="VerbForm=Inf"]

– najde substantiva v instrumentálu ve funkci předmětu infinitivu; lexémy infinitivu zjistíme nejlépe z frekvenční distribuce podle atributu p_lemma

[feats="Gender=Neut" & feats="Number=Sing" & feats="Tense=Past" & feats="VerbForm=Part" & upos="VERB" & aux_feats="Person=1"]

– najde l-ová příčestí ve tvaru neutra singuláru s pomocným slovesem v první osobě; dotaz na příčestí byl zadán pomocí funkce Vložit tag, stejný výsledek dostaneme následujícím dotazem, který využívá kategoriální atributy mimo feats:

[gender="Neut" & number="Sing" & tense="Past" & verb_form="Part" & upos="VERB" & aux_feats="Person=1"]

1:[lemma="vidět|slyšet"] []* 2:[case="Acc" & deprel="obj"] []* 3:[verb_form="Inf" & deprel="xcomp"] & 2.head=1.id & 3.head=1.id within <s/>

– najde věty se slovesy vidět nebo slyšet, na nichž závisí předmět v akuzativu a infinitiv ve funkci xcomp; mezi těmito tokeny může být libovolný počet jiných slov, ale jen v rámci jedné věty

• V Seznamu atributů podle jazyků jsou pod sebou všechny atributy v korpusu.
• Ve sloupcích je uvedeno, zda je atribut využit pro jazyk určený zkratkou v záhlaví.
• Atributy jsou rozděleny do čtyř kategorií, odlišených barvou pozadí.

• Těchto 12 atributů je na světle fialovém pozadí.
• Obsahují tyto údaje: slovní tvar, lemma, slovní druh, morfologické kategorie, pořadí tokenu ve větě, odkaz na hlavu a syntaktická funkce.
• Většinou jsou převzaty přímo z výstupu nástroje UDPipe, který je ve formátu CoNLL-U.
• Přidané jsou atributy lc a lc_lemma, které opakují slovní tvar a lemma, ale bez případných velkých písmen.
• U jazyků s vícedílnými tokeny (agregáty) jsou navíc také atributy sword a iword.
• Atribut sword uvádí slovní tvar agregátu rozdělený znakem „|“ na části, které odpovídají syntaktickým slovům v podobě samostatného slova, tedy např. u tokenu nač nebo abychom je hodnota sword rovna na|co nebo aby|bychom.
• Atribut iword dělí agregát na části bez dalších úprav, u tokenu nač nebo abychom je hodnota iword rovna na|č nebo a|bychom.

• Těchto 7 atributů je na světle modrém pozadí.
• Rozšiřují odkaz na syntaktickou hlavu tokenu (head) o další atributy, usnadňující identifikaci hlavy a orientaci v jejích vlastnostech.
• Atributy tohoto typu jsou v plném počtu u všech jazyků.

• Tyto atributy jsou na světle zeleném pozadí.
• Uvádějí se u významového slova s cílem specifikovat podstatné vlastnosti závislého slova pomocného.
• Je jejich celkem 20, ale žádný jazyk nevyužívá všechny.
• Atributy se týkají 6 druhů pomocných slov, určených jejich syntaktickou funkcí ve vztahu ke slovu významovému.
• U každého pomocného slova lze uvést lemma, slovní druh, morfologické kategorie a podtyp pomocného slova.
• Název atributu se skládá z názvu syntaktické funkce pomocného slova a názvu jeho vlastnosti (atributu).
• Nevyužité nebo málo informativní atributy, vytvořené kombinací funkce a vlastnosti pomocného slova, v daném jazyce nejsou. V žádném jazyce se nevyskytují čtyři z možných kombinací.
• Nejvíc jazyků (35) využívá atribut case_lemma (lemma adpozice, nejčastěji předložky), následuje mark_lemma (lemma podřadicí spojky, v 33 jazycích).
• Atribut clf_lemma (lemma klasifikátoru) se objevuje jen v čínštině.
• Je-li u významového slova více pomocných stejného druhu, jsou jejich hodnoty odděleny znakem „|“.

• Na světle hnědém pozadí je výběr 18 atributů z morfologických kategorií (feats).
• Jen lotyština využívá všechny, naopak maltština žádný. Kromě typu jazyka záleží i na dostupnosti kategorie v datech UD.

• Slovní druh a morfologické kategorie někdy nejsou v souladu
• Zásady jednotné klasifikace jevů se neuplatňují ve všech jazycích stejně důsledně
• Chyby a nedůslednosti v daném jazyce (např. udělals jako jednodílný token)

Kvalita anotace v různých jazycích se liší zejména objemem a kvalitou trénovacích dat. Má na ni vliv i metoda a nástroj použitý k anotaci.

Uživatelům budeme vděční za každou nahlášenou chybu, nesrovnalost, nedostatek, připomínku a námět na adrese Uživatelské podpory ČNK. V tématu zprávy uveďte prosím na začátku zkratku „UD“.

Děkujeme za možnost využívat následující texty a software:

• za možnost zařadit do korpusu nejnovější (13. opravené) vydání Českého ekumenického překladu Bible z roku 2016 děkujeme České biblické společnosti, zvláště Petru Fryšovi
• beletristické texty v řadě slovanských i jiných jazyků z korpusu ASPAC – Amsterdam Slavic Parallel Aligned Corpus – zvláštní poděkování patří Adrianu Barentsenovi
• publicistické texty ve více jazycích z webových stránek Project Syndicate
• publicistické texty ve více jazycích ze serveru VoxEurop
• právnické texty v jazycích EU z korpusu JRC-ACQUIS
• jednání Evropského parlamentu z korpusu EuroParl
• slovensko-české konkordance ze Slovenského národního korpusu
• povídky ve více jazycích z projektu Můj rok 1989 z Goethe Institutu
• za více textů v česko-litevské části korpusu a za práci Jiřího Levého Umění překladu ve více jazycích vděčíme Patricku Cornessovi
• román George Orwella 1984 ve více jazycích z korpusu Multext-East
• ukrajinské a polské texty z korpusu PolUkr
• norské texty z nakladatelství Forlaget Oktober
• filmové titulky z databáze Open Subtitles

• editor paralelních textů InterText (autor Pavel Vondřička)
• zarovnávač Hunalign
• větný segmentátor pro češtinu (autor Pavel Květoň)
• větný segmentátor pro norštinu (autoři Jarle Ebeling a Pavel Vondřička)
• větný segmentátor Punkt pro všechny ostatní jazyky ze sady Natural Language Toolkit

• UDPipe (s poděkováním Janě a Milanovi Strakovým, Danu Zemanovi a Martinu Popelovi)

Budeme rádi, když k výsledkům práce, při níž využijete korpus InterCorp, připojíte odkaz na stránky projektu www.intercorp.korpus.cz a k odborným publikacím odkaz na tento článek:

Marie-Catherine de Marneffe, Christopher Manning, Joakim Nivre, Daniel Zeman (2021): Universal Dependencies. In: Computational Linguistics, ISSN 1530-9312, vol. 47, no. 2, pp. 255-308.

Timothy Baldwin, William Croft, Joakim Nivre, Agata Savary (2021): Universals of Linguistic Idiosyncrasy in Multilingual Computational Linguistics. Report from Dagstuhl Seminar 21351. DOI: 10.4230/DagRep.11.7.89

Daniel Zeman (2018): The World of Tokens, Tags and Trees. ISBN 978-80-88132-09-7.

Úplný seznam najdete zde.

Daniel Zeman: Universal Dependencies and the Slavic Languages. Warszawa, 19.11.2018.

Joakim Nivre, Daniel Zeman, Filip Ginter, Francis M. Tyers: Tutorial on Universal Dependencies: Adding a new language to UD

Anna Nedoluzhko, Michal Novák, Martin Popel, Zdeněk Žabokrtský, Daniel Zeman: Coreference meets Universal Dependencies. Praha, 19/04/2021.

Daniel Zeman: Reflexives in Universal Dependencies. Praha, 04/03/2019.

Olga Nádvorníková, Alexandr Rosen, Martin Vavřín: InterCorp s jednotnou morfologickou a syntaktickou anotací podle Universal Dependencies: zážitky tvůrců a uživatelů. Praha, 16/11/2021. Video, pdf: zážitky tvůrců, zážitky uživatelů.