AplikaceAplikace
Nastavení

Toto je starší verze dokumentu!


Korpus InterCorp verze 12

Název čeština jádro čeština kolekce cizí jazyky jádro cizí jazyky kolekce
Pozice Počet tokenů 137 059 021 116 673 027 373 873 819 1 549 570 665
Počet slovních tvarů 110 588 784 89 819 765 310 914 295 1 222 868 666
Struktury Počet dokumentů 1 619 30 3 806 281
Počet textů 1 619 111 951 3 806 1 843 489
Počet vět 9 518 229 13 606 183 23 076 128 143 165 959
Další informace referenční ANO
reprezentativní NE (různé textové typy)
rok zveřejnění 2019
cizích jazyků 40
tagovaných jazyků 26
jazyky s lemmaty 25

Přístup k textům

Po registraci na stránce Prohlášení uživatele korpusů ÚČNK lze korpus prohledávat přes webové rozhraní. Registrace platí pro všechny veřejně přístupné korpusy ÚČNK. Máte-li uživatelské jméno a heslo k české části Českého národního korpusu, další registraci pro paralelní korpus nepotřebujete.

InterCorp je přístupný přes běžný webový prohlížeč z jednotného vyhledávacího rozhraní KonText pomocí speciálního dotazovacího formuláře pro paralelní korpusy.

Texty z korpusu InterCorp lze získat po podpisu licenčního ujednání pro neziskové účely také v podobě dvojjazyčných souborů náhodně seřazených dvojic vět. Zájemci se mohou obrátit na Martina Vavřína.

Obvykle jednou ročně vychází nová verze InterCorpu. V každé nové verzi roste objem textů, případně i počet jazyků a rozsah anotace. Předchozí verze jsou přitom stále dostupné; od verze 6 dál přitom jsou všechny původní stále dostupné.

Jak citovat

Budeme rádi, když k výsledkům práce, při níž využijete korpus InterCorp, připojíte odkaz na stránky projektu www.intercorp.korpus.cz a k odborným publikacím odkaz na tento článek:

ČERMÁK, F. – ROSEN, A. (2012). The case of InterCorp, a multilingual parallel corpus. International Journal of Corpus Linguistics. Vol. 13, no. 3, p. 411–427 (bibtex, elektronické vydání na serveru ingentaConnect, verze před tiskem).

Seznam další literatury najdete v Repozitáři bibliografických informací založených na ČNK. Každý odkaz na práci využívající InterCorp je vítán, viz podrobnosti.

Při citaci konkrétní části InterCorpu uveďte jako citaci údaj, který je zobrazen v popisu korpusu v rozhraní KonText, např.:

ROSEN, A. – VAVŘÍN, M. – ZASINA, A. J. Korpus InterCorp – čeština 1), verze 12 z 20. 12. 2019. Ústav Českého národního korpusu, FF UK, Praha 2019. Dostupné z WWW: https://kontext.korpus.cz/

Obsah korpusu

Jádrem korpusu InterCorp jsou ručně zarovnané, převážně beletristické texty. Kromě toho korpus obsahuje také nabídku automaticky zpracovaných textů, tzv. kolekce. Ve verzi 12 jsou k dispozici tyto kolekce:

Tyto texty jsou zarovnány jen automaticky, v konkordancích tedy může být více vět, které si navzájem neodpovídají. Kolekce také neobsahují všechny texty z původního zdroje, např. ty, které nemají český protějšek. Některé texty z korpusů Acquis Communautaire a Europarl byly rovněž částečně opraveny nebo vytříděny, takže se mohou ve srovnání s původním zdrojem lišit podobou i rozsahem. Podobně byla zredukována i databáze OpenSubtitles, kde jsme navíc u každého titulu převzali z více verzí překladu jen jednu. Zato byly doplněny některé metainformace, které v původním zdroji chyběly, ale daly se zjistit z kontextu nebo jiných zdrojů. Došlo rovněž k rozdělení Syndicate a PressEurop na jednotlivé ročníky, čímž se navýšil počet dokumentů v kolekcích.

Každý cizojazyčný text má v korpusu svou českou verzi. Čeština je tedy tzv. pivot, česká verze textu (originál nebo překlad) je zarovnána s jednou nebo více verzemi cizojazyčnými. Celkový rozsah zpřístupněné části korpusu ve verzi 12 z prosince 2019 činí 311 milionů slov v zarovnaných cizojazyčných textech v jádru a 1 223 milionů slov v zarovnaných cizojazyčných textech v kolekcích (viz historie verzí). Rozložení textů v rámci jádra a v jednotlivých kolekcích je znázorněno na následujících grafech. Čísla v grafech ukazují velikost v milionech slov.

Skladba korpusu podle jednotlivých jazyků – jádro i kolekce
Skladba korpusu podle jednotlivých jazyků – jádro
Skladba korpusu podle jednotlivých jazyků – kolekce

Velikost korpusu v tisících slov

Zkratka Jazyk Jádro Syndicate Presseurop Acquis Europarl Subtitles Bible Celkem
ar arabština 34 0 0 0 0 0 0 34
be běloruština 5 319 0 0 0 0 0 0 5 319
bg bulharština 7 068 0 0 13 577 9 083 0 0 29 728
ca katalánština 7 481 0 0 0 0 0 736 8 217
da dánština 6 654 0 0 20 313 13 916 14 429 657 55 968
de němčina 36 373 4 704 2 483 20 610 13 088 8 392 724 86 374
el řečtina 0 0 0 23 853 15 404 23 709 0 62 966
en angličtina 32 152 4 856 2 670 22 902 15 576 52 105 730 130 992
es španělština 25 595 5 614 2 859 26 262 16 249 36 650 0 113 228
et estonština 0 0 0 14 896 10 899 10 298 0 36 093
fi finština 5 329 0 0 15 269 10 108 15 047 543 46 296
fr francouzština 18 241 5 600 3 046 26 200 17 179 25 986 764 97 016
he hebrejština 0 0 0 0 0 16 221 0 16 221
hi hindština 409 0 0 0 0 0 0 409
hr chorvatština 21 027 0 0 0 0 19 048 571 40 646
hu maďarština 5 783 0 0 17 852 12 198 21 115 0 56 948
is islandština 0 0 0 0 0 1 581 0 1 581
it italština 13 251 1 252 2 747 23 771 15 494 14 700 684 71 899
ja japonština 1 747 0 0 0 0 477 0 2 224
lt litevština 421 0 0 17 316 11 213 558 471 29 979
lv lotyština 2 646 0 0 17 522 11 682 280 135 32 265
mk makedonština 8 000 0 0 0 0 1 877 0 9 877
ms malajština 0 0 0 0 0 3 521 0 3 521
mt maltština 0 0 0 13 953 0 0 0 13 953
nl nizozemština 15 127 813 2 953 23 416 15 558 29 373 717 87 956
no norština 7 151 0 0 0 0 0 721 7 872
pl polština 25 606 0 2 380 19 604 12 817 26 575 583 87 567
pt portugalština 4 095 554 2 782 24 598 15 193 41 468 706 89 396
rn romština 14 0 0 0 0 0 0 14
ro rumunština 3 888 0 2 738 8 092 9 446 34 128 0 58 292
ru ruština 8 123 3 984 0 0 0 6 887 565 19 560
sk slovenština 8 543 0 0 18 399 12 726 5 133 561 45 363
sl slovinština 3 740 0 0 18 528 12 251 17 061 0 51 580
sq albánština 0 0 0 0 0 2 003 0 2 003
sr srbština 10 961 0 0 0 0 20 727 0 31 688
sv švédština 15 320 0 0 19 542 13 784 14 666 638 63 950
tr turečtina 0 0 0 0 0 21 190 0 21 190
uk ukrajinština 10 817 0 0 0 0 244 596 11 657
vi vietnamština 0 0 0 0 0 1 474 0 1 474
zh čínština 0 240 0 0 0 2 246 688 0 2 487
celkem 303 772 27 616 24 658 406 459 263 864 489 170 11 102 1 526 633
cs čeština 110 573 4 351 2 310 19 085 12 908 50 604 562 200 393
CELKEM 414 345 31 967 26 968 425 543 276 772 539 774 11 664 1 727 026

Pozn.: U českých textů se počítají slova jen jednou za každý text, i když má více cizojazyčných protějšků.

Morfosyntaktická anotace

Texty v níže uvedených jazycích jsou opatřeny morfologickou anotací. Formát a často i význam kategorií zakódovaných do morfologických značek se liší od češtiny. U každého jazyka proto uvádíme i odkaz na popis příslušné sady značek. Popis značek je dostupný i z vyhledávacího rozhraní KonText, když jako typ dotazu zvolíte CQL.

Jazyk Značky Lemmata Stručný popis Podrobný popis Nástroj
angličtina anglicky anglicky + dodatky TreeTagger
běloruština anglicky****) UDPipe
bulharština anglicky anglicky TreeTagger
čeština česky a anglicky anglicky Morče
čínština anglicky anglicky ZPar v0.7.5
estonština estonsky a anglicky TreeTagger
finština anglicky*) anglicky*) OMorFi +HunPOS
francouzština anglicky TreeTagger
chorvatština anglicky anglicky ReLDI Tagger
islandština anglicky anglicky IceStagger
italština anglicky TreeTagger
japonština anglicky MeCab + Unidic
katalánština anglicky TreeTagger
lotyština lotyšsky LVTagger
maďarština seznam anglicky RFTagger
němčina anglicky **) německy RFTagger
nizozemština anglicky TreeTagger
norština anglicky a norsky VISL
polština anglicky a polsky anglicky Morfeusz, KRNNT
portugalština španělsky TreeTagger
ruština anglicky anglicky ***) TreeTagger
slovenština slovensky anglicky slovensky Radovan Garabík, Morče
slovinština anglicky anglicky ToTaLe
srbština anglicky ReLDI Tagger
španělština anglicky TreeTagger
švédština švédsky a anglicky Stagger
ukrajinština anglicky****) UDPipe

*) Morfologické značky jsou v korpusu uvedeny v kondenzované podobě, např. V:Sg:Nom:Act:PrfPrc:Pos odpovídá zápisu s atributy [POS=V] [NUM=SG] [CASE=NOM] [VOICE=ACT] [PCP=PRFPRC] [CMP=POS]. Podobně Pron:Pers:Sg:Ade:Up odpovídá zápisu [POS=PRON] [SUBCAT:PERS] [NUM:SG] [CASE=ADE] [CASECHANGE=UP].

**) Uvnitř jedné morfologické značky používáme jako oddělovač jednotlivých kategorií dvojtečku místo tečky, tedy např. ADJA:Pos:Nom:Sg:Fem.

***) Značky v korpusu někdy neodpovídají značkám uvedeným v podrobném popisu. V korpusu se zanedbávají některé morfologické kategorie, např. zájmena jsou vždy označkována jen jako „P-“. Všechny značky, tak jak se užívají v korpusu, jsou uvedeny ve stručném popisu.

****) Značka je uvedena ve formátu UD (Universal Dependencies), jednotlivé části značky jsou odděleny svislítkem (|), např. tvar школы v genitivu singuláru je značkován takto: NOUN|Animacy=Inan|Case=Gen|Gender=Fem|Number=Sing. Dotaz lze formulovat tak jako u jiných jazyků, tedy na řetězec znaků, např. [tag="NOUN.*Case=Gen\|Gender=Fem.*"] nebo lze specifikovat jednotlivé části značky zvlášť, tedy např. [tag="Case=Gen" & tag="NOUN" & tag="Gender=Fem"] (na pořadí kategorií nezáleží). Výsledek je v obou případech stejný.

Rozdíly mezi formátem značek v dokumentaci a v korpusu jsou i u některých jiných jazyků. Před zadáním dotazu na značku si formát značky prosím ověřte. Na stránce s výsledky libovolného dotazu zaškrtněte v menu Zobrazení/Korpusová nastavení… mezi Pozičními atributy volbu tag a v Možnostech zobrazení vyberte pro každý token.

U textů se značkami, případně lemmaty, mohou přímočaře formulované dotazy na spřežková slova zůstat bez odpovědi. To se týká například anglických tvarů can't nebo I'm, které tagger rozdělí na dvě slova (ca+n't a I+'m) s odpovídajícími lemmaty a značkami. Podobně je tomu i s polskými tvary typu byłam nebo gdybyś (rozděleno na była+m a gdyby+ś). Je třeba počítat i s chybným rozdělením: gdzie+ś za Wisłą. Dotaz na celou spřežku je nutné zadat jako Fráze a části spřežky oddělit mezerou. Lemmatem a značkou jsou opatřeny jen části spřežky.

Morfologické značky obsahující znaky, které mají v regulárních výrazech zvláštní význam, např. $ v anglické značce wp$, je třeba v dotazech zadávat za zpětné lomítko, tedy např. takto: tag="wp\$"

Strukturní atributy

StrukturaAtributPopisMožné hodnoty
docdoc.ididentifikátor dokumentu příjmení_autora-zkrácený_název_textu / _ACQUIS / _EUROPARL / _PRESSEUROP_ročník / _SUBTITLES / _SYNDICATE_ročník / _OT / _NT
text.ididentifikace textupříjmení_autora-zkrácený_název_textu:0 / _ACQUIS:číslo / _EUROPARL:číslo / _PRESSEUROP:číslo / _SUBTITLES:číslo / _SYNDICATE_ročník:název / _OT:kniha / _NT:kniha
text.authorautor textupříjmení, jméno
text.titleúplný název textutext
text.langjazyk textuar / be / bg / ca / cs / da / de / el / en / es / et / fi / fr / he / hi / hr / hu / is / it / ja / lt / lv / mk / ms / mt / nb / nl / no / pl / pt / rn / ro / ru / sk / sl / sq / sr / sv / sy / tr / uk / vi / zh
text.versionverze textučíslo
text.groupjádro/kolekce Core / Acquis / Europarl / PressEurop / Subtitles / Syndicate / Bible
text.publishervydavateltext
text.pubplacemísto vydánítext
text.pubDateYearrok vydáníčíslo
text.pubDateMonthměsíc vydáníčíslo
text.origyearrok vytvoření originálučíslo
text.isbnISBNčíslo
text.txtypetyp textudiscussions - transcripts / drama / fiction / journalism - commentaries / journalism - news / legal texts / nonfiction / other / poetry / subtitles / religious
text.commentpoznámkatext
text.originaloriginální verze?Yes / No
text.srclangjazyk origináluar / as / az / be / bg / bl / bn / bo / bs / bt / ca / cr / cs / ct / cz / da / de / dk / eb / el / en / es / et / eu / fa / fi / fr / ga / gr / he / hi / hr / hu / hy / id / ie / is / it / ja / ka / ko / ku / lt / lv / mk / mn / ms / mt / my / ni / nl / no / pl / po / ps / pt / rm / rn / ro / ru / se / sk / sl / sq / sr / sv / ta / th / ti / tl / tr / tu / uk / un / ur / vi / zh
text.translatorpřekladatelpříjmení, jméno
text.transsexpohlaví překladateleF / M
text.authsexpohlaví autoraF / M
text.transcommentpoznámka k překladutext
text.collectiontitlenázev kolekcetext
text.volumečíslo svazkučíslo
text.pagespočet strančíslo
text.lang_varvarieta jazykade-AT / de-CH / de-DE / en-AU / en-CA / en-GB / en-UM / en-US / es-ES / es-MX / es-PE / fr-BE / fr-FR / it-CH / it-IT / nl-BE / nl-NL / nn-NO / nb-NO / pt-BR / pt-PT / sr-Latn-RS / sy-Cyrl-RS
text.wordcountpočet slovčíslo
divdiv.ididentifikátor oddílu (Bible) _NT / _OT:kapitola
div.typetyp oddílu (kapitola)chapter
pp.ididentifikátor odstavcedoc:text:div:par
ss.ididentifikátor větydoc:text:div:par:sent
hihi.rendřez písmaitalic / bold / bold italic
lblb.ididentifikátor verše (Bible)book:chapter:verse

Poděkování

Děkujeme za možnost využívat následující texty a software:

Texty:

  • za možnost zařadit do korpusu nejnovější (13. opravené) vydání Českého ekumenického překladu Bible z roku 2016 děkujeme České biblické společnosti, zvláště Petru Fryšovi
  • beletristické texty v řadě slovanských i jiných jazyků z korpusu ASPAC – Amsterdam Slavic Parallel Aligned Corpus – zvláštní poděkování patří Adrianu Barentsenovi
  • publicistické texty ve více jazycích z webových stránek Project Syndicate
  • publicistické texty ve více jazycích ze serveru VoxEurop
  • právnické texty v jazycích EU z korpusu JRC-ACQUIS
  • jednání Evropského parlamentu z korpusu EuroParl
  • slovensko-české konkordance ze Slovenského národního korpusu
  • povídky ve více jazycích z projektu Můj rok 1989 z Goethe Institutu
  • za více textů v česko-litevské části korpusu a za práci Jiřího Levého Umění překladu ve více jazycích vděčíme Patricku Cornessovi
  • román George Orwella 1984 ve více jazycích z korpusu Multext-East
  • ukrajinské a polské texty z korpusu PolUkr
  • norské texty z nakladatelství Forlaget Oktober
  • filmové titulky z databáze Open Subtitles

Předzpracování:

  • editor paralelních textů InterText (autor Pavel Vondřička)
  • zarovnávač Hunalign
  • větný segmentátor pro češtinu (autor Pavel Květoň)
  • větný segmentátor pro norštinu (autoři Jarle Ebeling a Pavel Vondřička)
  • větný segmentátor Punkt pro všechny ostatní jazyky ze sady Natural Language Toolkit

Značkovače / lemmatizátory:

  • MorfFlex, Morče a LanGr pro češtinu
  • TreeTagger pro angličtinu, bulharštinu, estonštinu, francouzštinu, italštinu, katalánštinu, nizozemštinu, portugalštinu (s poděkováním Pablu Gamallovi), ruštinu a španělštinu
  • Morfeusz a TaKIPI pro polštinu
  • HunPOS pro finštinu a další jazyky
  • tagger pro slovenštinu (s poděkováním Radovanu Garabíkovi)
  • tagger pro norštinu
  • totale pro slovinštinu (s poděkováním Tomaži Erjavcovi)
  • RFTagger pro němčinu a maďarštinu
  • OMorFi pro finštinu (s poděkováním Filipu Ginterovi)
  • Stagger a IceStagger pro švédštinu a islandštinu (s poděkováním Robertu Östlingovi)
  • RelDI tagger pro chorvatštinu a srbštinu (s poděkováním Nikolovi Ljubešićovi)
  • LVTagger pro lotyštinu (s poděkováním Pēterisu Paikensovi a Michalu Škrabalovi)
  • UD Pipe pro běloruštinu a ukrajinštinu (s poděkováním Bohdanu Moskalevskému)
  • MeCab a Unidic pro japonštinu

Viz též

InterCorpVerze 11Verze 10Verze 9Verze 8Verze 7Verze 6Verze 5Verze 4Verze 3Historie verzí

Původní stránky projektu InterCorp jsou stále zde.

1)
Vložte konkrétní jazyky.