AplikaceAplikace
Nastavení

Toto je starší verze dokumentu!


Korpus InterCorp verze 8

Název čeština jádro čeština kolekce cizí jazyky jádro cizí jazyky kolekce
Pozice Počet tokenů 105 239 198 117 981 673 233 509 950 1 560 655 498
Počet slovních tvarů 84 718 325 89 645 545 194 055 340 1 229 043 791
Struktury Počet dokumentů 1 279 5 2 513 89
Počet div 1 279 111 263 2 513 1 849 184
Počet vět 7 250 794 13 588 082 14 377 637 143 478 514
Další informace referenční ANO
reprezentativní NE (různé textové typy)
rok zveřejnění 2015
cizích jazyků 38
tagovaných jazyků 20
lemmat. jazyků 17

Přístup k textům

InterCorp je přístupný přes běžný webový prohlížeč z jednotného vyhledávacího rozhraní KonText pomocí speciálního dotazovacího formuláře pro paralelní korpusy.

Texty z korpusu InterCorp lze získat po podpisu licenčního ujednání pro neziskové účely také v podobě dvojjazyčných souborů náhodně seřazených dvojic vět.

Specifikem InterCorpu je jeho inkrementální povaha: zatímco většina ostatních korpusů ČNK jsou neměnné referenční entity, objem textů a případně i počet jazyků a rozsah anotace se postupně zvětšuje, a to vždy s vydáním nové verze. Starší verze InterCorpu jsou od roku 2014 zpětně dostupné.

Jak citovat

Budeme rádi, když k výsledkům práce, při níž využijete korpus InterCorp, připojíte odkaz na stránky projektu www.korpus.cz/intercorp a k odborným publikacím odkaz na tento článek:

ČERMÁK, F. – ROSEN, A. (2012). The case of InterCorp, a multilingual parallel corpus. International Journal of Corpus Linguistics. Vol. 13, no. 3, p. 411–427 (bibtex, elektronické vydání na serveru ingentaConnect, verze před tiskem).

Seznam další literatury najdete v Repozitáři bibliografických informací založených na ČNK.

Obsah korpusu

Jádrem korpusu InterCorp jsou ručně zarovnané, převážně beletristické texty. Kromě toho korpus obsahuje také nabídku automaticky zpracovaných textů, tzv. kolekce. Ve verzi 8 jsou k dispozici tyto kolekce:

Tyto texty jsou zarovnány jen automaticky, v konkordancích tedy může být více vět, které si navzájem neodpovídají. Kolekce také neobsahují všechny texty z původního zdroje, např. ty, které nemají český protějšek. Některé texty z korpusů Acquis Communautaire a Europarl byly rovněž částečně opraveny nebo vytříděny, takže se mohou ve srovnání s původním zdrojem lišit podobou i rozsahem. Podobně byla zredukována i databáze OpenSubtitles, kde jsme navíc u každého titulu převzali z více verzí překladu jen jednu. Zato byly doplněny některé metainformace, které v původním zdroji chyběly, ale daly se zjistit z kontextu nebo jiných zdrojů.

Každý cizojazyčný text má v korpusu svou českou verzi. Čeština je tedy tzv. pivot, česká verze textu (originál nebo překlad) je zarovnána s jednou nebo více verzemi cizojazyčnými. Celkový rozsah zpřístupněné části korpusu ve verzi 8 z května 2015 činí 194 milionů slov v zarovnaných cizojazyčných textech v jádru a 1 229 milionů slov v zarovnaných cizojazyčných textech v kolekcích (viz historie verzí). Rozložení textů v rámci jádra a v jednotlivých kolekcích je znázorněno na následujících grafech. Čísla v grafech ukazují velikost v milionech slov.

Skladba korpusu podle jednotlivých jazyků – jádro i kolekce
Skladba korpusu podle jednotlivých jazyků – jádro
Skladba korpusu podle jednotlivých jazyků – kolekce

Velikost korpusu v tisících slov

Zkratka Jazyk Jádro Syndicate Presseurop Acquis Europarl Subtitles Celkem
ar arabština 34 0 0 0 0 0 34
be běloruština 2 152 0 0 0 0 0 2 152
bg bulharština 5 240 0 0 13 816 9 083 0 28 140
ca katalánština 4 632 0 0 0 0 0 4 632
da dánština 3 016 0 0 21 679 13 915 14 429 53 042
de němčina 27 681 3 725 2 482 21 723 13 089 8 366 77 069
el řečtina 0 0 0 25 069 15 403 23 714 64 187
en angličtina 15 488 3 818 2 670 24 207 15 580 52 101 113 865
es španělština 17 475 4 324 2 816 27 001 15 885 36 378 103 882
et estonština 0 0 0 15 962 10 899 10 296 37 158
fi finština 3 426 0 0 16 455 10 175 15 097 45 154
fr francouzština 9 170 4 393 2 928 27 351 17 178 25 961 86 983
he hebrejština 0 0 0 0 0 16 221 16 221
hi hindština 408 0 0 0 0 0 408
hr chorvatština 15 479 0 0 0 0 19 092 34 572
hu maďarština 5 387 0 0 19 176 12 306 21 239 58 110
is islandština 0 0 0 0 0 1 584 1 584
it italština 7 247 651 2 707 24 849 15 489 14 653 65 599
ja japonština 0 0 0 0 0 113 113
lt litevština 358 0 0 18 392 11 212 557 30 521
lv lotyština 1 336 0 0 18 744 11 688 280 32 050
mk makedonština 3 741 0 0 0 0 1 877 5 619
ms malajština 0 0 0 0 0 3 520 3 520
mt maltština 0 0 0 14 133 0 0 14 133
nl nizozemština 9 961 313 2 955 24 746 15 563 29 362 82 903
no norština 4 815 0 0 0 0 0 4 815
pl polština 17 516 0 2 378 20 627 12 811 26 572 79 905
pt portugalština 2 393 369 2 999 28 602 16 484 43 391 94 241
ro rumunština 3 432 0 2 737 8 199 9 446 34 128 57 944
ru ruština 3 337 3 174 0 0 0 6 885 13 397
sk slovenština 7 401 0 0 19 222 12 734 5 134 44 493
sl slovinština 900 0 0 19 645 12 240 17 024 49 810
sq albánština 0 0 0 0 0 2 003 2 003
sr srbština 8 823 0 0 0 0 20 776 29 600
sv švédština 8 138 0 0 20 585 13 840 14 693 57 258
tr turečtina 0 0 0 0 0 21 190 21 190
uk ukrajinština 5 054 0 0 0 0 246 5 300
vi vietnamština 0 0 0 0 0 1 473 1 473
celkem 194 055 20 769 24 676 430 195 265 029 488 372 1 423 098
cs čeština 84 718 3 416 2 315 20 303 12 922 50 688 174 363
CELKEM 278 773 24 185 26 991 450 498 277 951 539 060 1 597 462

Pozn.: U českých textů se počítají slova jen jednou za každý text, i když má více cizojazyčných protějšků.

Morfosyntaktická anotace

Texty v těchto jazycích jsou opatřeny morfologickou anotací.

Jazyk Značky Lemmata Stručný popis Podrobný popis Nástroj
angličtina anglicky anglicky + dodatky TreeTagger
bulharština anglicky TreeTagger
čeština česky a anglicky anglicky Morče
estonština estonsky a anglicky TreeTagger
finština anglicky *) OMorFi+HunPOS
francouzština anglicky TreeTagger
islandština IceStagger
italština anglicky TreeTagger
litevština česky a anglicky anglicky Autor: Vidas Daudaravičius
maďarština anglicky HunPos
němčina anglicky **) německy RFTagger
nizozemština nizozemsky TreeTagger
norština anglicky norsky Oslo Bergen Tagger
polština anglicky a polsky anglicky Morfeusz, TaKIPI
portugalština španělsky TreeTagger
ruština anglicky anglicky ***) TreeTagger
slovenština slovensky slovensky Radovan Garabík, Morče
slovinština anglicky totale
španělština anglicky TreeTagger
švédština Stagger

*) Morfologické značky jsou v korpusu uvedeny v kondenzované podobě, např. V:Sg:Nom:Act:PrfPrc:Pos odpovídá zápisu s atributy [POS=V] [NUM=SG] [CASE=NOM] [VOICE=ACT] [PCP=PRFPRC] [CMP=POS]. Podobně Pron:Pers:Sg:Ade:Up odpovídá zápisu [POS=PRON] [SUBCAT:PERS] [NUM:SG] [CASE=ADE] [CASECHANGE=UP].

**) Uvnitř jedné morfologické značky používáme jako oddělovač jednotlivých kategorií dvojtečku místo tečky, tedy např. ADJA:Pos:Nom:Sg:Fem.

***) Značky v korpusu někdy neodpovídají značkám uvedeným v podrobném popisu. V korpusu se zanedbávají některé morfologické kategorie, např. zájmena jsou vždy označkována jen jako „P-“. Všechny značky, tak jak se užívají v korpusu, jsou uvedeny ve stručném popisu.

U textů se značkami, případně lemmaty, mohou přímočaře formulované dotazy na spřežková slova zůstat bez odpovědi. To se týká například anglických tvarů can't nebo I'm, které tagger rozdělí na dvě slova (ca+n't a I+'m) s odpovídajícími lemmaty a značkami. Podobně je tomu i s polskými tvary typu byłam nebo gdybyś (rozděleno na była+m a gdyby+ś). Je třeba počítat i s chybným rozdělením: gdzie+ś za Wisłą. Dotaz na celou spřežku je nutné zadat jako Fráze a části spřežky oddělit mezerou. Lemmatem a značkou jsou opatřeny jen části spřežky.

Morfologické značky obsahující znaky, které mají v regulárních výrazech zvláštní význam, např. $ v anglické značce wp$, je třeba v dotazech zadávat za zpětné lomítko, tedy např. takto: tag="wp\$"

Strukturní atributy

StrukturaAtributPopisMožné hodnoty
docdoc.idunikátní identifikátor dokumentutext
doc.langjazyk textuar / be / bg / ca / cs / da / de / el / en / es / et / fi / fr / he / hi / hr / hu / is / it / ja / lt / lv / mk / ms / mt / nb / nl / no / pl / pt / ro / ru / sk / sl / sq / sr / sv / sy / tr / uk / vi / zh
doc.versionverze textučíslo
doc.wordcountvelikost dokumentu ve slovechčíslo
divdiv.ididentifikace textupříjmení_autora-zkrácený_název_textu / _ACQUIS / _EUROPARL / _PRESSEUROP / _SUBTITLES / _SYNDICATE
div.grouprozdělení na:Core / Acquis / Europarl / PressEurop / Subtitles / Syndicate
div.wordcountpočet slov textučíslo
div.authorautor textupříjmení, jméno
div.titleúplný název textutext
div.publishervydavateltext
div.pubplacemísto vydánítext
div.pubyearrok vydáníletopočet
div.txtypetyp textudiscussions - transcripts / drama / fiction / journalism - commentaries / journalism - news / legal texts / nonfiction / other / poetry / subtitles
div.originalje text originálem?Yes / No
div.srclangjazyk origináluar / as / az / be / bg / bl / bn / bo / bs / bt / ca / cr / cs / ct / cz / da / de / dk / eb / el / en / es / et / eu / fa / fi / fr / ga / gr / he / hi / hr / hu / hy / id / ie / is / it / ja / ka / ko / ku / lt / lv / mk / mn / ms / mt / my / ni / nl / no / pl / po / ps / pt / rm / ro / ru / se / sk / sl / sq / sr / sv / ta / th / ti / tl / tr / tu / uk / un / ur / vi / zh
div.translatorpřekladatel textupříjmení, jméno
div.transsexpohlaví překladateleF / M
div.authsexpohlaví autora:F / M
pp.idunikátní identifikátor odstavcetext
ss.idunikátní identifikátor větytext

Počet textů v jádru korpusu podle jazyka textu a jazyka originálu

Jazyk originálu
↓ Jazyk textu ar be bg ca cs da de en es fi fr hi hr hu it lt lv mk nl no pl pt ro ru sk sl sr sv uk celkem jiné
ar 1 1 1 3
be 3 8 4 13 1 1 1 3 2 1 1 1 39
bg 19 9 1 27 4 2 1 1 2 2 68
ca 1 16 3 12 5 1 2 3 1 1 45 1
cs 1 3 19 1 267 9 134 242 127 24 95 2 26 1 20 1 7 1 30 7 49 21 39 56 3 8 58 6 1257
da 6 9 12 27
de 85 126 65 10 1 4 1 7 1 1 6 3 3 2 3 1 3 5 327
en 25 4 125 3 1 2 1 1 6 5 4 177 1
es 1 25 8 29 126 1 6 7 1 4 2 3 213 1
fi 11 1 1 12 2 25 1 1 1 2 57 1
fr 36 1 10 83 2 1 2 2 137
hi 2 1 1 2 1 7
hr 1 71 15 52 11 2 4 26 6 7 1 3 4 1 1 8 213 2
hu 16 5 23 9 1 3 14 71
it 4 4 21 9 1 3 19 3 1 3 68 1
lt 8 2 2 1 1 2 1 17
lv 22 2 1 1 7 2 1 36
mk 15 1 16 1 1 1 2 1 3 2 2 4 49
nl 24 3 33 7 3 3 30 2 2 3 3 6 119
no 11 5 21 4 1 3 6 2 1 54
pl 36 8 97 10 2 8 2 1 1 3 1 46 4 6 1 5 231 1
pt 6 8 15 29
ro 7 5 12 3 1 1 1 1 1 1 33 3
ru 9 1 22 2 1 1 22 1 3 62 1
sk 55 2 5 1 1 2 56 122 18
sl 7 1 2 1 2 2 15
sr 11 7 33 9 3 7 2 4 3 10 1 5 2 97 3
sv 11 4 23 7 2 1 1 50 99 1
uk 6 1 31 3 5 2 5 3 5 6 67
celkem 2 6 39 3 810 19 349 950 335 57 241 4 56 2 89 5 18 3 84 22 128 72 119 118 6 26 164 12
  • Tabulka uvádí počty textů v jádru korpusu InterCorp.
  • Pro každý jazyk, který má v jádru nějaké texty, jsou v příslušném řádku uvedeny počty textů, zvlášť podle jazyka originálu, uvedeného v záhlaví příslušného sloupce. Takže např. v arabštině jádro obsahuje jeden arabský, jeden český a jeden německý originální text. Celkem jsou tedy v jádru 3 texty v arabštině (viz předposlední sloupec).
  • Ve sloupcích lze zjistit, kolik originálních textů v jazyku uvedeném v záhlaví je přeloženo do ostatních jazyků. Kódy těchto jazyků jsou v prvním sloupci. Poslední sloupec udává počet originálních textů v jiných jazycích, které jádro InterCorpu neobsahuje.
  • V diagonále tabulky je počet originálních textů v příslušném jazyce. Např. v maďarštině a rumunštině nemáme žádný originální text, v rumunštině ani v překladu.

Poděkování

Děkujeme za možnost využívat následující texty a software:

Texty:

Předzpracování:

  • editor paralelních textů InterText (autor Pavel Vondřička)
  • zarovnávač Hunalign
  • větný segmentátor pro češtinu (autor Pavel Květoň)
  • větný segmentátor pro norštinu (autoři Jarle Ebeling a Pavel Vondřička)
  • větný segmentátor Punkt pro všechny ostatní jazyky ze sady Natural Language Toolkit

Značkovače / lematizátory:

  • MorfFlex, Morče a LanGr pro češtinu
  • TreeTagger pro angličtinu, bulharštinu, estonštinu, francouzštinu, italštinu, nizozemštinu, portugalštinu (s poděkováním Pablu Gamallovi), ruštinu a španělštinu
  • Morfeusz a TaKIPI pro polštinu
  • HunPOS pro maďarštinu a další jazyky
  • tagger pro slovenštinu (s poděkováním Radovanu Garabíkovi)
  • tagger pro litevštinu, s poděkováním Vidasovi Daudaravičiusovi a Haně Skoumalové
  • tagger pro norštinu
  • totale pro slovinštinu (s poděkováním Tomaži Erjavcovi)
  • RFTagger pro němčinu
  • OMorFi+HunPOS pro finštinu (s poděkováním Filipu Ginterovi)
  • Stagger a IceStagger pro švédštinu a islandštinu (s poděkováním Robertu Östlingovi)

Související odkazy