Toto je starší verze dokumentu!
Korpus InterCorp verze 8
Název | čeština jádro | čeština kolekce | cizí jazyky jádro | cizí jazyky kolekce | |
---|---|---|---|---|---|
Pozice | Počet tokenů | 105 239 198 | 117 981 673 | 233 509 950 | 1 560 655 498 |
Počet slovních tvarů | 84 718 325 | 89 645 545 | 194 055 340 | 1 229 043 791 | |
Struktury | Počet dokumentů | 1 279 | 5 | 2 513 | 89 |
Počet div | 1 279 | 111 263 | 2 513 | 1 849 184 | |
Počet vět | 7 250 794 | 13 588 082 | 14 377 637 | 143 478 514 | |
Další informace | referenční | ANO | |||
reprezentativní | NE (různé textové typy) | ||||
rok zveřejnění | 2015 | ||||
cizích jazyků | 38 | ||||
tagovaných jazyků | 20 | ||||
lemmat. jazyků | 17 |
Přístup k textům
InterCorp je přístupný přes běžný webový prohlížeč z jednotného vyhledávacího rozhraní KonText pomocí speciálního dotazovacího formuláře pro paralelní korpusy.
Texty z korpusu InterCorp lze získat po podpisu licenčního ujednání pro neziskové účely také v podobě dvojjazyčných souborů náhodně seřazených dvojic vět.
Specifikem InterCorpu je jeho inkrementální povaha: zatímco většina ostatních korpusů ČNK jsou neměnné referenční entity, objem textů a případně i počet jazyků a rozsah anotace se postupně zvětšuje, a to vždy s vydáním nové verze. Starší verze InterCorpu jsou od roku 2014 zpětně dostupné.
Jak citovat
Budeme rádi, když k výsledkům práce, při níž využijete korpus InterCorp, připojíte odkaz na stránky projektu www.korpus.cz/intercorp a k odborným publikacím odkaz na tento článek:
ČERMÁK, F. – ROSEN, A. (2012). The case of InterCorp, a multilingual parallel corpus. International Journal of Corpus Linguistics. Vol. 13, no. 3, p. 411–427 (bibtex, elektronické vydání na serveru ingentaConnect, verze před tiskem).
Seznam další literatury najdete v Repozitáři bibliografických informací založených na ČNK.
Při citatci konkrétní části InterCorpu uveďte jako citaci údaj, který je zobrazen v popisu korpusu v rozhraní KonText.
Obsah korpusu
Jádrem korpusu InterCorp jsou ručně zarovnané, převážně beletristické texty. Kromě toho korpus obsahuje také nabídku automaticky zpracovaných textů, tzv. kolekce. Ve verzi 8 jsou k dispozici tyto kolekce:
- publistické články a zpravodajství z webových stránek Project Syndicate a VoxEurop (dříve PressEurop)
- právní texty Evropské unie z korpusu Acquis Communautaire
- zápisy jednání Evropského parlamentu z let 2007–2011 z korpusu Europarl
- filmové titulky z databáze OpenSubtitles
Tyto texty jsou zarovnány jen automaticky, v konkordancích tedy může být více vět, které si navzájem neodpovídají. Kolekce také neobsahují všechny texty z původního zdroje, např. ty, které nemají český protějšek. Některé texty z korpusů Acquis Communautaire a Europarl byly rovněž částečně opraveny nebo vytříděny, takže se mohou ve srovnání s původním zdrojem lišit podobou i rozsahem. Podobně byla zredukována i databáze OpenSubtitles, kde jsme navíc u každého titulu převzali z více verzí překladu jen jednu. Zato byly doplněny některé metainformace, které v původním zdroji chyběly, ale daly se zjistit z kontextu nebo jiných zdrojů.
Každý cizojazyčný text má v korpusu svou českou verzi. Čeština je tedy tzv. pivot, česká verze textu (originál nebo překlad) je zarovnána s jednou nebo více verzemi cizojazyčnými. Celkový rozsah zpřístupněné části korpusu ve verzi 8 z května 2015 činí 194 milionů slov v zarovnaných cizojazyčných textech v jádru a 1 229 milionů slov v zarovnaných cizojazyčných textech v kolekcích (viz historie verzí). Rozložení textů v rámci jádra a v jednotlivých kolekcích je znázorněno na následujících grafech. Čísla v grafech ukazují velikost v milionech slov.
Velikost korpusu v tisících slov
Zkratka | Jazyk | Jádro | Syndicate | Presseurop | Acquis | Europarl | Subtitles | Celkem |
---|---|---|---|---|---|---|---|---|
ar | arabština | 34 | 0 | 0 | 0 | 0 | 0 | 34 |
be | běloruština | 2 152 | 0 | 0 | 0 | 0 | 0 | 2 152 |
bg | bulharština | 5 240 | 0 | 0 | 13 816 | 9 083 | 0 | 28 140 |
ca | katalánština | 4 632 | 0 | 0 | 0 | 0 | 0 | 4 632 |
da | dánština | 3 016 | 0 | 0 | 21 679 | 13 915 | 14 429 | 53 042 |
de | němčina | 27 681 | 3 725 | 2 482 | 21 723 | 13 089 | 8 366 | 77 069 |
el | řečtina | 0 | 0 | 0 | 25 069 | 15 403 | 23 714 | 64 187 |
en | angličtina | 15 488 | 3 818 | 2 670 | 24 207 | 15 580 | 52 101 | 113 865 |
es | španělština | 17 475 | 4 324 | 2 816 | 27 001 | 15 885 | 36 378 | 103 882 |
et | estonština | 0 | 0 | 0 | 15 962 | 10 899 | 10 296 | 37 158 |
fi | finština | 3 426 | 0 | 0 | 16 455 | 10 175 | 15 097 | 45 154 |
fr | francouzština | 9 170 | 4 393 | 2 928 | 27 351 | 17 178 | 25 961 | 86 983 |
he | hebrejština | 0 | 0 | 0 | 0 | 0 | 16 221 | 16 221 |
hi | hindština | 408 | 0 | 0 | 0 | 0 | 0 | 408 |
hr | chorvatština | 15 479 | 0 | 0 | 0 | 0 | 19 092 | 34 572 |
hu | maďarština | 5 387 | 0 | 0 | 19 176 | 12 306 | 21 239 | 58 110 |
is | islandština | 0 | 0 | 0 | 0 | 0 | 1 584 | 1 584 |
it | italština | 7 247 | 651 | 2 707 | 24 849 | 15 489 | 14 653 | 65 599 |
ja | japonština | 0 | 0 | 0 | 0 | 0 | 113 | 113 |
lt | litevština | 358 | 0 | 0 | 18 392 | 11 212 | 557 | 30 521 |
lv | lotyština | 1 336 | 0 | 0 | 18 744 | 11 688 | 280 | 32 050 |
mk | makedonština | 3 741 | 0 | 0 | 0 | 0 | 1 877 | 5 619 |
ms | malajština | 0 | 0 | 0 | 0 | 0 | 3 520 | 3 520 |
mt | maltština | 0 | 0 | 0 | 14 133 | 0 | 0 | 14 133 |
nl | nizozemština | 9 961 | 313 | 2 955 | 24 746 | 15 563 | 29 362 | 82 903 |
no | norština | 4 815 | 0 | 0 | 0 | 0 | 0 | 4 815 |
pl | polština | 17 516 | 0 | 2 378 | 20 627 | 12 811 | 26 572 | 79 905 |
pt | portugalština | 2 393 | 369 | 2 999 | 28 602 | 16 484 | 43 391 | 94 241 |
ro | rumunština | 3 432 | 0 | 2 737 | 8 199 | 9 446 | 34 128 | 57 944 |
ru | ruština | 3 337 | 3 174 | 0 | 0 | 0 | 6 885 | 13 397 |
sk | slovenština | 7 401 | 0 | 0 | 19 222 | 12 734 | 5 134 | 44 493 |
sl | slovinština | 900 | 0 | 0 | 19 645 | 12 240 | 17 024 | 49 810 |
sq | albánština | 0 | 0 | 0 | 0 | 0 | 2 003 | 2 003 |
sr | srbština | 8 823 | 0 | 0 | 0 | 0 | 20 776 | 29 600 |
sv | švédština | 8 138 | 0 | 0 | 20 585 | 13 840 | 14 693 | 57 258 |
tr | turečtina | 0 | 0 | 0 | 0 | 0 | 21 190 | 21 190 |
uk | ukrajinština | 5 054 | 0 | 0 | 0 | 0 | 246 | 5 300 |
vi | vietnamština | 0 | 0 | 0 | 0 | 0 | 1 473 | 1 473 |
celkem | 194 055 | 20 769 | 24 676 | 430 195 | 265 029 | 488 372 | 1 423 098 | |
cs | čeština | 84 718 | 3 416 | 2 315 | 20 303 | 12 922 | 50 688 | 174 363 |
CELKEM | 278 773 | 24 185 | 26 991 | 450 498 | 277 951 | 539 060 | 1 597 462 |
Pozn.: U českých textů se počítají slova jen jednou za každý text, i když má více cizojazyčných protějšků.
Morfosyntaktická anotace
Texty v těchto jazycích jsou opatřeny morfologickou anotací.
Jazyk | Značky | Lemmata | Stručný popis | Podrobný popis | Nástroj |
---|---|---|---|---|---|
angličtina | ✔ | ✔ | anglicky | anglicky + dodatky | TreeTagger |
bulharština | ✔ | anglicky | TreeTagger | ||
čeština | ✔ | ✔ | česky a anglicky | anglicky | Morče |
estonština | ✔ | ✔ | estonsky a anglicky | TreeTagger | |
finština | ✔ | ✔ | anglicky *) | OMorFi+HunPOS | |
francouzština | ✔ | ✔ | anglicky | TreeTagger | |
islandština | ✔ | ✔ | IceStagger | ||
italština | ✔ | ✔ | anglicky | TreeTagger | |
litevština | ✔ | ✔ | česky a anglicky | anglicky | Autor: Vidas Daudaravičius |
maďarština | ✔ | anglicky | HunPos | ||
němčina | ✔ | ✔ | anglicky **) | německy | RFTagger |
nizozemština | ✔ | nizozemsky | TreeTagger | ||
norština | ✔ | ✔ | anglicky norsky | Oslo Bergen Tagger | |
polština | ✔ | ✔ | anglicky a polsky | anglicky | Morfeusz, TaKIPI |
portugalština | ✔ | ✔ | španělsky | TreeTagger | |
ruština | ✔ | ✔ | anglicky | anglicky ***) | TreeTagger |
slovenština | ✔ | ✔ | slovensky | slovensky | Radovan Garabík, Morče |
slovinština | ✔ | ✔ | anglicky a slovinsky | anglicky | totale |
španělština | ✔ | ✔ | anglicky | TreeTagger | |
švédština | ✔ | ✔ | švédsky a anglicky | Stagger |
*) Morfologické značky jsou v korpusu uvedeny v kondenzované podobě, např. V:Sg:Nom:Act:PrfPrc:Pos odpovídá zápisu s atributy [POS=V] [NUM=SG] [CASE=NOM] [VOICE=ACT] [PCP=PRFPRC] [CMP=POS]. Podobně Pron:Pers:Sg:Ade:Up odpovídá zápisu [POS=PRON] [SUBCAT:PERS] [NUM:SG] [CASE=ADE] [CASECHANGE=UP].
**) Uvnitř jedné morfologické značky používáme jako oddělovač jednotlivých kategorií dvojtečku místo tečky, tedy např. ADJA:Pos:Nom:Sg:Fem.
***) Značky v korpusu někdy neodpovídají značkám uvedeným v podrobném popisu. V korpusu se zanedbávají některé morfologické kategorie, např. zájmena jsou vždy označkována jen jako „P-“. Všechny značky, tak jak se užívají v korpusu, jsou uvedeny ve stručném popisu.
U textů se značkami, případně lemmaty, mohou přímočaře formulované dotazy na spřežková slova zůstat bez odpovědi. To se týká například anglických tvarů can't nebo I'm, které tagger rozdělí na dvě slova (ca+n't a I+'m) s odpovídajícími lemmaty a značkami. Podobně je tomu i s polskými tvary typu byłam nebo gdybyś (rozděleno na była+m a gdyby+ś). Je třeba počítat i s chybným rozdělením: gdzie+ś za Wisłą. Dotaz na celou spřežku je nutné zadat jako Fráze a části spřežky oddělit mezerou. Lemmatem a značkou jsou opatřeny jen části spřežky.
Morfologické značky obsahující znaky, které mají v regulárních výrazech zvláštní význam, např. $
v anglické značce wp$
, je třeba v dotazech zadávat za zpětné lomítko, tedy např. takto: tag="wp\$"
Strukturní atributy
Struktura | Atribut | Popis | Možné hodnoty |
---|---|---|---|
doc | doc.id | unikátní identifikátor dokumentu | text |
doc.lang | jazyk textu | ar / be / bg / ca / cs / da / de / el / en / es / et / fi / fr / he / hi / hr / hu / is / it / ja / lt / lv / mk / ms / mt / nb / nl / no / pl / pt / ro / ru / sk / sl / sq / sr / sv / sy / tr / uk / vi / zh | |
doc.version | verze textu | číslo | |
doc.wordcount | velikost dokumentu ve slovech | číslo | |
div | div.id | identifikace textu | příjmení_autora-zkrácený_název_textu / _ACQUIS / _EUROPARL / _PRESSEUROP / _SUBTITLES / _SYNDICATE |
div.group | rozdělení na: | Core / Acquis / Europarl / PressEurop / Subtitles / Syndicate | |
div.wordcount | počet slov textu | číslo | |
div.author | autor textu | příjmení, jméno | |
div.title | úplný název textu | text | |
div.publisher | vydavatel | text | |
div.pubplace | místo vydání | text | |
div.pubyear | rok vydání | letopočet | |
div.txtype | typ textu | discussions - transcripts / drama / fiction / journalism - commentaries / journalism - news / legal texts / nonfiction / other / poetry / subtitles | |
div.original | je text originálem? | Yes / No | |
div.srclang | jazyk originálu | ar / as / az / be / bg / bl / bn / bo / bs / bt / ca / cr / cs / ct / cz / da / de / dk / eb / el / en / es / et / eu / fa / fi / fr / ga / gr / he / hi / hr / hu / hy / id / ie / is / it / ja / ka / ko / ku / lt / lv / mk / mn / ms / mt / my / ni / nl / no / pl / po / ps / pt / rm / ro / ru / se / sk / sl / sq / sr / sv / ta / th / ti / tl / tr / tu / uk / un / ur / vi / zh | |
div.translator | překladatel textu | příjmení, jméno | |
div.transsex | pohlaví překladatele | F / M | |
div.authsex | pohlaví autora: | F / M | |
p | p.id | unikátní identifikátor odstavce | text |
s | s.id | unikátní identifikátor věty | text |
Počet textů v jádru korpusu podle jazyka textu a jazyka originálu
Jazyk originálu | |||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
↓ Jazyk textu | ar | be | bg | ca | cs | da | de | en | es | fi | fr | hi | hr | hu | it | lt | lv | mk | nl | no | pl | pt | ro | ru | sk | sl | sr | sv | uk | celkem | jiné |
ar | 1 | 1 | 1 | 3 | |||||||||||||||||||||||||||
be | 3 | 8 | 4 | 13 | 1 | 1 | 1 | 3 | 2 | 1 | 1 | 1 | 39 | ||||||||||||||||||
bg | 19 | 9 | 1 | 27 | 4 | 2 | 1 | 1 | 2 | 2 | 68 | ||||||||||||||||||||
ca | 1 | 16 | 3 | 12 | 5 | 1 | 2 | 3 | 1 | 1 | 45 | 1 | |||||||||||||||||||
cs | 1 | 3 | 19 | 1 | 267 | 9 | 134 | 242 | 127 | 24 | 95 | 2 | 26 | 1 | 20 | 1 | 7 | 1 | 30 | 7 | 49 | 21 | 39 | 56 | 3 | 8 | 58 | 6 | 1257 | ||
da | 6 | 9 | 12 | 27 | |||||||||||||||||||||||||||
de | 85 | 126 | 65 | 10 | 1 | 4 | 1 | 7 | 1 | 1 | 6 | 3 | 3 | 2 | 3 | 1 | 3 | 5 | 327 | ||||||||||||
en | 25 | 4 | 125 | 3 | 1 | 2 | 1 | 1 | 6 | 5 | 4 | 177 | 1 | ||||||||||||||||||
es | 1 | 25 | 8 | 29 | 126 | 1 | 6 | 7 | 1 | 4 | 2 | 3 | 213 | 1 | |||||||||||||||||
fi | 11 | 1 | 1 | 12 | 2 | 25 | 1 | 1 | 1 | 2 | 57 | 1 | |||||||||||||||||||
fr | 36 | 1 | 10 | 83 | 2 | 1 | 2 | 2 | 137 | ||||||||||||||||||||||
hi | 2 | 1 | 1 | 2 | 1 | 7 | |||||||||||||||||||||||||
hr | 1 | 71 | 15 | 52 | 11 | 2 | 4 | 26 | 6 | 7 | 1 | 3 | 4 | 1 | 1 | 8 | 213 | 2 | |||||||||||||
hu | 16 | 5 | 23 | 9 | 1 | 3 | 14 | 71 | |||||||||||||||||||||||
it | 4 | 4 | 21 | 9 | 1 | 3 | 19 | 3 | 1 | 3 | 68 | 1 | |||||||||||||||||||
lt | 8 | 2 | 2 | 1 | 1 | 2 | 1 | 17 | |||||||||||||||||||||||
lv | 22 | 2 | 1 | 1 | 7 | 2 | 1 | 36 | |||||||||||||||||||||||
mk | 15 | 1 | 16 | 1 | 1 | 1 | 2 | 1 | 3 | 2 | 2 | 4 | 49 | ||||||||||||||||||
nl | 24 | 3 | 33 | 7 | 3 | 3 | 30 | 2 | 2 | 3 | 3 | 6 | 119 | ||||||||||||||||||
no | 11 | 5 | 21 | 4 | 1 | 3 | 6 | 2 | 1 | 54 | |||||||||||||||||||||
pl | 36 | 8 | 97 | 10 | 2 | 8 | 2 | 1 | 1 | 3 | 1 | 46 | 4 | 6 | 1 | 5 | 231 | 1 | |||||||||||||
pt | 6 | 8 | 15 | 29 | |||||||||||||||||||||||||||
ro | 7 | 5 | 12 | 3 | 1 | 1 | 1 | 1 | 1 | 1 | 33 | 3 | |||||||||||||||||||
ru | 9 | 1 | 22 | 2 | 1 | 1 | 22 | 1 | 3 | 62 | 1 | ||||||||||||||||||||
sk | 55 | 2 | 5 | 1 | 1 | 2 | 56 | 122 | 18 | ||||||||||||||||||||||
sl | 7 | 1 | 2 | 1 | 2 | 2 | 15 | ||||||||||||||||||||||||
sr | 11 | 7 | 33 | 9 | 3 | 7 | 2 | 4 | 3 | 10 | 1 | 5 | 2 | 97 | 3 | ||||||||||||||||
sv | 11 | 4 | 23 | 7 | 2 | 1 | 1 | 50 | 99 | 1 | |||||||||||||||||||||
uk | 6 | 1 | 31 | 3 | 5 | 2 | 5 | 3 | 5 | 6 | 67 | ||||||||||||||||||||
celkem | 2 | 6 | 39 | 3 | 810 | 19 | 349 | 950 | 335 | 57 | 241 | 4 | 56 | 2 | 89 | 5 | 18 | 3 | 84 | 22 | 128 | 72 | 119 | 118 | 6 | 26 | 164 | 12 |
- Tabulka uvádí počty textů v jádru korpusu InterCorp.
- Pro každý jazyk, který má v jádru nějaké texty, jsou v příslušném řádku uvedeny počty textů, zvlášť podle jazyka originálu, uvedeného v záhlaví příslušného sloupce. Takže např. v arabštině jádro obsahuje jeden arabský, jeden český a jeden německý originální text. Celkem jsou tedy v jádru 3 texty v arabštině (viz předposlední sloupec).
- Ve sloupcích lze zjistit, kolik originálních textů v jazyku uvedeném v záhlaví je přeloženo do ostatních jazyků. Kódy těchto jazyků jsou v prvním sloupci. Poslední sloupec udává počet originálních textů v jiných jazycích, které jádro InterCorpu neobsahuje.
- V diagonále tabulky je počet originálních textů v příslušném jazyce. Např. v maďarštině a rumunštině nemáme žádný originální text, v rumunštině ani v překladu.
Poděkování
Děkujeme za možnost využívat následující texty a software:
Texty:
- beletristické texty v řadě slovanských i jiných jazyků z korpusu ASPAC – Amsterdam Slavic Parallel Aligned Corpus – zvláštní poděkování patří Adrianu Barentsenovi
- publicistické texty ve více jazycích z webových stránek Project Syndicate
- publicistické texty ve více jazycích ze serveru Presseurop/VoxEurop
- právnické texty v jazycích EU z korpusu JRC-ACQUIS
- jednání Evropského parlamentu z korpusu EuroParl
- slovensko-české konkordance ze Slovenského národního korpusu
- povídky ve více jazycích z projektu Můj rok 1989 z Goethe Institutu
- za více textů v česko-litevské části korpusu a za práci Jiřího Levého Umění překladu ve více jazycích vděčíme Patricku Cornessovi
- román George Orwella 1984 ve více jazycích z korpusu Multext-East
- ukrajinské a polské texty z korpusu PolUkr
- norské texty z nakladatelství Forlaget Oktober
- filmové titulky z databáze Open Subtitles
Předzpracování:
- editor paralelních textů InterText (autor Pavel Vondřička)
- zarovnávač Hunalign
- větný segmentátor pro češtinu (autor Pavel Květoň)
- větný segmentátor pro norštinu (autoři Jarle Ebeling a Pavel Vondřička)
- větný segmentátor Punkt pro všechny ostatní jazyky ze sady Natural Language Toolkit
Značkovače / lematizátory:
- TreeTagger pro angličtinu, bulharštinu, estonštinu, francouzštinu, italštinu, nizozemštinu, portugalštinu (s poděkováním Pablu Gamallovi), ruštinu a španělštinu
- HunPOS pro maďarštinu a další jazyky
- tagger pro slovenštinu (s poděkováním Radovanu Garabíkovi)
- tagger pro litevštinu, s poděkováním Vidasovi Daudaravičiusovi a Haně Skoumalové
- tagger pro norštinu
- totale pro slovinštinu (s poděkováním Tomaži Erjavcovi)
- RFTagger pro němčinu
- OMorFi+HunPOS pro finštinu (s poděkováním Filipu Ginterovi)
- Stagger a IceStagger pro švédštinu a islandštinu (s poděkováním Robertu Östlingovi)
Související odkazy
InterCorp • Verze 7 • Verze 6 • Verze 5 • Verze 4 • Verze 3 • Historie verzí
Viz též původní stránky projektu InterCorp. // See the original InterCorp site in English.