| Obě strany předchozí revizePředchozí verzeNásledující verze | Předchozí verze |
| pojmy:lemma [2013/06/10 16:48] – vaclavcvrcek | pojmy:lemma [2022/01/03 17:52] (aktuální) – jankrivan |
|---|
| ====== Lemma ====== | ====== Lemma ====== |
| |
| Lemma je základní slovníkový tvar. | Lemma je reprezentativní slovníková podoba hesla, při automatickém zpracování jazyka je pak tato podoba v procesu lemmatizace přidělována každé formě v korpusu. |
| |
| ===== Placeholder ===== | Přístupy k lemmatizaci se mohou v drobnostech lišit, obecně však platí, že |
| | * lemma každého českého substantiva je jeho **nom. sg.** (tvary //lesům, lesy, lesích// mají lemma **//les//**) |
| | * u adjektiv je to **nom. sg. mask. pozitiv** (tvary //chytrého, chytrou, chytrejma, nejchytřejší// mají lemma **//chytrý//**) |
| | * u zájmen je to **nom. sg. mask.** (tvary //ta, to, ti, tomu// mají lemma **//ten//**) |
| | * u sloves je to **infinitiv** (tvary //chodil, chodíš, chodíme// mají lemma **//chodit//**) |
| | |
| | Lemma jako jednotka vzniká abstrakcí morfologických vlastností [[pojmy:word|slovního tvaru]] (označovaného jako word nebo forma), představuje tedy množinu forem se stejným kořenem lišící se pouze morfologickými afixy, příp. pravopisnou variantou. V některých koncepcích se pak k lemmatu řadí i vybrané varianty slovotvorné. |
| |
| | ===== Sublemma ===== |
| |
| Lorem ipsum dolor sit amet, consectetur adipiscing elit. Praesent nunc enim, adipiscing rutrum dictum sed, fringilla sit amet nisi. Integer imperdiet eleifend porta. Pellentesque a dui at elit mollis ultricies et nec mi. Nullam vel scelerisque turpis. In hac habitasse platea dictumst. Aliquam mi neque, commodo non placerat et, iaculis non elit. Aenean imperdiet ante vitae ultrices tincidunt. Pellentesque a turpis massa. Nam arcu ipsum, euismod eget velit nec, imperdiet aliquam dui. Aliquam nec porta sapien. Duis varius, magna at vulputate ullamcorper, risus libero tincidunt nisi, vel venenatis tortor nulla in turpis. | Počínaje korpusem [[cnk:syn2020|SYN2020]] je lemmatizace v českých korpusech dvojúrovňová: každý tvar má vedle atributu **lemma** přiřazen i atribut **sublemma**. Zatímco lemma může sdružovat i více variant jednoho slova (např. lemma //filozofie// reprezentuje všechny tvary s kořenem //filozof// i //filosof//), sublemmata vymezují podskupiny tvarů podle této variantnosti (sublemma //filozofie// reprezentuje jen tvary s kořenem //filozof//, sublemma //filosofie// jen tvary s kořenem //filosof//). Pokud je slovo nevariantní, sublemma je totožné s lemmatem (např. lemma //kniha// reprezentuje stejnou množinu tvarů jako sublemma //kniha//). |
| |
| Suspendisse ut posuere nisi. Fusce eget urna ornare, vestibulum mauris vestibulum, convallis ligula. Cras nibh libero, lacinia gravida suscipit sed, congue eu purus. Donec lectus ante, consectetur eu elit et, porttitor ullamcorper urna. Maecenas facilisis enim vel leo pellentesque mattis. Nunc tincidunt faucibus dui vel pulvinar. Quisque porta imperdiet dolor aliquam condimentum. Pellentesque molestie est sed porta mollis. Aliquam sodales fermentum augue, vitae auctor augue accumsan non. Quisque rhoncus, urna tincidunt convallis dictum, dolor diam aliquet risus, quis eleifend velit augue in purus. Aliquam eu venenatis mauris, non mollis nunc. Integer tristique, ipsum in vehicula dignissim, tortor nisl sagittis risus, rhoncus suscipit neque felis et nulla. Phasellus venenatis nulla sapien, mollis euismod augue placerat a. Pellentesque leo turpis, lobortis vel hendrerit sed, accumsan vel augue. Praesent imperdiet orci ut congue sollicitudin. Fusce magna dolor, facilisis vitae dictum sit amet, vulputate sit amet lorem. | Jako sublemmata jsou řešeny různé typy variant (např. //mýdlo/mejdlo//, //okno/vokno//, //citron/citrón//, //email/e-mail//, //myslet/myslit//, //mýt/mejt//, //péci/péct/píct//, //kuchyně/kuchyň//, //antivirus/antivir//, //sedm/sedum//, //tenhle/tendle/tenle//, //ačkoli/ačkoliv//, propriální //Robert/Róbert/Roberto//, //Atény/Athény//) a jejich pomocí jsou odlišeny i některé specifické skupiny tvarů, které jsou zahrnuty pod jedním lemmatem (např. negované tvary u adjektiv a adverbií //černý/nečerný//, //hezky/nehezky//, jmenné tvary adjektiv //mladý/mlád//, supletivní tvary //dobře/lépe/líp//, //člověk/lidé//). |
| |
| Ut eleifend, velit ut congue consectetur, mi urna facilisis lorem, in bibendum ipsum lorem eget nulla. Sed accumsan ornare neque ac vulputate. Maecenas id lorem non eros pellentesque semper. Sed accumsan lacus vitae odio molestie, dignissim accumsan orci cursus. Vestibulum urna est, porta sed dignissim rhoncus, ullamcorper eget tellus. Fusce ornare viverra nunc, eu commodo nunc lobortis semper. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos himenaeos. Curabitur varius eros laoreet pellentesque dignissim. Nunc id interdum metus. Morbi eget ipsum sit amet nisl rhoncus vehicula eget in neque. Proin sed neque at magna porta scelerisque. Ut lobortis nisi imperdiet condimentum semper. Nullam in odio eget neque scelerisque cursus. | Podrobný popis dvojúrovňové lemmatizace je uveden na stránce [[cnk:syn2020:lemmatizace|lemmatizace SYN2020]]. |
| |
| Nulla facilisi. Nullam vel turpis nec ante hendrerit aliquam vel at nibh. Nullam nec tortor et ipsum facilisis commodo. Nam condimentum mi erat, a porttitor nisl tincidunt et. In hac habitasse platea dictumst. Pellentesque eget dolor purus. Quisque tempor quam vitae sodales ornare. Interdum et malesuada fames ac ante ipsum primis in faucibus. Aenean odio metus, faucibus eget pretium egestas, condimentum ac est. Sed sem ante, viverra quis libero varius, lobortis aliquam libero. Sed laoreet ligula nec nunc vehicula, in blandit enim consequat. Proin nisl leo, rutrum nec semper in, rutrum sed neque. Curabitur ornare sem at suscipit ornare. | ===== Vztah lemmatu a lexému ===== |
| |
| Integer id pretium magna. Nullam urna diam, tincidunt sed condimentum a, lacinia quis mauris. Aliquam pretium lectus at consectetur consequat. Donec vitae enim et turpis aliquam elementum. Phasellus sit amet augue in neque luctus mattis. Vivamus iaculis ut mauris ac varius. Donec pretium risus sed metus sodales, at aliquet tellus tincidunt. Maecenas et gravida urna, vehicula faucibus arcu. In condimentum vel eros ac rhoncus. Duis quis tristique massa, sit amet hendrerit massa. Aenean dictum commodo elit eu mollis. Aenean ut porta magna. Mauris sed mauris adipiscing, eleifend mauris a, imperdiet enim. | V určitých aspektech je lemma analogické lexému s tím rozdílem, že lemma je zatím vždy jednoslovná jednotka a ve většině korpusů koresponduje s výskytem slovního tvaru v poměru 1:1. V každém korpusu je tedy počet lemmat menší než počet slovních tvarů (např. ve stomilionovém korpusu SYN2010 najdeme 1,7 mil. různých slovních tvarů, ale jenom 786 tis. různých lemmat) |
| |
| ====== Lemmatizace ====== | ===== Vztah lemmatu a významu ===== |
| |
| bla bla | Lemma by mělo být základním nositelem lexikálního významu jednotky. Na základě lemmatu jsou proto sestavovány korpusově založené slovníky. Vedle toho se ovšem stále více zdůrazňuje přístup, který poukazuje na fakt, že význam je úzce spjat s morfologicky vymezeným [[pojmy:word|tvarem]] a že lemma je tak přílišnou abstrakcí zanedbávající důležité sémantické distinkce mezi tvary (srov. význam lemmatu //nerv// a význam tvarů //nerv//, který se užívá zejména v kontextu anatomického popisu, a //nervy//, který je typický svými kolokacemi //leze na nervy, mít nervy na dranc// apod.). |
| | |
| | ===== Hyperlemma a lemmatizace diachronních textů ===== |
| | |
| | Přístup k lemmatizaci se může v odůvodněných případech lišit. Jedním z takových případů je zpracování [[pojmy:diachronni|diachronních]], dialektologických nebo [[pojmy:mluveny|mluvených]] korpusů, kde potřeba shlukovat slovní tvary pod jednu jednotku může být ovlivněna i jinými kritérii, než je pouze příslušnost k jednomu morfologickému paradigmatu. Vždy ovšem platí, že lemma je pouze pomůcka pro snadnější vyhledávání, nikoli popis nebo interpretace jazykových dat. |
| | |
| | V případě diachronního korpusu [[cnk:diakorp|DIAKORP]] se proto v budoucnu počítá s lemmatizací pomocí tzv. **hyperlemmat**, která uživateli korpusu umožní vyhledat všechny výskyty konkrétního lexému bez ohledu na různost jeho dobových, pravopisných aj. podob a tvarů (například: při vyhledávání pomocí hyperlemmatu //kůň// bude možno najít i starší české podoby //kóň// a //kuoň//). |
| | |
| | ===== Lemmatizace ===== |
| | |
| | Lemmatizace je součást automatické morfologické (vč. slovnědruhové) [[pojmy:anotace|anotace]]. Principem lemmatizace je přiřazení lemmatu jednomu slovnímu tvaru (příp. skupině slovních tvarů) v korpusu. |
| | |
| | Lemmatizace je typicky součástí procesu [[pojmy:desambiguace|desambiguace (zjednoznačnění)]] slovních tvarů v textu na základě kontextu. Lemmatizace je jednoduchá a nekontextová (patří-li lemmatizovaný slovní tvar k paradigmatu jediného lexému, např. slovesnému tvaru //vytvoříme// bude přiřazeno lemma //vytvořit// jakožto reprezentativní podoba příslušného slovesného lexému bez ohledu na kontext). |
| | |
| | Automatická lemmatizace je naopak nesnadná, je-li lemmatizovaný slovní tvar homonymní, tj. patří-li k paradigmatům více lexémů: např. tvar //zvířenou// náleží jednak paradigmatu adjektivního lexému //zvířený//, jednak paradigmatu substantivního lexému //zvířena//. V tomto případě se v procesu lemmatizace na základě kontextu rozhodne, které z potenciálních lemmat se danému tvaru přiřadí. U lexikálních homonym, jejichž morfologické paradigma je totožné, se někdy při lemmatizaci rozlišuje mezi jednotlivými lexikálními významy homonyma, např. //travička_1// vs. //travička_2//. |
| | |
| | ==== Problémy lemmatizace ==== |
| | |
| | Velkým lingvistickým i počítačovým problémem je lemmatizace víceslovných spojení. Jiným neřešeným problémem při automatické lemmatizaci je lemmatizace všech tvarů pod jediné lemma i tam, kde to není patřičné: např. zdvořilá prosba o dovolení projít //Dovolíte?// se neodráží v žádném z registrovaných významů slova //dovolit//, protože není součástí výlučně morfologické lemmatizace. Podobné je to i u frazémů, kde nelze tvar //holičkách// (frazému //nechat na holičkách//) lemmatizovat jako //holičky// (tvar, který navíc vůbec neexistuje). |
| | |
| | ==== Proces lemmatizace ==== |
| | |
| | Automatickou lemmatizaci provádí počítačový program zvaný //lemmatizátor//, který bývá součástí morfologického [[pojmy:tag|taggeru]], provádějícího morfologickou [[pojmy:desambiguace|desambiguaci]] textu. Smyslem lemmatizace je jednak identifikovat v daném kontextu náležitý lexém u homonymních slovních tvarů, jednak umožnit uživateli pracovat nikoli jen se slovními tvary, nýbrž i s lemmaty jakožto reprezentanty příslušných lexémů a jejich paradigmat, což mu podstatně usnadňuje práci s korpusem. |
| | |
| | Podrobný postup celého procesu automatické anotace včetně údajů o míře úspěšnosti je popsán na příkladu korpusu [[cnk:SYN2020|SYN2020]] na stránce [[cnk:SYN2020:automaticka_anotace|automatická anotace korpusu SYN2020]]. |
| | |
| | ==== Související odkazy ==== |
| | |
| | <WRAP round box 49%> |
| | [[pojmy:anotace|Anotace]] • [[pojmy:desambiguace|Desambiguace]] • [[pojmy:tag|Tagy a tagování]] • [[pojmy:word|Slovní tvar (word)]] • [[cnk:SYN2020:automaticka_anotace|Automatická anotace SYN2020]] |
| | </WRAP> |
