Aplikace Detektor AI textů (AI detector) slouží k rozpoznávání textů vytvořených člověkem a umělou inteligencí (AI). Podporuje češtinu a angličtinu a kromě odhadu původu textu dokáže také určit, kterému jazykovému modelu (LLM) se text nejvíce podobá. Rozhraní aplikace je dostupné v české i anglické verzi.
Klasifikátor byl vyvinut na základě korpusů AI Brown a AI Koditex, které obsahují texty generované různými jazykovými modely a umožňují jejich srovnání s původními lidskými texty. Při klasifikaci využívá charakteristické slovní obraty, slovní zásobu a gramatické struktury.
Do vstupního pole vložte text, který chcete analyzovat, případně nahrajte soubor ve formátu .txt pomocí tlačítka Nahrát .txt. Text musí obsahovat alespoň 30 tokenů (slov a interpunkčních znamének), pro spolehlivější výsledky se však doporučují delší texty, ideálně alespoň 200 tokenů.
Aplikace automaticky rozpoznává jazyk vstupního textu (Jazyk: auto), můžete jej ale také ručně nastavit.
Dále si můžete vybrat ze dvou režimů analýzy:
Analýzu spustíte tlačítkem Klasifikovat.
Aplikace rozdělí text na úseky o délce zpravidla 200 tokenů a každý z nich samostatně klasifikuje. Výsledný verdikt může nabývat tří podob:
Pod verdiktem se zobrazují dvě hodnoty: průměrná P(AI) představuje průměrné skóre klasifikátoru a úseky označené jako AI udávají podíl úseků, které klasifikátor vyhodnotil jako generované umělou inteligencí.
V části Atribuce úseků označených jako AI aplikace nabízí odhad, kterým jazykovým modelům se jednotlivé úseky nejvíce podobají.
Podrobné výsledky jednotlivých úseků najdete v tabulce Detail po úsecích, kde si můžete zobrazit také jejich úplný text.
Posuvník apriorní P(AI) umožňuje upravit citlivost klasifikátoru podle toho, jak pravděpodobný považujete výskyt AI textu v analyzovaném materiálu:
Změna nastavení okamžitě přepočítá zobrazené výsledky, takže není nutné text znovu analyzovat.
Úspěšnost klasifikátoru byla ověřena na testovacích textech, které nebyly použity při jeho trénování. Výsledky obou jazykových variant a režimů jsou následující:
| Jazyk | Režim | Záchyt AI (recall) | Přesnost označení AI (precision)* | Vyvážená přesnost |
|---|---|---|---|---|
| Angličtina | UDPipe | 94,0 % | 93,6 % | 93,8 % |
| Angličtina | Lokální | 93,1 % | 93,2 % | 93,1 % |
| Čeština | UDPipe | 92,4 % | 94,7 % | 93,6 % |
| Čeština | Lokální | 90,6 % | 94,7 % | 92,8 % |
Záchyt AI (recall) říká, kolik ze skutečně AI generovaných textů klasifikátor správně odhalí. Například při záchytu 94 % správně rozpozná 94 ze 100 AI textů a zbývajících 6 přehlédne.
Přesnost označení AI (precision) říká, jak často má klasifikátor pravdu, když nějaký text označí jako AI. Například precision 94 % znamená, že ze 100 textů označených jako AI jich 94 skutečně pochází od AI a 6 je lidských.
Vyvážená přesnost je celkový ukazatel úspěšnosti, který přikládá stejnou váhu správnému rozpoznání lidských i AI textů.
*Hodnoty precision v tabulce jsou vypočteny pro předpokládané zastoupení 50 % lidských a 50 % AI textů. Pokud je ve skutečnosti AI textů výrazně méně, bude mezi texty označenými jako AI zpravidla více falešných poplachů.*
Výsledky se vztahují k jednotlivým úsekům o délce 200 tokenů. U delších textů může být celkový verdikt spolehlivější. V přesnějším režimu UDPipe dosahuje klasifikátor při přiřazování testovacích úseků ke konkrétním jazykovým modelům nebo lidské třídě úspěšnosti 67,0 % pro angličtinu a 68,3 % pro češtinu.
Uvedené hodnoty byly naměřeny na testovacích datech podobných trénovacím korpusům. U textů jiných žánrů nebo vytvořených novějšími modely může být úspěšnost odlišná.
Výsledky klasifikátoru jsou pouze orientační a nelze je považovat za jednoznačný důkaz autorství textu.
Klasifikátor může nesprávně označit jako AI například některé překladové texty. Jeho spolehlivost také klesá u novějších jazykových modelů, které nebyly zastoupeny v trénovacích datech, a u velmi krátkých textů. Přesnost výsledků může ovlivnit také žánr analyzovaného textu.
Přiřazení ke konkrétnímu jazykovému modelu vyjadřuje především stylistickou podobnost, nikoli prokazatelný původ textu.
Milička, J.: Detektor AI textů (AI detector). FF UK. Praha 2026. Dostupný z WWW: <https://www.korpus.cz/ai-detector/>.