Detektor AI textů (AI detector)

Aplikace Detektor AI textů (AI detector) slouží k rozpoznávání textů vytvořených člověkem a umělou inteligencí (AI). Podporuje češtinu a angličtinu a kromě odhadu původu textu dokáže také určit, kterému jazykovému modelu (LLM) se text nejvíce podobá. Rozhraní aplikace je dostupné v české i anglické verzi.

Klasifikátor byl vyvinut na základě korpusů AI Brown a AI Koditex, které obsahují texty generované různými jazykovými modely a umožňují jejich srovnání s původními lidskými texty. Při klasifikaci využívá charakteristické slovní obraty, slovní zásobu a gramatické struktury.

Jak aplikaci používat

Do vstupního pole vložte text, který chcete analyzovat, případně nahrajte soubor ve formátu .txt pomocí tlačítka Nahrát .txt. Text musí obsahovat alespoň 30 tokenů (slov a interpunkčních znamének), pro spolehlivější výsledky se však doporučují delší texty, ideálně alespoň 200 tokenů.

Aplikace automaticky rozpoznává jazyk vstupního textu (Jazyk: auto), můžete jej ale také ručně nastavit.

Dále si můžete vybrat ze dvou režimů analýzy:

Analýzu spustíte tlačítkem Klasifikovat.

Jak interpretovat výsledky

Aplikace rozdělí text na úseky o délce zpravidla 200 tokenů a každý z nich samostatně klasifikuje. Výsledný verdikt může nabývat tří podob:

Pod verdiktem se zobrazují dvě hodnoty: průměrná P(AI) představuje průměrné skóre klasifikátoru a úseky označené jako AI udávají podíl úseků, které klasifikátor vyhodnotil jako generované umělou inteligencí.

V části Atribuce úseků označených jako AI aplikace nabízí odhad, kterým jazykovým modelům se jednotlivé úseky nejvíce podobají.

Podrobné výsledky jednotlivých úseků najdete v tabulce Detail po úsecích, kde si můžete zobrazit také jejich úplný text.

Nastavení citlivosti

Posuvník apriorní P(AI) umožňuje upravit citlivost klasifikátoru podle toho, jak pravděpodobný považujete výskyt AI textu v analyzovaném materiálu:

Změna nastavení okamžitě přepočítá zobrazené výsledky, takže není nutné text znovu analyzovat.

Přesnost klasifikátoru

Úspěšnost klasifikátoru byla ověřena na testovacích textech, které nebyly použity při jeho trénování. Výsledky obou jazykových variant a režimů jsou následující:

Jazyk Režim Záchyt AI (recall) Přesnost označení AI (precision)* Vyvážená přesnost
Angličtina UDPipe 94,0 % 93,6 % 93,8 %
Angličtina Lokální 93,1 % 93,2 % 93,1 %
Čeština UDPipe 92,4 % 94,7 % 93,6 %
Čeština Lokální 90,6 % 94,7 % 92,8 %

Záchyt AI (recall) říká, kolik ze skutečně AI generovaných textů klasifikátor správně odhalí. Například při záchytu 94 % správně rozpozná 94 ze 100 AI textů a zbývajících 6 přehlédne.

Přesnost označení AI (precision) říká, jak často má klasifikátor pravdu, když nějaký text označí jako AI. Například precision 94 % znamená, že ze 100 textů označených jako AI jich 94 skutečně pochází od AI a 6 je lidských.

Vyvážená přesnost je celkový ukazatel úspěšnosti, který přikládá stejnou váhu správnému rozpoznání lidských i AI textů.

*Hodnoty precision v tabulce jsou vypočteny pro předpokládané zastoupení 50 % lidských a 50 % AI textů. Pokud je ve skutečnosti AI textů výrazně méně, bude mezi texty označenými jako AI zpravidla více falešných poplachů.*

Výsledky se vztahují k jednotlivým úsekům o délce 200 tokenů. U delších textů může být celkový verdikt spolehlivější. V přesnějším režimu UDPipe dosahuje klasifikátor při přiřazování testovacích úseků ke konkrétním jazykovým modelům nebo lidské třídě úspěšnosti 67,0 % pro angličtinu a 68,3 % pro češtinu.

Uvedené hodnoty byly naměřeny na testovacích datech podobných trénovacím korpusům. U textů jiných žánrů nebo vytvořených novějšími modely může být úspěšnost odlišná.

Omezení klasifikátoru

Výsledky klasifikátoru jsou pouze orientační a nelze je považovat za jednoznačný důkaz autorství textu.

Klasifikátor může nesprávně označit jako AI například některé překladové texty. Jeho spolehlivost také klesá u novějších jazykových modelů, které nebyly zastoupeny v trénovacích datech, a u velmi krátkých textů. Přesnost výsledků může ovlivnit také žánr analyzovaného textu.

Přiřazení ke konkrétnímu jazykovému modelu vyjadřuje především stylistickou podobnost, nikoli prokazatelný původ textu.

Jak citovat Detektor AI textů

Milička, J.: Detektor AI textů (AI detector). FF UK. Praha 2026. Dostupný z WWW: <https://www.korpus.cz/ai-detector/>.