Detektor AI textů (AI detector)
Aplikace Detektor AI textů (AI detector) slouží k rozpoznávání textů vytvořených člověkem a umělou inteligencí (AI). Podporuje češtinu a angličtinu a kromě odhadu původu textu dokáže také určit, kterému jazykovému modelu (LLM) se text nejvíce podobá. Rozhraní aplikace je dostupné v české i anglické verzi.
Klasifikátor byl vyvinut na základě korpusů AI Brown a AI Koditex, které obsahují texty generované různými jazykovými modely a umožňují jejich srovnání s původními lidskými texty. Při klasifikaci využívá charakteristické slovní obraty, slovní zásobu a gramatické struktury.
Jak aplikaci používat
Do vstupního pole vložte text, který chcete analyzovat, případně nahrajte soubor ve formátu .txt pomocí tlačítka Nahrát .txt. Text musí obsahovat alespoň 30 tokenů (slov a interpunkčních znamének), pro spolehlivější výsledky se však doporučují delší texty, ideálně alespoň 200 tokenů.
Aplikace automaticky rozpoznává jazyk vstupního textu (Jazyk: auto), můžete jej ale také ručně nastavit.
Dále si můžete vybrat ze dvou režimů analýzy:
- UDPipe (přesný) – přesnější režim, který využívá morfologickou a syntaktickou analýzu nástrojem UDPipe. Text se za tímto účelem odesílá službě LINDAT.
- Lokální (rychlý) – rychlejší režim, který pracuje pouze s povrchovými vlastnostmi textu, bez externí jazykové analýzy. Je o něco méně přesný.
Analýzu spustíte tlačítkem Klasifikovat.
Jak interpretovat výsledky
Aplikace rozdělí text na úseky o délce zpravidla 200 tokenů a každý z nich samostatně klasifikuje. Výsledný verdikt může nabývat tří podob:
- ČLOVĚK – žádný nebo téměř žádný úsek nebyl označen jako generovaný AI.
- AI – naprostá většina úseků byla označena jako generovaná AI.
- SMÍŠENÉ – v textu se vyskytují úseky klasifikované jako lidské i jako generované AI.
Pod verdiktem se zobrazují dvě hodnoty: průměrná P(AI) představuje průměrné skóre klasifikátoru a úseky označené jako AI udávají podíl úseků, které klasifikátor vyhodnotil jako generované umělou inteligencí.
V části Atribuce úseků označených jako AI aplikace nabízí odhad, kterým jazykovým modelům se jednotlivé úseky nejvíce podobají.
Podrobné výsledky jednotlivých úseků najdete v tabulce Detail po úsecích, kde si můžete zobrazit také jejich úplný text.
Nastavení citlivosti
Posuvník apriorní P(AI) umožňuje upravit citlivost klasifikátoru podle toho, jak pravděpodobný považujete výskyt AI textu v analyzovaném materiálu:
- 0,50 – výchozí, neutrální nastavení.
- Nižší hodnoty – konzervativnější klasifikace, která omezuje riziko nesprávného označení lidského textu jako AI.
- Vyšší hodnoty – citlivější klasifikace, která zachytí více potenciálně generovaných úseků, ale zvyšuje riziko falešných poplachů.
Změna nastavení okamžitě přepočítá zobrazené výsledky, takže není nutné text znovu analyzovat.
Přesnost klasifikátoru
Úspěšnost klasifikátoru byla ověřena na testovacích textech, které nebyly použity při jeho trénování. Výsledky obou jazykových variant a režimů jsou následující:
| Jazyk | Režim | Záchyt AI (recall) | Přesnost označení AI (precision)* | Vyvážená přesnost |
|---|---|---|---|---|
| Angličtina | UDPipe | 94,0 % | 93,6 % | 93,8 % |
| Angličtina | Lokální | 93,1 % | 93,2 % | 93,1 % |
| Čeština | UDPipe | 92,4 % | 94,7 % | 93,6 % |
| Čeština | Lokální | 90,6 % | 94,7 % | 92,8 % |
Záchyt AI (recall) říká, kolik ze skutečně AI generovaných textů klasifikátor správně odhalí. Například při záchytu 94 % správně rozpozná 94 ze 100 AI textů a zbývajících 6 přehlédne.
Přesnost označení AI (precision) říká, jak často má klasifikátor pravdu, když nějaký text označí jako AI. Například precision 94 % znamená, že ze 100 textů označených jako AI jich 94 skutečně pochází od AI a 6 je lidských.
Vyvážená přesnost je celkový ukazatel úspěšnosti, který přikládá stejnou váhu správnému rozpoznání lidských i AI textů.
*Hodnoty precision v tabulce jsou vypočteny pro předpokládané zastoupení 50 % lidských a 50 % AI textů. Pokud je ve skutečnosti AI textů výrazně méně, bude mezi texty označenými jako AI zpravidla více falešných poplachů.*
Výsledky se vztahují k jednotlivým úsekům o délce 200 tokenů. U delších textů může být celkový verdikt spolehlivější. V přesnějším režimu UDPipe dosahuje klasifikátor při přiřazování testovacích úseků ke konkrétním jazykovým modelům nebo lidské třídě úspěšnosti 67,0 % pro angličtinu a 68,3 % pro češtinu.
Uvedené hodnoty byly naměřeny na testovacích datech podobných trénovacím korpusům. U textů jiných žánrů nebo vytvořených novějšími modely může být úspěšnost odlišná.
Omezení klasifikátoru
Výsledky klasifikátoru jsou pouze orientační a nelze je považovat za jednoznačný důkaz autorství textu.
Klasifikátor může nesprávně označit jako AI například některé překladové texty. Jeho spolehlivost také klesá u novějších jazykových modelů, které nebyly zastoupeny v trénovacích datech, a u velmi krátkých textů. Přesnost výsledků může ovlivnit také žánr analyzovaného textu.
Přiřazení ke konkrétnímu jazykovému modelu vyjadřuje především stylistickou podobnost, nikoli prokazatelný původ textu.
Jak citovat Detektor AI textů
Milička, J.: Detektor AI textů (AI detector). FF UK. Praha 2026. Dostupný z WWW: <https://www.korpus.cz/ai-detector/>.
