~~NOTOC~~ ====== Detektor AI textů (AI detector) ====== [{{ :manualy:manualy_aidetector.png?400|}}] Aplikace [[https://www.korpus.cz/ai-detector/|Detektor AI textů (AI detector)]] slouží k rozpoznávání textů vytvořených člověkem a umělou inteligencí (AI). Podporuje **češtinu a angličtinu** a kromě odhadu původu textu dokáže také určit, kterému jazykovému modelu (LLM) se text nejvíce podobá. Rozhraní aplikace je dostupné v české i anglické verzi. Klasifikátor byl vyvinut na základě korpusů [[cnk:aibrown|AI Brown]] a [[cnk:aikoditex|AI Koditex]], které obsahují texty generované různými jazykovými modely a umožňují jejich srovnání s původními lidskými texty. Při klasifikaci využívá charakteristické slovní obraty, slovní zásobu a gramatické struktury. ===== Jak aplikaci používat ===== Do vstupního pole vložte text, který chcete analyzovat, případně nahrajte soubor ve formátu ''.txt'' pomocí tlačítka **Nahrát .txt**. Text musí obsahovat alespoň **30 tokenů** (slov a interpunkčních znamének), pro spolehlivější výsledky se však doporučují delší texty, ideálně alespoň 200 tokenů. Aplikace automaticky rozpoznává jazyk vstupního textu (**Jazyk: auto**), můžete jej ale také ručně nastavit. Dále si můžete vybrat ze dvou režimů analýzy: * **UDPipe (přesný)** – přesnější režim, který využívá morfologickou a syntaktickou analýzu nástrojem [[https://ufal.mff.cuni.cz/udpipe|UDPipe]]. Text se za tímto účelem odesílá službě LINDAT. * **Lokální (rychlý)** – rychlejší režim, který pracuje pouze s povrchovými vlastnostmi textu, bez externí jazykové analýzy. Je o něco méně přesný. Analýzu spustíte tlačítkem **Klasifikovat**. ===== Jak interpretovat výsledky ===== Aplikace rozdělí text na úseky o délce zpravidla **200 tokenů** a každý z nich samostatně klasifikuje. Výsledný verdikt může nabývat tří podob: * **ČLOVĚK** – žádný nebo téměř žádný úsek nebyl označen jako generovaný AI. * **AI** – naprostá většina úseků byla označena jako generovaná AI. * **SMÍŠENÉ** – v textu se vyskytují úseky klasifikované jako lidské i jako generované AI. Pod verdiktem se zobrazují dvě hodnoty: **průměrná P(AI)** představuje průměrné skóre klasifikátoru a **úseky označené jako AI** udávají podíl úseků, které klasifikátor vyhodnotil jako generované umělou inteligencí. V části **Atribuce úseků označených jako AI** aplikace nabízí odhad, kterým jazykovým modelům se jednotlivé úseky nejvíce podobají. Podrobné výsledky jednotlivých úseků najdete v tabulce **Detail po úsecích**, kde si můžete zobrazit také jejich úplný text. ===== Nastavení citlivosti ===== Posuvník **apriorní P(AI)** umožňuje upravit citlivost klasifikátoru podle toho, jak pravděpodobný považujete výskyt AI textu v analyzovaném materiálu: * **0,50** – výchozí, neutrální nastavení. * **Nižší hodnoty** – konzervativnější klasifikace, která omezuje riziko nesprávného označení lidského textu jako AI. * **Vyšší hodnoty** – citlivější klasifikace, která zachytí více potenciálně generovaných úseků, ale zvyšuje riziko falešných poplachů. Změna nastavení okamžitě přepočítá zobrazené výsledky, takže není nutné text znovu analyzovat. ===== Přesnost klasifikátoru ===== Úspěšnost klasifikátoru byla ověřena na testovacích textech, které nebyly použity při jeho trénování. Výsledky obou jazykových variant a režimů jsou následující: ^ Jazyk ^ Režim ^ Záchyt AI (recall) ^ Přesnost označení AI (precision)* ^ Vyvážená přesnost ^ | Angličtina | UDPipe | 94,0 % | 93,6 % | **93,8 %** | | Angličtina | Lokální | 93,1 % | 93,2 % | **93,1 %** | | Čeština | UDPipe | 92,4 % | 94,7 % | **93,6 %** | | Čeština | Lokální | 90,6 % | 94,7 % | **92,8 %** | **Záchyt AI (recall)** říká, kolik ze skutečně AI generovaných textů klasifikátor správně odhalí. Například při záchytu 94 % správně rozpozná 94 ze 100 AI textů a zbývajících 6 přehlédne. **Přesnost označení AI (precision)** říká, jak často má klasifikátor pravdu, když nějaký text označí jako AI. Například precision 94 % znamená, že ze 100 textů označených jako AI jich 94 skutečně pochází od AI a 6 je lidských. **Vyvážená přesnost** je celkový ukazatel úspěšnosti, který přikládá stejnou váhu správnému rozpoznání lidských i AI textů. *Hodnoty precision v tabulce jsou vypočteny pro předpokládané zastoupení 50 % lidských a 50 % AI textů. Pokud je ve skutečnosti AI textů výrazně méně, bude mezi texty označenými jako AI zpravidla více falešných poplachů.* Výsledky se vztahují k jednotlivým úsekům o délce 200 tokenů. U delších textů může být celkový verdikt spolehlivější. V přesnějším režimu UDPipe dosahuje klasifikátor při přiřazování testovacích úseků ke konkrétním jazykovým modelům nebo lidské třídě úspěšnosti 67,0 % pro angličtinu a 68,3 % pro češtinu. Uvedené hodnoty byly naměřeny na testovacích datech podobných trénovacím korpusům. U textů jiných žánrů nebo vytvořených novějšími modely může být úspěšnost odlišná. ===== Omezení klasifikátoru ===== **Výsledky klasifikátoru jsou pouze orientační a nelze je považovat za jednoznačný důkaz autorství textu.** Klasifikátor může nesprávně označit jako AI například některé překladové texty. Jeho spolehlivost také klesá u novějších jazykových modelů, které nebyly zastoupeny v trénovacích datech, a u velmi krátkých textů. Přesnost výsledků může ovlivnit také žánr analyzovaného textu. Přiřazení ke konkrétnímu jazykovému modelu vyjadřuje především stylistickou podobnost, nikoli prokazatelný původ textu. ===== Jak citovat Detektor AI textů ===== [[wiki:user:jirimilicka|Milička]], J.: Detektor AI textů (AI detector). FF UK. Praha 2026. Dostupný z WWW: .