Winston AI ist jetzt der genaueste KI-Detektor bei führenden standardisierten öffentlichen Benchmarks
Die Veröffentlichung von Winston 5.0 stellt einen bedeutenden Fortschritt in der Erkennung von KI-Inhalten dar. In einer intern durchgeführten unabhängigen Evaluierung an 12.000 englischen Dokumenten erreichte Winston 5.0 eine Gesamtgenauigkeit von 99,87 %, indem es 11.984 Stichproben korrekt klassifizierte und dabei nur 16 Fehler machte.
Wir haben Winston 5.0 auch anhand etablierter öffentlicher Benchmarks evaluiert. Die Ergebnisse für PERSUADE 2.0, den DetectionAI-Benchmark von Forschern der University of Chicago Booth School of Business und DetectRL-X sind unten aufgeführt. Zusammen testen diese Benchmarks Winston anhand von Studentenaufsätzen, verschiedenen Schreibdomänen und KI-Ausgaben mehrerer aktueller Modelle.
Wichtige Ergebnisse
- Winston erkannte 99,88 % der menschlichen Texte korrekt, mit nur sieben falsch positiven Ergebnissen unter 6.000 Dokumenten, oder etwa einer Fehlmeldung pro 857 menschlichen Dokumenten.
- Winston identifizierte 99,85 % der KI-generierten Texte und erkannte 5.991 von 6.000 Dokumenten, die von 20 aktuellen KI-Modellen erstellt wurden, korrekt.
- Zwölf der 20 KI-Generatoren wurden mit 100 % Genauigkeit erkannt. Selbst das niedrigste Einzelergebnis lag bei 99,36 %.
- Beim standardisierten öffentlichen PERSUADE 2.0-Benchmark erkannte Winston alle 25.996 Studentenaufsätze korrekt als menschlich, mit null falsch positiven Ergebnissen.
- Beim DetectionAI-Benchmark der University of Chicago Booth klassifizierte Winston alle 8.697 Dokumente korrekt, ohne falsch positive oder falsch negative Ergebnisse.
- Bei DetectRL-X erkannte Winston 15.598 von 15.599 KI-Dokumenten (99,99 %), erkannte 97,08 % der menschlichen Dokumente und erreichte eine Gesamtgenauigkeit von 98,54 % bei 31.196 Texten.
Diese Ergebnisse beziehen sich auf das englischsprachige Modell von Winston 5.0. Das mehrsprachige Modell wurde noch nicht veröffentlicht und wird in Kürze hinzugefügt.
Leistung bei standardisierten öffentlichen Benchmarks
Unsere Evaluierung von 12.000 Dokumenten zeigt, wie Winston 5.0 in einem ausgewogenen Testsatz abschneidet. Öffentliche Benchmarks bieten eine weitere nützliche Überprüfung: Sie zeigen, ob die gleiche Leistung auf Datensätze übertragen wird, die für die akademische Forschung erstellt wurden und für andere zur Überprüfung verfügbar sind.
Wir haben Evaluierungen zu PERSUADE 2.0, DetectionAI von der University of Chicago Booth School of Business und dem englischen Teil von DetectRL-X abgeschlossen.
| Benchmark | Menschliche Texte | KI-Texte | Menschliche Genauigkeit | KI-Erkennung | Gesamtgenauigkeit |
|---|---|---|---|---|---|
| PERSUADE 2.0 | 25,996 | Keine | 100.00% | Nicht zutreffend | Nicht vergleichbar* |
| Chicago Booth DetectionAI | 1,747 | 6,950 | 100.00% | 100.00% | 100.00% |
| DetectRL-X | 15,597 | 15,599 | 97.08% | 99.99% | 98.54% |
*PERSUADE 2.0 enthält ausschließlich menschliche Texte, misst also falsch positive Ergebnisse und nicht die ausgewogene Gesamtgenauigkeit oder KI-Erkennung.
PERSUADE 2.0: null falsch positive Ergebnisse bei 25.996 Studentenaufsätzen
PERSUADE 2.0 ist ein öffentliches Korpus argumentativer Aufsätze, die von US-Schülern der Klassen 6–12 verfasst wurden. Winston klassifizierte jeden Aufsatz als menschlich. Es gab keine falsch positiven Ergebnisse bei allen 25.996 Dokumenten.
Die Bewertungen lagen nicht nahe am Klassifizierungsschwellenwert von 0,5. Der durchschnittliche KI-Wert betrug 0,0027, und der 99. Perzentil-Wert lag bei 0,0170. Winston erreichte auch eine 100%ige menschliche Genauigkeit in jeder demografischen Gruppe, die im Korpus enthalten war, einschließlich Klassenstufe, Geschlecht, Rasse und Ethnizität, wirtschaftlicher Benachteiligung und Behinderungsstatus.
University of Chicago Booth Benchmark: 100 % Genauigkeit bei 8.697 Dokumenten
Der DetectionAI-Benchmark wurde von den Forschern Alex Imas und Brian Jabarian an der University of Chicago Booth School of Business erstellt. Er enthält menschliche und KI-Texte aus sechs Inhaltstypen: Romane, Nachrichten, Lebensläufe, Blogs, Amazon-Rezensionen und Restaurant-Rezensionen. Die Evaluierung schloss 1371 Dokumente aus, die unter Winstons Mindestwert von 500 Zeichen fielen, sodass 8.697 Texte zur Bewertung übrig blieben.
Winston klassifizierte jedes Dokument korrekt. Alle 1.747 menschlichen Texte wurden als menschlich erkannt, und alle 6.950 KI-Texte wurden als KI erkannt. Dies führte zu einer Genauigkeit von 100 %, einer KI-Erkennung von 100 % und einer menschlichen Spezifität von 100 %, ohne falsch positive oder falsch negative Ergebnisse.
| Ergebnis | Menschliche Texte | KI-Texte |
|---|---|---|
| Getestete Dokumente | 1,747 | 6,950 |
| Korrekt klassifiziert | 1,747 | 6,950 |
| Falsch klassifiziert | 0 | 0 |
| Genauigkeit | 100.00% | 100.00% |
| Durchschnittlicher KI-Wert | 0.0026 | 0.9994 |
Die Bewertungen waren nicht um Winstons Klassifizierungsschwellenwert von 0,5 gruppiert. Der höchste KI-Wert, der einem menschlichen Dokument zugewiesen wurde, betrug 0,2158. Der niedrigste Wert, der einem KI-Dokument zugewiesen wurde, betrug 0,8633. Selbst die beiden engsten Fälle blieben daher auf der richtigen Seite des Schwellenwerts, mit einem beträchtlichen Abstand dazwischen.
Die 6.950 KI-Dokumente umfassten vier Modelle von Anthropic, Google und OpenAI. Winston verzeichnete für jedes eine 100%ige Erkennung:
| KI-Generator | Dokumente | Erkennungsrate |
|---|---|---|
| Claude Sonnet 4 | 1,752 | 100.00% |
| Claude Opus 4 | 1,742 | 100.00% |
| Gemini 2.0 Flash | 1,728 | 100.00% |
| GPT-4.1 | 1,728 | 100.00% |
Die Genauigkeit betrug auch in jedem der sechs Inhaltsbereiche 100 %. Der getestete Satz umfasste 5.000 Romanpassagen, 1.427 Nachrichtentexte, 968 Lebensläufe, 579 Blogbeiträge, 436 Amazon-Rezensionen und 287 Restaurant-Rezensionen. Dies macht das Ergebnis breiter als ein Test, der auf einem Schreibstil oder einem KI-Anbieter basiert.
DetectRL-X: 99,99 % der KI-Texte erkannt
DetectRL-X ist ein öffentlicher unabhängiger Benchmark, der aus gepaarten menschlichen und KI-Texten erstellt wurde. Die Quelldatei enthielt 31.200 englische Texte. Vier fielen unter Winstons Mindestwert von 500 Zeichen und wurden vor der Bewertung ausgeschlossen, sodass 31.196 Dokumente aus akademischem Schreiben, Romanen, Nachrichten, SEO-Inhalten, allgemeinem Webtext und Wikipedia-ähnlichem Schreiben übrig blieben. Die KI-Texte stammten von DeepSeek V3, GPT-4o, Qwen Max und Gemini 2.5 Flash.
Winston erreichte eine Gesamtgenauigkeit von 98,54 %. Es erkannte 15.598 von 15.599 KI-Dokumenten und verpasste nur eines. Auf der menschlichen Seite erkannte es 15.142 von 15.597 Dokumenten korrekt.
| Maßnahme | Ergebnis |
|---|---|
| Getestete Dokumente | 31,196 |
| Gesamtgenauigkeit | 98.54% |
| Erkannte KI-Dokumente | 15.598 von 15.599 (99,99 %) |
| Erkannte menschliche Dokumente | 15.142 von 15.597 (97,08 %) |
| AUROC | 0.9983 |
Die Genauigkeit übertraf 99 % in vier der sechs Domänen, und die KI-Erkennung über den gesamten Satz betrug 99,99 %. Die Ergebnisse variierten stärker bei menschlichen Web- und SEO-Texten, was uns einen spezifischen Bereich zum Bearbeiten gibt.
Den Unterschied bei realen Texten sehen
Wir haben mehr als nur Aufsätze getestet. Die Evaluierung umfasste zehn Arten menschlichen Schreibens und die Ausgabe von 20 aktuellen KI-Modellen.
Menschliche Texte blieben menschlich
Die 6.000 menschlichen Dokumente umfassten College-Aufsätze, Bücher, Nachrichtenartikel, politische Reden, Filmkritiken, Reddit-Beiträge, Wikipedia-Einträge, Poesie, Rezepte und medizinische Texte. Winston klassifizierte jedes Dokument in sieben dieser zehn Kategorien korrekt.
Nur sieben menschliche Dokumente wurden im gesamten Satz fälschlicherweise markiert. Drei stammten aus der medizinischen Kategorie, zwei waren Gedichte und zwei waren Rezepte. Alle 600 College-Aufsätze wurden korrekt als menschlich erkannt, ebenso wie alle 600 Nachrichtentexte, 600 Reddit-Beiträge, 600 Wikipedia-Einträge, 600 Filmkritiken, 600 politische Texte und 600 Buchauszüge.
Das Testen mehrerer Arten menschlichen Schreibens reduziert die Wahrscheinlichkeit, dass eine einfache Kategorie das Gesamtergebnis bestimmt, und wir erhielten eine Fehlerrate von 0 % bei den häufigsten Schreibkategorien im Englischen.
KI-Texte von aktuellen Modellen wurden konsistent erkannt
Der KI-Teil enthielt 6.000 Dokumente, die von 20 Generatoren von OpenAI, Anthropic, Google, xAI, DeepSeek, Mistral und Qwen erstellt wurden. Winston erkannte 5.991 davon korrekt.
Zwölf der 20 Generatoren hatten ein perfektes Erkennungsergebnis: Claude Sonnet 4.6, Claude Sonnet 5, Gemini 3.5 Flash, Gemini 3.5 Flash-Lite, GPT-4o, GPT-5.6 Luna, GPT-5.6 Terra, Mistral Nemo, Qwen 3.7 Flash, Qwen 3.7 Plus, Qwen 3.8 27B und Qwen 3.8 Max. Selbst das niedrigste Ergebnis für Grok 4.5 lag bei 99,36 %, wobei 312 von 314 Dokumenten korrekt erkannt wurden.
Längere Dokumente lieferten noch stärkere Ergebnisse
Jedes Dokument in der Evaluierung enthielt mindestens 500 Zeichen. Über den gesamten Satz betrug die Genauigkeit 99,87 %. Diese stieg auf 99,98 % bei den 5.369 Dokumenten mit mindestens 2.000 Zeichen.
Winston klassifizierte alle 3.358 Dokumente mit mindestens 3.000 Zeichen korrekt.
Das Ergebnis ist über sehr unterschiedliche Schreibweisen hinweg konsistent: Winston identifiziert aktuelle KI-Ausgaben, während echte menschliche Arbeit überwiegend unberührt bleibt.
Warum Genauigkeit und falsch positive Ergebnisse im Klassenzimmer wichtig sind
Für einen Lehrer führt ein falsches Ergebnis sofort zu Mehraufwand.
Wenn ein echter Aufsatz als KI markiert wird, muss der Lehrer die Benotung unterbrechen, frühere Aufgaben überprüfen, die Dokumentenhistorie einsehen, mit dem Schüler sprechen und manchmal Eltern oder Administratoren einbeziehen.
Der Schüler könnte auch das Gefühl haben, dass seine Arbeit und Ehrlichkeit in Frage gestellt wurden, bevor überhaupt ein Gespräch beginnt.
KI-generierte Texte, die unentdeckt bleiben, schaffen ein anderes Problem. Wenn eine generierte Aufgabe als menschlich klassifiziert wird, kann ein Lehrer eine Arbeit benoten und detailliertes Feedback geben, die das Verständnis des Schülers nicht widerspiegelt. Mit der Zeit wird es dadurch schwieriger zu erkennen, wer die erforderlichen Fähigkeiten entwickelt hat und wer zusätzliche Unterstützung benötigt.
Die Winston 5.0-Evaluierung ergab sieben falsch positive Ergebnisse bei 6.000 menschlichen Dokumenten und neun falsch negative Ergebnisse bei 6.000 KI-Dokumenten. Diese Ergebnisse sind zusammen wichtig. Ein Detektor muss KI-generierte Arbeiten identifizieren und gleichzeitig bei authentischen menschlichen Texten äußerst vorsichtig sein.
Falsch positive Ergebnisse führen zu zusätzlichen Untersuchungen für Lehrer, während übersehene KI-Texte den Detektor weniger nützlich machen. Beide Fehler waren in dieser Evaluierung selten, was es Lehrern ermöglicht, sich auf die geringe Anzahl von Einreichungen zu konzentrieren, die genauer betrachtet werden sollten.
Wie wir Winston 5.0 getestet haben
Unsere interne Evaluierung verwendete 12.000 englische Dokumente: 6.000 von Menschen geschrieben und 6.000 von KI generiert. Winston hat eine Mindesteingabeanforderung von 500 Zeichen, die der in der Anwendung verwendeten Grenze entspricht. Kürzere Passagen bieten zu wenig sprachlichen Kontext für eine zuverlässige Bewertung auf Dokumentenebene, daher wurde diese Anforderung vor der Bewertung angewendet. Der Test konzentrierte sich daher auf das Schreiben auf Dokumentenebene und nicht auf isolierte Sätze oder kurze Antworten.
Der menschliche Satz enthielt 600 Dokumente aus jeder von zehn Kategorien: Bücher, College-Aufsätze, medizinische Texte, Filmkritiken, Nachrichten, Poesie, politische Reden, Rezepte, Reddit-Beiträge und Wikipedia-Artikel. Die Verwendung der gleichen Anzahl aus jeder Kategorie verhinderte, dass eine große Quelle das Ergebnis dominierte.
Der KI-Satz umfasste 20 Generatoren von OpenAI, Anthropic, Google, xAI, DeepSeek, Mistral und Qwen. Die Stichprobengrößen reichten von 140 bis 330 Dokumenten pro Generator, wobei 15 der 20 Generatoren zwischen 310 und 330 beitrugen. Diese Streuung ermöglichte es uns zu messen, ob die Leistung über verschiedene Modellfamilien hinweg stabil blieb, anstatt von den Schreibmustern eines einzelnen Chatbots abzuhängen.
Wie jedes Dokument bewertet wurde
Winston erstellte für jedes Dokument einen menschlichen Wert und einen KI-Wert. Die Klasse mit dem höheren Wert wurde zum vorhergesagten Ergebnis. Ein Dokument mit einem KI-Wert über 0,5 wurde als KI klassifiziert, während ein Wert unter 0,5 als menschlich klassifiziert wurde.
Die unten stehende Zusammenfassung der Bewertungen zeigt, wie scharf die Ergebnisse getrennt wurden. Menschliche Dokumente hatten einen mittleren KI-Wert von 0,0016, und 99 % erzielten einen Wert unter 0,0503. KI-Dokumente hatten einen mittleren KI-Wert von 0,9972 und einen Median von 1,0.
Wie Klassifizierungsfehler gezählt wurden
Jedes Ergebnis fällt in eine von vier Gruppen:
- Korrekt als menschlich identifiziert: Menschlicher Text als menschlich klassifiziert.
- Falsch positiv: Menschlicher Text fälschlicherweise als KI klassifiziert.
- Falsch negativ: KI-generierter Text fälschlicherweise als menschlich klassifiziert.
- Korrekt als KI identifiziert: KI-generierter Text als KI klassifiziert.
Die Konfusionsmatrix stellt alle vier Ergebnisse zusammen dar. Das Lesen jeder Zeile zeigt, wie die Dokumente in dieser bekannten Klasse von Winston kategorisiert wurden.
Gemischtes/Hybrides Schreiben: Messung von KI in menschlichen Dokumenten
Das Schreiben wird zunehmend hybrid. Eine Person kann den Großteil eines Dokuments entwerfen, KI für eine Einleitung oder einen Schluss verwenden oder zwischen menschlich und KI-geschriebenen Passagen wechseln. In diesen Fällen beschreibt eine einfache Mensch-oder-KI-Bezeichnung das Dokument nicht sehr gut. Die nützlichere Frage ist, wie viel des Textes KI-generiert zu sein scheint.
Hybrides Schreiben ist besonders relevant in der Bildung, wo die akzeptable KI-Nutzung je nach Aufgabe variieren kann. Ein Schüler könnte KI verwenden, um bei einer Einleitung zu helfen, einen schwierigen Absatz umzuschreiben oder einen Schluss zu verfassen, während er den Rest selbst schreibt. Eine Mensch-oder-KI-Bezeichnung auf Dokumentenebene kann diese Unterschiede nicht erfassen.
Wir haben Winston 5.0 an 5.000 englischen Dokumenten getestet, die sowohl menschliche als auch KI-Texte enthielten. Der Satz umfasste sieben Mischmuster, darunter menschlicher Text gefolgt von KI-Text, KI-Text gefolgt von menschlichem Text, abwechselnde Abschnitte und KI-geschriebene Einleitungen, Mittelabsätze und Schlüsse.
Bei 5.000 gemischten Dokumenten lagen 99,0 % der Schätzungen von Winston innerhalb von 20 Prozentpunkten des tatsächlichen KI-geschriebenen Anteils. Die durchschnittliche Differenz betrug 2,15 Prozentpunkte.
Um dies in den Kontext zu setzen: Wenn ein Dokument zu 50 % KI-geschrieben wäre, würde eine Differenz von 2,15 Punkten eine Schätzung von etwa 48 % oder 52 % bedeuten. Die Einzelergebnisse variierten, aber 4.885 Schätzungen (97,7 %) lagen innerhalb von 10 Prozentpunkten der tatsächlichen Mischung.
Bei gemischten Dokumenten schätzt Winston den gesamten menschlich geschriebenen Anteil und hebt einzelne Sätze hervor, die eher KI-generiert oder menschlich geschrieben erscheinen.
Im obigen Beispiel wurden die beiden KI-geschriebenen Eröffnungssätze als wahrscheinlich KI markiert und die vier menschlich geschriebenen Sätze als menschlich hervorgehoben. Die Satzansicht gibt dem Prüfer spezifische Passagen zur Untersuchung zusammen mit der früheren Arbeit des Schülers, den Aufgabenregeln und der Dokumentenhistorie.
Die Evaluierung platzierte KI-geschriebenes Material in verschiedenen Teilen des Dokuments. Über die sieben Mischmuster hinweg reichte der Anteil der Schätzungen innerhalb von 20 Prozentpunkten des tatsächlichen KI-geschriebenen Anteils von 96,3 % bis 99,8 %. Dieser Bereich umfasste KI, die vor oder nach dem menschlichen Text, zwischen menschlichen Passagen oder in einer Einleitung, einem Mittelabsatz oder einem Schluss erschien. Das Ergebnis hing nicht davon ab, dass generierter Text an einem vorhersehbaren Ort erschien.
Endgültiges Urteil
Winston 5.0 klassifizierte 11.984 von 12.000 Dokumenten korrekt, darunter 5.993 von 6.000 menschlichen Texten und 5.991 von 6.000 KI-Texten. Es verzeichnete auch null falsch positive Ergebnisse bei allen 25.996 PERSUADE 2.0-Aufsätzen und klassifizierte jedes Dokument in unserer 8.697 Texte umfassenden Chicago Booth-Evaluierung korrekt.
KI-Schreiben wird sich ständig weiterentwickeln, daher werden wir Winston weiterhin gegen neue Modelle und neue Methoden zur Umschreibung generierter Texte testen. Basierend auf dieser Evaluierung und den standardisierten öffentlichen Benchmarks ist Winston 5.0 der genaueste KI-Detektor, den wir getestet haben.
