Présentation de Winston 5.0 : une avancée majeure dans la précision de la détection d’IA

Winston AI est désormais le détecteur d’IA le plus précis selon les principaux tests de référence publics standardisés

Le lancement de Winston 5.0 marque une étape importante dans la détection de contenus générés par IA. Lors d’une évaluation interne réalisée sur 12 000 documents en anglais, Winston 5.0 a atteint une précision globale de 99,87 %, classant correctement 11 984 échantillons avec seulement 16 erreurs.

Nous avons également évalué Winston 5.0 sur des tests de référence publics reconnus. Les résultats pour PERSUADE 2.0, le benchmark DetectionAI des chercheurs de la Booth School of Business de l’Université de Chicago, et DetectRL-X sont inclus ci-dessous. Ensemble, ces tests évaluent Winston sur des dissertations d’étudiants, plusieurs domaines d’écriture et des contenus produits par de multiples modèles d’IA actuels.

Résultats clés

• Winston a correctement reconnu 99,88 % des textes écrits par des humains, avec seulement sept faux positifs sur 6 000 documents, soit environ un faux signalement pour 857 documents humains.
• Winston a identifié 99,85 % des textes générés par IA, détectant correctement 5 991 des 6 000 documents produits par 20 modèles d’IA actuels.
• Douze des 20 générateurs d’IA ont été détectés avec une précision de 100 %. Même le résultat individuel le plus bas était de 99,36 %.
• Sur le test de référence public standardisé PERSUADE 2.0, Winston a correctement reconnu les 25 996 dissertations d’étudiants comme étant d’origine humaine, avec zéro faux positif.
• Sur le benchmark DetectionAI de l’Université de Chicago Booth, Winston a correctement classé l’ensemble des 8 697 documents, sans aucun faux positif ni faux négatif.
• Sur DetectRL-X, Winston a détecté 15 598 des 15 599 documents d’IA (99,99 %), a reconnu 97,08 % des documents humains et a atteint une précision globale de 98,54 % sur 31 196 textes.

Ces résultats concernent le modèle de langue anglaise de Winston 5.0. Le modèle multilingue n’a pas encore été publié et sera ajouté prochainement.

Performance sur les tests de référence publics standardisés

Notre évaluation de 12 000 documents montre comment Winston 5.0 se comporte sur un ensemble de tests équilibré. Les benchmarks publics apportent une vérification supplémentaire utile : ils montrent si les mêmes performances se maintiennent sur des ensembles de données créés pour la recherche académique et accessibles à tous pour examen.

Nous avons terminé les évaluations sur PERSUADE 2.0, DetectionAI de la Booth School of Business de l’Université de Chicago, et la partie anglaise de DetectRL-X.

*PERSUADE 2.0 contient uniquement des écrits humains, il mesure donc les faux positifs plutôt qu’une précision globale équilibrée ou la détection d’IA.

PERSUADE 2.0 : zéro faux positif sur 25 996 dissertations d’étudiants

PERSUADE 2.0 est un corpus public de dissertations argumentatives rédigées par des étudiants américains de la 6e à la 12e année. Winston a classé chaque dissertation comme humaine. Il n’y a eu aucun faux positif sur l’ensemble des 25 996 documents.

Les scores n’étaient pas proches du seuil de classification de 0,5. Le score d’IA moyen était de 0,0027, et le score du 99e percentile était de 0,0170. Winston a également atteint une précision humaine de 100 % dans chaque groupe démographique inclus dans le corpus, couvrant le niveau scolaire, le sexe, la race et l’origine ethnique, le désavantage économique et le statut de handicap.

Benchmark de l’Université de Chicago Booth : 100 % de précision sur 8 697 documents

Le benchmark DetectionAI a été créé par les chercheurs Alex Imas et Brian Jabarian de la Booth School of Business de l’Université de Chicago. Il contient des écrits humains et d’IA tirés de six types de contenus : romans, actualités, CV, blogs, avis Amazon et avis de restaurants. L’évaluation a exclu 1 371 documents qui étaient inférieurs au minimum de 500 caractères de Winston, laissant 8 697 textes pour la notation.

Winston a classé chaque document correctement. Les 1 747 textes humains ont tous été reconnus comme humains, et les 6 950 textes d’IA ont tous été détectés comme IA. Cela a produit une précision de 100 %, un rappel d’IA de 100 % et une spécificité humaine de 100 %, sans aucun faux positif ni faux négatif.

Les scores n’étaient pas regroupés près du seuil de classification de 0,5 de Winston. Le score d’IA le plus élevé attribué à un document humain était de 0,2158. Le score le plus bas attribué à un document d’IA était de 0,8633. Même les deux cas les plus proches sont donc restés du bon côté du seuil, avec un écart important entre eux.

Les 6 950 documents d’IA couvraient quatre modèles d’Anthropic, Google et OpenAI. Winston a enregistré une détection de 100 % pour chacun d’eux :

La précision était également de 100 % dans chacun des six domaines de contenu. L’ensemble testé comprenait 5 000 passages de romans, 1 427 textes d’actualité, 968 CV, 579 articles de blog, 436 avis Amazon et 287 avis de restaurants. Cela rend le résultat plus large qu’un test construit autour d’un seul style d’écriture ou d’un seul fournisseur d’IA.

DetectRL-X : 99,99 % des écrits d’IA détectés

DetectRL-X est un benchmark public indépendant construit à partir de textes appariés humains et d’IA. Le fichier source contenait 31 200 textes en anglais. Quatre étaient inférieurs au minimum de 500 caractères de Winston et ont été exclus avant la notation, laissant 31 196 documents couvrant l’écriture académique, les romans, les actualités, le contenu SEO, le texte web général et l’écriture de style Wikipédia. Les textes d’IA provenaient de DeepSeek V3, GPT-4o, Qwen Max et Gemini 2.5 Flash.

Winston a atteint une précision globale de 98,54 %. Il a détecté 15 598 des 15 599 documents d’IA, n’en manquant qu’un seul. Du côté humain, il a correctement reconnu 15 142 des 15 597 documents.

La précision a dépassé 99 % dans quatre des six domaines, et le rappel d’IA sur l’ensemble complet était de 99,99 %. Les résultats ont davantage varié sur les textes web et SEO humains, ce qui nous donne un domaine de travail spécifique.

Constatez la différence sur des écrits du monde réel

Nous avons testé plus que des dissertations. L’évaluation a porté sur dix types d’écrits humains et des contenus produits par 20 modèles d’IA actuels.

L’écriture humaine est restée humaine

Les 6 000 documents humains comprenaient des dissertations universitaires, des livres, des articles de presse, des discours politiques, des critiques de films, des publications Reddit, des entrées Wikipédia, de la poésie, des recettes et des écrits médicaux. Winston a correctement classé chaque document dans sept de ces dix catégories.

Seulement sept documents humains ont été incorrectement signalés sur l’ensemble complet. Trois provenaient de la catégorie médicale, deux étaient des poèmes et deux étaient des recettes. Les 600 dissertations universitaires ont toutes été correctement reconnues comme humaines, tout comme les 600 textes d’actualité, 600 publications Reddit, 600 entrées Wikipédia, 600 critiques de films, 600 textes politiques et 600 extraits de livres.

Tester plusieurs types d’écrits humains réduit la probabilité qu’une catégorie facile ne fausse le résultat global, et nous avons obtenu un taux de faux positifs de 0 % sur les catégories d’écriture les plus courantes en anglais.

Les écrits d’IA des modèles actuels ont été systématiquement détectés

La partie IA contenait 6 000 documents produits par 20 générateurs d’OpenAI, Anthropic, Google, xAI, DeepSeek, Mistral et Qwen. Winston en a correctement détecté 5 991.

Douze des 20 générateurs ont obtenu un résultat de détection parfait : Claude Sonnet 4.6, Claude Sonnet 5, Gemini 3.5 Flash, Gemini 3.5 Flash-Lite, GPT-4o, GPT-5.6 Luna, GPT-5.6 Terra, Mistral Nemo, Qwen 3.7 Flash, Qwen 3.7 Plus, Qwen 3.8 27B et Qwen 3.8 Max. Même le résultat le plus bas, pour Grok 4.5, était de 99,36 %, avec 312 documents détectés sur 314.

Les documents plus longs ont produit des résultats encore plus probants

Chaque document de l’évaluation contenait au moins 500 caractères. Sur l’ensemble complet, la précision était de 99,87 %. Ce chiffre est passé à 99,98 % parmi les 5 369 documents d’au moins 2 000 caractères.

Winston a correctement classé l’ensemble des 3 358 documents contenant au moins 3 000 caractères.

Le résultat est cohérent sur des types d’écrits très différents : Winston identifie les contenus produits par les IA actuelles tout en laissant les travaux humains authentiques pratiquement intacts.

Pourquoi la précision et les faux positifs sont importants en classe

Pour un enseignant, un résultat incorrect crée immédiatement un surcroît de travail.

Lorsqu’une dissertation authentique est signalée comme IA, l’enseignant doit interrompre la correction, examiner les travaux précédents, vérifier l’historique du document, s’entretenir avec l’élève et parfois impliquer les parents ou l’administration.

L’élève peut également avoir le sentiment que son travail et son honnêteté ont été remis en question avant même que toute conversation ne commence.

Les écrits générés par IA qui ne sont pas détectés créent un problème différent. Si un devoir généré est classé comme humain, un enseignant peut noter et fournir des commentaires détaillés sur un travail qui ne reflète pas la compréhension de l’élève. À terme, cela rend plus difficile de savoir qui a développé les compétences requises et qui a besoin d’un soutien supplémentaire.

L’évaluation de Winston 5.0 a produit sept faux positifs parmi 6 000 documents humains et neuf faux négatifs parmi 6 000 documents d’IA. Ces résultats sont importants ensemble. Un détecteur doit identifier les travaux générés par IA tout en restant extrêmement prudent avec les écrits humains authentiques.

Les faux positifs créent des enquêtes supplémentaires pour les enseignants, tandis que les écrits d’IA non détectés rendent le détecteur moins utile. Ces deux types d’erreurs ont été rares dans cette évaluation, permettant aux enseignants de se concentrer sur le petit nombre de soumissions qui méritent un examen plus approfondi.

Comment nous avons testé Winston 5.0

Notre évaluation interne a porté sur 12 000 documents en anglais : 6 000 écrits par des personnes et 6 000 générés par IA. Winston impose une exigence minimale de 500 caractères, correspondant à la limite utilisée dans l’application. Les passages plus courts fournissent trop peu de contexte linguistique pour une évaluation fiable au niveau du document ; cette exigence a donc été appliquée avant la notation. Le test s’est donc concentré sur l’écriture au niveau du document plutôt que sur des phrases isolées ou des réponses courtes.

L’ensemble humain contenait 600 documents pour chacune des dix catégories : livres, dissertations universitaires, écrits médicaux, critiques de films, actualités, poésie, discours politiques, recettes, publications Reddit et articles Wikipédia. L’utilisation du même nombre pour chaque catégorie a permis d’éviter qu’une source importante ne domine le résultat.

L’ensemble IA couvrait 20 générateurs d’OpenAI, Anthropic, Google, xAI, DeepSeek, Mistral et Qwen. La taille des échantillons variait de 140 à 330 documents par générateur, 15 des 20 générateurs contribuant entre 310 et 330 documents. Cette répartition nous a permis de mesurer si les performances restaient stables à travers différentes familles de modèles plutôt que de dépendre des schémas d’écriture d’un seul chatbot.

Comment chaque document a été noté

Winston a produit un score humain et un score d’IA pour chaque document. La classe ayant le score le plus élevé est devenue le résultat prédit. Un document avec un score d’IA supérieur à 0,5 a été classé comme IA, tandis qu’un score inférieur à 0,5 a été classé comme humain.

Le résumé des scores ci-dessous montre à quel point les résultats sont nettement séparés. Les documents humains avaient un score d’IA médian de 0,0016, et 99 % ont obtenu un score inférieur à 0,0503. Les documents d’IA avaient un score d’IA moyen de 0,9972 et une médiane de 1,0.

Comment les erreurs de classification ont été comptabilisées

Chaque résultat appartient à l’un des quatre groupes suivants :

• Humain correctement identifié : Écriture humaine classée comme humaine.
• Faux positif : Écriture humaine incorrectement classée comme IA.
• Faux négatif : Écriture générée par IA incorrectement classée comme humaine.
• IA correctement identifiée : Écriture générée par IA classée comme IA.

La matrice de confusion présente les quatre résultats ensemble. La lecture de chaque ligne montre comment les documents de cette classe connue ont été catégorisés par Winston.

Écriture mixte/hybride : mesurer l’IA au sein des documents humains

L’écriture est de plus en plus hybride. Une personne peut rédiger la majeure partie d’un document, utiliser l’IA pour une introduction ou une conclusion, ou alterner entre des passages écrits par l’humain et par l’IA. Dans ces cas, une simple étiquette « humain » ou « IA » ne décrit pas très bien le document. La question la plus utile est de savoir quelle proportion du texte semble être générée par IA.

L’écriture hybride est particulièrement pertinente dans l’éducation, où l’utilisation acceptable de l’IA peut varier selon le devoir. Un étudiant peut utiliser l’IA pour l’aider dans une introduction, réécrire un paragraphe difficile ou terminer une conclusion tout en rédigeant le reste lui-même. Une étiquette « humain » ou « IA » au niveau du document ne peut pas capturer ces nuances.

Nous avons testé Winston 5.0 sur 5 000 documents en anglais contenant à la fois des écrits humains et d’IA. L’ensemble couvrait sept schémas de mélange, notamment du texte humain suivi de texte d’IA, du texte d’IA suivi de texte humain, des sections alternées, ainsi que des introductions, des paragraphes centraux et des conclusions écrits par IA.

Sur 5 000 documents mixtes, 99,0 % des estimations de Winston se situaient à moins de 20 points de pourcentage de la part réelle écrite par IA. La différence moyenne était de 2,15 points de pourcentage.

Pour mettre cela en contexte, si un document était écrit à 50 % par une IA, une différence de 2,15 points signifierait une estimation d’environ 48 % ou 52 %. Les résultats individuels ont varié, mais 4 885 estimations (97,7 %) se situaient à moins de 10 points de pourcentage du mélange réel.

Pour les documents mixtes, Winston estime la part globale écrite par l’humain et met en évidence les phrases individuelles qui semblent davantage générées par IA ou écrites par l’humain.

Dans l’exemple ci-dessus, les deux phrases d’ouverture écrites par IA ont été marquées comme probablement d’IA et les quatre phrases écrites par l’humain ont été surlignées comme humaines. La vue par phrase donne au réviseur des passages spécifiques à examiner parallèlement aux travaux antérieurs de l’élève, aux règles du devoir et à l’historique du document.

L’évaluation a placé le contenu écrit par IA dans différentes parties du document. Sur les sept schémas de mélange, la part des estimations à moins de 20 points de pourcentage de la part réelle écrite par IA variait de 96,3 % à 99,8 %. Cette plage couvrait l’IA apparaissant avant ou après l’écriture humaine, entre des passages humains, ou dans une introduction, un paragraphe central ou une conclusion. Le résultat ne dépendait pas de l’apparition du texte généré à un endroit prévisible.

Verdict final

Winston 5.0 a correctement classé 11 984 documents sur 12 000, dont 5 993 des 6 000 textes humains et 5 991 des 6 000 textes d’IA. Il a également enregistré zéro faux positif sur l’ensemble des 25 996 dissertations PERSUADE 2.0 et a correctement classé chaque document lors de notre évaluation Chicago Booth de 8 697 textes.

L’écriture par IA continuera d’évoluer, c’est pourquoi nous continuerons à tester Winston par rapport aux nouveaux modèles et aux nouvelles méthodes de réécriture de textes générés. Sur la base de cette évaluation et des tests de référence publics standardisés, Winston 5.0 est le détecteur d’IA le plus précis que nous ayons testé.