O Winston AI é agora o detector de IA mais preciso nos principais benchmarks públicos padronizados
O lançamento do Winston 5.0 marca um grande passo à frente na detecção de conteúdo por IA. Em uma avaliação interna realizada com 12.000 documentos em inglês, o Winston 5.0 alcançou 99,87 % de precisão geral, classificando corretamente 11.984 amostras com apenas 16 erros.
Também avaliamos o Winston 5.0 em benchmarks públicos estabelecidos. Os resultados para o PERSUADE 2.0, o benchmark DetectionAI de pesquisadores da University of Chicago Booth School of Business e o DetectRL-X estão incluídos abaixo. Juntos, esses benchmarks testam o Winston em redações de estudantes, diversos domínios de escrita e resultados de IA de múltiplos modelos atuais.
Principais resultados
- O Winston reconheceu corretamente 99,88 % da escrita humana, com apenas sete falsos positivos entre 6.000 documentos, ou aproximadamente um falso alerta para cada 857 documentos humanos.
- O Winston identificou 99,85 % da escrita gerada por IA, detectando corretamente 5.991 de 6.000 documentos produzidos por 20 modelos de IA atuais.
- Doze dos 20 geradores de IA foram detectados com 100 % de precisão. Mesmo o resultado individual mais baixo foi de 99,36 %.
- No benchmark público padronizado PERSUADE 2.0, o Winston reconheceu corretamente todas as 25.996 redações de estudantes como humanas, com zero falsos positivos.
- No benchmark DetectionAI da University of Chicago Booth, o Winston classificou corretamente todos os 8.697 documentos, sem falsos positivos ou falsos negativos.
- No DetectRL-X, o Winston detectou 15.598 de 15.599 documentos de IA (99,99 %), reconheceu 97,08 % dos documentos humanos e alcançou 98,54 % de precisão geral em 31.196 textos.
Estes resultados abrangem o modelo de língua inglesa do Winston 5.0. O modelo multilíngue ainda não foi lançado e será adicionado em breve.
Desempenho em benchmarks públicos padronizados
Nossa avaliação de 12.000 documentos mostra como o Winston 5.0 se comporta em um conjunto de testes equilibrado. Os benchmarks públicos adicionam outra verificação útil: eles mostram se o mesmo desempenho se mantém em conjuntos de dados criados para pesquisa acadêmica e disponíveis para inspeção de terceiros.
Concluímos as avaliações no PERSUADE 2.0, no DetectionAI da University of Chicago Booth School of Business e na porção em inglês do DetectRL-X.
| Benchmark | Textos humanos | Textos de IA | Precisão humana | Recall de IA | Precisão geral |
|---|---|---|---|---|---|
| PERSUADE 2.0 | 25,996 | Nenhum | 100.00% | Não se aplica | Não comparável* |
| Chicago Booth DetectionAI | 1,747 | 6,950 | 100.00% | 100.00% | 100.00% |
| DetectRL-X | 15,597 | 15,599 | 97.08% | 99.99% | 98.54% |
*O PERSUADE 2.0 contém apenas escrita humana, portanto, mede falsos positivos em vez de precisão geral equilibrada ou detecção de IA.
PERSUADE 2.0: zero falsos positivos em 25.996 redações de estudantes
PERSUADE 2.0 é um corpus público de redações argumentativas escritas por estudantes dos EUA do 6º ao 12º ano. O Winston classificou cada redação como humana. Não houve falsos positivos em todos os 25.996 documentos.
As pontuações não ficaram próximas do limite de classificação de 0,5. A pontuação média de IA foi de 0,0027, e a pontuação no percentil 99 foi de 0,0170. O Winston também alcançou 100 % de precisão humana em todos os grupos demográficos incluídos no corpus, abrangendo nível escolar, gênero, raça e etnia, desvantagem econômica e status de deficiência.
Benchmark da University of Chicago Booth: 100 % de precisão em 8.697 documentos
O benchmark DetectionAI foi criado pelos pesquisadores Alex Imas e Brian Jabarian na University of Chicago Booth School of Business. Ele contém escrita humana e de IA extraída de seis tipos de conteúdo: romances, notícias, currículos, blogs, avaliações da Amazon e avaliações de restaurantes. A avaliação excluiu 1.371 documentos que ficaram abaixo do mínimo de 500 caracteres do Winston, restando 8.697 textos para pontuação.
O Winston classificou cada documento corretamente. Todos os 1.747 textos humanos foram reconhecidos como humanos, e todos os 6.950 textos de IA foram detectados como IA. Isso resultou em 100 % de precisão, 100 % de recall de IA e 100 % de especificidade humana, sem falsos positivos ou falsos negativos.
| Resultado | Escrita humana | Escrita de IA |
|---|---|---|
| Documentos testados | 1,747 | 6,950 |
| Classificado corretamente | 1,747 | 6,950 |
| Classificado incorretamente | 0 | 0 |
| Precisão | 100.00% | 100.00% |
| Pontuação média de IA | 0.0026 | 0.9994 |
As pontuações não se concentraram perto do limite de classificação de 0,5 do Winston. A pontuação de IA mais alta atribuída a qualquer documento humano foi de 0,2158. A pontuação mais baixa atribuída a um documento de IA foi de 0,8633. Mesmo os dois casos mais próximos permaneceram, portanto, no lado correto do limite, com uma lacuna considerável entre eles.
Os 6.950 documentos de IA abrangeram quatro modelos da Anthropic, Google e OpenAI. O Winston registrou 100 % de detecção para cada um deles:
| Gerador de IA | Documentos | Taxa de detecção |
|---|---|---|
| Claude Sonnet 4 | 1,752 | 100.00% |
| Claude Opus 4 | 1,742 | 100.00% |
| Gemini 2.0 Flash | 1,728 | 100.00% |
| GPT-4.1 | 1,728 | 100.00% |
A precisão também foi de 100 % em cada um dos seis domínios de conteúdo. O conjunto testado incluiu 5.000 trechos de romances, 1.427 textos de notícias, 968 currículos, 579 postagens de blog, 436 avaliações da Amazon e 287 avaliações de restaurantes. Isso torna o resultado mais amplo do que um teste construído em torno de apenas um estilo de escrita ou um único provedor de IA.
DetectRL-X: 99,99 % da escrita de IA detectada
O DetectRL-X é um benchmark independente público construído a partir de pares de textos humanos e de IA. O arquivo de origem continha 31.200 textos em inglês. Quatro ficaram abaixo do mínimo de 500 caracteres do Winston e foram excluídos antes da pontuação, restando 31.196 documentos abrangendo escrita acadêmica, romances, notícias, conteúdo de SEO, texto geral da web e escrita no estilo Wikipedia. Os textos de IA vieram do DeepSeek V3, GPT-4o, Qwen Max e Gemini 2.5 Flash.
O Winston alcançou 98,54 % de precisão geral. Detectou 15.598 dos 15.599 documentos de IA, perdendo apenas um. Do lado humano, reconheceu corretamente 15.142 de 15.597 documentos.
| Medida | Resultado |
|---|---|
| Documentos testados | 31,196 |
| Precisão geral | 98.54% |
| Documentos de IA detectados | 15.598 de 15.599 (99,99 %) |
| Documentos humanos reconhecidos | 15.142 de 15.597 (97,08 %) |
| AUROC | 0.9983 |
A precisão excedeu 99 % em quatro dos seis domínios, e o recall de IA em todo o conjunto foi de 99,99 %. Os resultados variaram mais em textos humanos da web e de SEO, o que nos fornece uma área específica para trabalhar.
Veja a diferença em diversos tipos de escrita do mundo real
Testamos mais do que apenas redações. A avaliação abrangeu dez tipos de escrita humana e resultados de 20 modelos de IA atuais.
Escrita humana permaneceu humana
Os 6.000 documentos humanos incluíram redações universitárias, livros, artigos de notícias, discursos políticos, avaliações de filmes, postagens no Reddit, entradas da Wikipedia, poesia, receitas e escrita médica. O Winston classificou corretamente cada documento em sete dessas dez categorias.
Apenas sete documentos humanos foram sinalizados incorretamente em todo o conjunto. Três vieram da categoria médica, dois eram poemas e dois eram receitas. Todas as 600 redações universitárias foram corretamente reconhecidas como humanas, assim como todos os 600 textos de notícias, 600 postagens no Reddit, 600 entradas da Wikipedia, 600 avaliações de filmes, 600 textos políticos e 600 trechos de livros.
Testar vários tipos de escrita humana reduz a chance de que uma categoria fácil esteja impulsionando o resultado geral, e recebemos uma taxa de 0 % de falsos positivos nas categorias de escrita mais comuns em inglês.
Escrita de IA de modelos atuais foi detectada de forma consistente
A porção de IA continha 6.000 documentos produzidos por 20 geradores da OpenAI, Anthropic, Google, xAI, DeepSeek, Mistral e Qwen. O Winston detectou corretamente 5.991 deles.
Doze dos 20 geradores tiveram um resultado de detecção perfeito: Claude Sonnet 4.6, Claude Sonnet 5, Gemini 3.5 Flash, Gemini 3.5 Flash-Lite, GPT-4o, GPT-5.6 Luna, GPT-5.6 Terra, Mistral Nemo, Qwen 3.7 Flash, Qwen 3.7 Plus, Qwen 3.8 27B e Qwen 3.8 Max. Mesmo o resultado mais baixo, para o Grok 4.5, foi de 99,36 %, com 312 de 314 documentos detectados corretamente.
Documentos mais longos produziram resultados ainda mais fortes
Cada documento na avaliação continha pelo menos 500 caracteres. Em todo o conjunto completo, a precisão foi de 99,87 %. Esse valor aumentou para 99,98 % entre os 5.369 documentos com pelo menos 2.000 caracteres.
O Winston classificou corretamente todos os 3.358 documentos contendo pelo menos 3.000 caracteres.
O resultado é consistente em tipos de escrita muito diferentes: o Winston identifica a produção atual de IA enquanto deixa o trabalho humano genuíno esmagadoramente intocado.
Por que a precisão e os falsos positivos importam na sala de aula
Para um professor, um resultado incorreto cria trabalho imediatamente.
Quando uma redação genuína é sinalizada como IA, o professor precisa interromper a correção, revisar tarefas anteriores, verificar o histórico do documento, falar com o aluno e, às vezes, envolver pais ou administradores.
O aluno também pode sentir que seu trabalho e honestidade foram questionados antes mesmo de qualquer conversa começar.
A escrita gerada por IA que não é detectada cria um problema diferente. Se uma tarefa gerada for classificada como humana, um professor pode corrigir e fornecer feedback detalhado sobre um trabalho que não reflete a compreensão do aluno. Com o tempo, isso torna mais difícil saber quem desenvolveu as habilidades necessárias e quem precisa de suporte adicional.
A avaliação do Winston 5.0 produziu sete falsos positivos entre 6.000 documentos humanos e nove falsos negativos entre 6.000 documentos de IA. Esses resultados importam em conjunto. Um detector precisa identificar o trabalho gerado por IA enquanto permanece altamente cauteloso com a escrita humana autêntica.
Falsos positivos criam investigações extras para os professores, enquanto a escrita de IA não detectada torna o detector menos útil. Ambos os erros foram raros nesta avaliação, permitindo que os professores se concentrem no pequeno número de envios que merecem um olhar mais atento.
Como testamos o Winston 5.0
Nossa avaliação interna utilizou 12.000 documentos em inglês: 6.000 escritos por pessoas e 6.000 gerados por IA. O Winston tem um requisito mínimo de entrada de 500 caracteres, correspondendo ao limite usado no aplicativo. Trechos mais curtos fornecem pouco contexto linguístico para uma avaliação confiável em nível de documento, portanto, esse requisito foi aplicado antes da pontuação. O teste, portanto, focou na escrita em nível de documento, em vez de frases isoladas ou respostas curtas.
O conjunto humano continha 600 documentos de cada uma das dez categorias: livros, redações universitárias, escrita médica, avaliações de filmes, notícias, poesia, discursos políticos, receitas, postagens no Reddit e artigos da Wikipedia. O uso do mesmo número de cada categoria evitou que uma fonte grande dominasse o resultado.
O conjunto de IA abrangeu 20 geradores da OpenAI, Anthropic, Google, xAI, DeepSeek, Mistral e Qwen. Os tamanhos das amostras variaram de 140 a 330 documentos por gerador, com 15 dos 20 geradores contribuindo com entre 310 e 330. Essa dispersão nos permitiu medir se o desempenho permanecia estável em diferentes famílias de modelos, em vez de depender dos padrões de escrita de um único chatbot.
Como cada documento foi pontuado
O Winston produziu uma pontuação humana e uma pontuação de IA para cada documento. A classe com a pontuação mais alta tornou-se o resultado previsto. Um documento com uma pontuação de IA acima de 0,5 foi classificado como IA, enquanto uma pontuação abaixo de 0,5 foi classificada como humana.
O resumo da pontuação abaixo mostra como os resultados se separaram nitidamente. Documentos humanos tiveram uma pontuação média de IA de 0,0016, e 99 % pontuaram abaixo de 0,0503. Documentos de IA tiveram uma pontuação média de IA de 0,9972 e uma mediana de 1,0.
Como os erros de classificação foram contados
Cada resultado se enquadra em um de quatro grupos:
- Humano identificado corretamente: Escrita humana classificada como humana.
- Falso positivo: Escrita humana classificada incorretamente como IA.
- Falso negativo: Escrita gerada por IA classificada incorretamente como humana.
- IA identificada corretamente: Escrita gerada por IA classificada como IA.
A matriz de confusão apresenta todos os quatro resultados juntos. A leitura de cada linha mostra como os documentos naquela classe conhecida foram categorizados pelo Winston.
Escrita Mista/Híbrida: medindo a IA dentro de documentos humanos
A escrita é cada vez mais híbrida. Uma pessoa pode redigir a maior parte de um documento, usar IA para uma introdução ou conclusão, ou alternar entre trechos escritos por humanos e por IA. Nesses casos, um simples rótulo de humano ou IA não descreve muito bem o documento. A pergunta mais útil é quanto do texto parece ser gerado por IA.
A escrita híbrida é especialmente relevante na educação, onde o uso aceitável de IA pode variar conforme a tarefa. Um aluno pode usar a IA para ajudar em uma introdução, reescrever um parágrafo difícil ou completar uma conclusão enquanto escreve o restante por conta própria. Um rótulo de humano ou IA em nível de documento não consegue capturar essas diferenças.
Testamos o Winston 5.0 em 5.000 documentos em inglês contendo escrita humana e de IA. O conjunto abrangeu sete padrões de mistura, incluindo texto humano seguido por texto de IA, texto de IA seguido por texto humano, seções alternadas e introduções, parágrafos intermediários e conclusões escritos por IA.
Em 5.000 documentos mistos, 99,0 % das estimativas do Winston ficaram dentro de 20 pontos percentuais da verdadeira parcela escrita por IA. A diferença média foi de 2,15 pontos percentuais.
Para contextualizar, se um documento fosse 50 % escrito por IA, uma diferença de 2,15 pontos significaria uma estimativa de aproximadamente 48 % ou 52 %. Os resultados individuais variaram, mas 4.885 estimativas (97,7 %) ficaram dentro de 10 pontos percentuais da mistura real.
Para documentos mistos, o Winston estima a parcela geral escrita por humanos e destaca frases individuais que parecem mais geradas por IA ou escritas por humanos.
No exemplo acima, as duas frases de abertura escritas por IA foram marcadas como provável IA e as quatro frases escritas por humanos foram destacadas como humanas. A visualização por frases fornece ao revisor trechos específicos para examinar junto com o trabalho anterior do aluno, as regras da tarefa e o histórico do documento.
A avaliação colocou material escrito por IA em diferentes partes do documento. Nos sete padrões de mistura, a parcela de estimativas dentro de 20 pontos percentuais da verdadeira parcela escrita por IA variou de 96,3 % a 99,8 %. Essa faixa abrangeu a IA aparecendo antes ou depois da escrita humana, entre trechos humanos, ou em uma introdução, parágrafo intermediário ou conclusão. O resultado não dependeu do texto gerado aparecer em um único lugar previsível.
Veredito final
O Winston 5.0 classificou corretamente 11.984 de 12.000 documentos, incluindo 5.993 de 6.000 textos humanos e 5.991 de 6.000 textos de IA. Também registrou zero falsos positivos em todas as 25.996 redações do PERSUADE 2.0 e classificou corretamente cada documento em nossa avaliação de 8.697 textos da Chicago Booth.
A escrita por IA continuará mudando, por isso continuaremos testando o Winston contra novos modelos e novos métodos de reescrita de texto gerado. Com base nesta avaliação e nos benchmarks públicos padronizados, o Winston 5.0 é o detector de IA mais preciso que já testamos.
