Transparência total: Divulgando os conjuntos de dados e os resultados dos testes da nossa melhor taxa de precisão da categoria

A IA está se movendo em um ritmo incrivelmente rápido. À medida que a criação de conteúdo gerado por IA se prolifera, também aumenta a necessidade de mecanismos robustos para discernir entre a escrita sintética e a humana. Consequentemente, testemunhamos o surgimento de detectores de conteúdo de IA.

Ficou óbvio que nem todos os detectores de conteúdo são criados da mesma forma. Uma profusão de soluções inundou o mercado, cada uma divulgando suas próprias taxas de precisão autoproclamadas. Essas estatísticas, embora promissoras na superfície, geralmente carecem da transparência e do exame minucioso necessários para inspirar verdadeira confiança em sua eficácia.

Nosso objetivo é permanecer na vanguarda para ajudar instituições e empresas a manter a integridade, e a melhor maneira de conseguir isso é oferecer a maior taxa de precisão do setor.

Este artigo aborda em profundidade o mais novo modelo de detecção de IA em inglês da Winston AI e a terceira versão principal (V3.0), com o codinome “Luka”.

Nosso objetivo é acabar com a opacidade que envolve as taxas de precisão na detecção de conteúdo. Nossa dedicação à transparência é um testemunho de nossa crença de que os usuários merecem mais do que apenas promessas de eficácia – eles merecem uma ferramenta apoiada por dados transparentes.

Um novo padrão de transparência para a detecção de IA

Ao contrário da maioria das outras ferramentas de detecção de conteúdo de IA, a Winston AI se compromete com a divulgação completa de sua pesquisa de taxa de precisão. Desenvolvemos um conjunto de dados abrangente de 10.000 textos, incluindo 5.000 textos humanos e 5.000 textos gerados por IA, gerados com os modelos de linguagem grandes mais conhecidos, incluindo ChatGPT (GPT 3.5 Turbo, GPT 4, GPT 4 Turbo), Claude V1 e Claude V2. O conteúdo desses dados também era variado, incluindo artigos de notícias, blogs, ensaios, poesias, teses e muito mais. Esse conjunto de dados, rigorosamente validado por especialistas humanos, estabelece um novo precedente de abertura no campo.

A Winston AI deu um passo ousado para estabelecer um novo padrão de abertura. Entre a miríade de ferramentas de detecção de escrita de IA disponíveis, nenhuma até agora divulgou detalhes de suas taxas de precisão. O sigilo que envolve essas estatísticas cruciais não inspira confiança nem inspira fé nos usuários que buscam uma solução confiável de detecção de conteúdo.

Portanto, apresentamos um conjunto de dados abrangente que consiste em 10.000 textos, dos quais forneceremos detalhes abaixo.

Acreditamos que esse lançamento nos ajudará a construir a confiança de nossos usuários enquanto nossa equipe trabalha para resolver um problema crescente na detecção de conteúdo gerado por IA.

Materiais e metodologia

Um dos principais elementos para a criação de uma ferramenta precisa é a qualidade dos dados. Acreditamos que esse é o ponto central do desafio de criar uma solução precisa. O conjunto de dados usado para testar nossa precisão é “aleatório” e nenhum dos dados usados para fins de teste foi usado para treinar nosso modelo em primeiro lugar.

Nossa equipe criou um extenso conjunto de dados contendo 5.000 textos escritos por humanos selecionados aleatoriamente de diversos gêneros, incluindo:

• Ensaios e teses
• Ficção de fãs
• Discursos
• Documentos médicos
• Críticas de filmes
• Blogs / artigos de notícias
• Poemas
• Receitas
• Reddit
• Sobrecarga de pilha
• Wikipédia

Também é fundamental reconhecer que a confiabilidade do conteúdo criado após 2021 é amplamente questionável. Devido ao possível aprimoramento pela IA, o conteúdo utilizado foi obtido antes de 2021. Todos os textos usados continham um mínimo de 600 caracteres, pois textos mais curtos não podem ser classificados de forma confiável como de IA ou humanos. É também por isso que nosso Detector de IA não fornece avaliações sobre textos com menos de 600 caracteres.

Processo usado para coletar dados escritos por humanos

Nossa equipe se esforçou ao máximo para evitar o uso de dados pré-existentes de fontes externas para garantir a qualidade do conjunto de dados. Nossa observação foi que a grande maioria dos grandes conjuntos de dados populares disponíveis on-line (The Pile, Common Crawl etc.) e os conjuntos de dados de referência dos concorrentes não eram “limpos”. Após uma inspeção mais minuciosa desses grandes conjuntos de dados, nossa equipe descobriu que eles continham vários textos que não estavam formatados corretamente, que eram ilegíveis, que continham vários caracteres irreconhecíveis ou que tinham textos em vários idiomas contendo caracteres estrangeiros (sílico, chinês, hangu, árabe).

Também garantimos que todos os dados que usamos para treinamento fossem anteriores a 2021. Há relatos de que várias fontes confiáveis, incluindo a Wikipedia, foram atualizadas com contribuições geradas por IA¹.

Certificamo-nos de que todo o conteúdo do nosso conjunto de dados estava codificado corretamente (UTF-8), para evitar qualquer ocorrência de mal-entendido dos dados fornecidos ao modelo.

Cada entrada de dados foi verificada, codificada corretamente, legível e não continha nenhum idioma ou caractere estrangeiro.

Processo usado para coletar dados sintéticos/gerados por IA

Em paralelo, criamos um conjunto de dados gerado por IA de 5.000 textos gerados com a maioria das principais ferramentas de escrita de IA com uma API disponível publicamente no momento do teste, incluindo GPT 3.5 Turbo, GPT 4, GPT 4 Turbo, Claude V1 e Claude V2.

Alguns elementos-chave para garantir que nossa taxa de precisão seja válida:

• Para cada LLM, vários avisos e instruções em vários campos foram usados para variar os resultados e espelhar o conteúdo escrito por humanos.
• Várias configurações de temperatura foram usadas para gerar uma ampla variedade de estilos de dados sintéticos.

Por fim, nossa equipe teve que examinar cada texto que foi incluído em nosso conjunto de dados de 10.000 para garantir que o conteúdo fosse aceitável. Você pode encontrar o conjunto de dados completo usado para nossa mais recente avaliação da taxa de precisão aqui. Para sua conveniência, ele está disponível nos formatos .csv e .jsonl.

O que Winston AI considera como Escrita Sintética? (e o que é a escrita humana?)

Há vários casos de uso com os quais temos nos deparado. Isso é o que a Winston AI acredita ser conteúdo de IA e o que não é:

• Escrito e editado por humanos: Conteúdo humano
• Escrita por humanos e correções feitas com o Grammarly (legado): Conteúdo humano
• Pesquisa e esboço de IA, escrito por humanos: Conteúdo humano
• Esboço gerado por IA, escrito por um ser humano e, em seguida, reescrito por IA: conteúdo de IA
• Escrito por humanos e reescrito com uma ferramenta de escrita de IA: Conteúdo de IA
• Gerado com IA e editado por um ser humano: Conteúdo de IA
• Gerado com IA e reescrito por um “Humanizador de IA”: Conteúdo de IA
• Gerado ou editado com o Grammarly Go: Conteúdo de IA
• Gerado com IA sem nenhum ajuste humano: Conteúdo de IA

Para obter informações mais detalhadas sobre como a Winston AI avalia o conteúdo que foi revisado com o Grammarly, recomendamos nosso artigo sobre esse tópico específico.

Métricas de avaliação

Para que uma avaliação seja considerada bem-sucedida, nosso software deve determinar a probabilidade de o conteúdo ser escrito por humanos ou gerado por IA com uma probabilidade superior a 50%. Para esclarecer, se um trecho de texto for gerado por humanos, ele precisará de uma pontuação humana de 51% ou mais para que a avaliação seja considerada precisa. Uma pontuação de 50% ou menos indicaria uma avaliação malsucedida. Por outro lado, para o conteúdo gerado por IA, uma avaliação bem-sucedida requer uma pontuação humana de 49% ou menos. Essencialmente, a avaliação depende de uma probabilidade majoritária – acima de 50% para conteúdo escrito por humanos e abaixo de 50% para material gerado por IA.

Portanto, há três avaliações que nossa organização realiza:

1. Pontuação de precisão da detecção de IA: Descreve nossa capacidade de avaliar o conteúdo gerado por IA com uma porcentagem probabilística.
2. Pontuação de precisão da detecção humana: Descreve nossa capacidade de avaliar o conteúdo gerado por humanos com uma porcentagem probabilística.
3. Pontuação geral: Nossa média ponderada para determinar o conteúdo gerado por IA e o conteúdo humano.

Resultados e margem de erro

Nossas pontuações de precisão foram obtidas com a execução de nosso conjunto de dados principal de 10.000 textos fornecidos acima por meio de nosso modelo de detecção de IA proprietário.

Para nossa pontuação de precisão de detecção de IA, a solução da Winston AI foi capaz de detectar conteúdo gerado por IA com uma precisão de 99,98%.

Quanto à nossa pontuação de precisão de detecção humana, nossos testes extensivos revelaram que a IA da Winston pode identificar texto gerado por humanos com uma taxa de precisão de 99,50%.

No geral, isso significa que nossa média ponderada (pontuação geral) é de 99,74%. Com um tamanho de amostra tão grande, nossa margem de erro é muito pequena, de apenas 0,0998%.

Principais pontuações de precisão do LLM

A tabela acima descreve nossa precisão na detecção de modelos de linguagem grandes e populares específicos.

Pontuações de precisão do conteúdo escrito por humanos

A tabela acima descreve nossa precisão na detecção de tipos específicos de conteúdo escrito por humanos (detecção de humanos).

Comparação de versões

A tabela acima descreve o progresso de nossas pontuações de precisão desde nossa última grande atualização.

Matriz de confusão

O gráfico acima mostra a Matriz de Confusão do nosso mais recente modelo de detecção de IA.

Conclusão

A Winston AI tomou medidas sem precedentes para trazer transparência à questão crucial, mas opaca, das taxas de precisão na detecção de conteúdo de IA. Ao divulgar todos os detalhes e dados por trás de nossa taxa de precisão de 99,74%, líder do setor, esperamos inspirar uma nova cultura de abertura e integridade. Os usuários merecem conhecer os verdadeiros recursos das ferramentas que utilizam. À medida que o conteúdo de IA se prolifera, a necessidade de ferramentas confiáveis para discernir o conteúdo sintético só aumenta. Temos o compromisso de permanecer na vanguarda para ajudar organizações e indivíduos a manter a integridade. Se nossa transparência fornecer um modelo a ser seguido por outros, teremos conseguido dar um passo em direção a um futuro no qual os usuários poderão confiar plenamente nas taxas de precisão prometidas pelas soluções de detecção de IA.

Referências

1. Claire Woodcock. A IA está destruindo a Wikipédia. Vice.com, 2023. https://www.vice.com/en/article/v7bdba/ai-is-tearing-wikipedia-apart. Acessado em 5 de dezembro de 2023. ↩︎

PERGUNTAS FREQUENTES