完全透明：公布准确率最高的数据集和测试结果

人工智能的发展速度快得令人难以置信。随着人工智能生成的内容越来越多，我们也需要建立强大的机制来辨别合成写作和人工写作。因此，我们见证了人工智能内容检测器的兴起。

显而易见，并非所有的内容检测器都是一样的。市场上充斥着大量解决方案，每种解决方案都在自我标榜准确率。这些统计数字虽然表面上很有希望，但往往缺乏必要的透明度和审查，无法激发人们对其功效的真正信心。

我们的目标是始终站在帮助机构和企业保持诚信的最前沿，而实现这一目标的最佳方式就是提供业内最高的准确率。

本文将深入探讨温斯顿人工智能公司最新的人工智能检测模型和第三个主要版本（V3.0），代号为 “Luka”。

我们的目标是揭开内容检测准确率的神秘面纱。我们对透明度的执着证明了我们的信念：用户需要的不仅仅是有效的承诺，他们更需要有透明数据支持的工具。

人工智能检测透明度的新标准

与其他大多数人工智能内容检测工具不同，Winston AI 承诺完全公开其准确率研究。我们开发了一个包含 10,000 篇文本的综合数据集，其中包括 5,000 篇人类文本和 5,000 篇人工智能生成的文本，这些文本是由大多数已知的大型语言模型生成的，包括 ChatGPT（GPT 3.5 Turbo、GPT 4、GPT 4 Turbo）、Claude V1 和 Claude V2。这些数据的内容也多种多样，包括新闻报道、博客、散文、诗歌、论文等。该数据集经过人类专家的严格验证，开创了该领域开放性的新先例。

温斯顿人工智能（Winston AI）在建立新的开放标准方面迈出了大胆的一步。在现有的无数人工智能写作检测工具中，迄今为止还没有一款工具公开其准确率的任何细节。对这些关键数据的保密，并不能给寻求可靠内容检测解决方案的用户带来信心。

因此，我们提供了一个由 10,000 个文本组成的综合数据集，下文将详细介绍该数据集。

我们相信，在我们的团队努力解决检测人工智能生成的内容这一日益严重的问题时，这一版本将帮助我们与用户建立信任。

材料和方法

构建精确工具的关键因素之一是数据质量。我们认为，这正是构建精确解决方案所面临挑战的核心所在。用于测试准确性的数据集是 “随机 “的，没有任何用于测试的数据首先用于训练我们的模型。

我们的团队建立了一个广泛的数据集，其中包含 5,000 篇随机选取的不同体裁的人类书面文本，包括

• 论文
• 粉丝小说
• 演讲
• 医疗文件
• 电影评论
• 博客/新闻文章
• 诗歌
• 食谱
• Reddit
• 堆栈溢出
• 维基百科

同样至关重要的是，我们必须承认，2021 年之后创建的内容的可信度在很大程度上是值得怀疑的。由于人工智能的潜在增强功能，所依赖的内容均来自 2021 年之前。所有使用的文本至少包含 600 个字符，因为较短的文本长度无法可靠地分类为人工智能或人类。这也是我们的人工智能检测器不对少于 600 个字符的文本进行评估的原因。

用于收集人类书面数据的程序

我们的团队竭力避免使用外部来源的已有数据，以确保数据集的质量。据我们观察，网上绝大多数流行的大型数据集（The Pile、Common Crawl 等）以及竞争对手提供的基准数据集都不 “干净”。在对这些大型数据集进行更仔细的检查后，我们的团队发现这些数据集中有一些文本格式不正确、无法阅读、包含一些无法识别的字符，或者有一些包含外来字符（西里尔文、中文、汉古文、阿拉伯文）的各种语言文本。

我们还确保用于训练的任何数据的日期都在 2021 年之前。有报道称，包括维基百科在内的一些著名资料来源已经更新了由人工智能生成的内容。¹.

我们确保数据集中的所有内容都经过正确编码（UTF-8），以避免出现对模型数据的误解。

每个数据输入都经过验证，编码正确，可读，不包含任何外语和字符。

用于收集人工智能生成/合成数据的流程

与此同时，我们还建立了一个人工智能生成的数据集，其中包含 5,000 篇文本，这些文本是使用测试时公开 API 的大多数主要人工智能写作工具生成的，包括 GPT 3.5 Turbo、GPT 4、GPT 4 Turbo、Claude V1 和 Claude V2。

确保准确率的几个关键因素：

• 对于每个 LLM，都在多个字段中使用了不同的提示和指令，以改变输出结果并反映人类的书面内容。
• 使用多种温度设置来生成各种合成数据样式。

最后，我们的团队必须对进入 10,000 个数据集的每段文字进行审核，以确保内容是可接受的。您可以在这里找到用于我们最新准确率评估的完整数据集。为方便起见，该数据集有 .csv 和 .jsonl 两种格式。

温斯顿人工智能认为什么是合成写作？(什么是人类写作？）

我们遇到过几种使用案例。这就是温斯顿人工智能公司认为的人工智能内容和非人工智能内容：

• 人工撰写和编辑：人工内容
• 人工撰写，并使用 Grammarly（传统）进行修改：人工内容
• 人工智能研究和大纲，人类撰写：人工内容
• 由人工智能生成大纲，由人类撰写，然后由人工智能重新撰写：人工智能内容
• 人工撰写，再用人工智能写作工具改写：人工智能内容
• 由人工智能生成并由人工编辑：人工智能内容
• 由人工智能生成，并由 “人工智能人性化程序 “改写：人工智能内容
• 使用 Grammarly Go 生成或编辑：人工智能内容
• 由人工智能生成，无需人工调整：人工智能内容

有关 Winston AI 如何评估使用 Grammarly 修订过的内容的详细信息，我们推荐您阅读我们有关此特定主题的文章。

评估指标

我们的软件必须确定内容是人工撰写还是人工智能生成的可能性超过 50%，评估才算成功。要说明的是，如果一段文本是人工生成的，那么它需要获得 51% 或更高的人工评分，评估才会被认为是准确的。50% 或更低的分数则表示评估不成功。相反，对于人工智能生成的内容，成功的评估需要人工评分达到或低于 49%。从本质上讲，评估取决于多数概率–人类编写的内容高于 50%，人工智能生成的材料低于 50%。

因此，我们的组织开展了 3 项评估：

1. 人工智能检测准确率得分：概述我们以概率百分比评估人工智能生成内容的能力。
2. 人类检测准确率得分： 概述我们以概率百分比评估人为生成内容的能力。
3. 总分： 我们在确定人工智能生成的内容和人工内容时的加权平均值。

结果和误差幅度

我们的准确率得分是通过我们专有的人工智能检测模型运行上述 10,000 个文本的主要数据集得出的。

在人工智能检测准确率方面，Winston AI 的解决方案能够以99.98% 的准确率检测到人工智能生成的内容。

在人类检测准确率方面，我们的大量测试表明，Winston 人工智能识别人类生成文本的准确率高达99.50%。

总体而言，这意味着我们的加权平均值（总分）为99.74%。在如此大的样本量下，我们的误差率非常小，仅为0.0998%。

主要法律硕士准确率分数

上表概述了我们检测特定流行大型语言模型的准确性。

人工编写内容的准确性得分

上表概述了我们检测特定类型人工编写内容（人工检测）的准确性。

版本比较

上表概述了自上次重大更新以来我们的准确度得分的进展情况。

混淆矩阵

上图显示了我们最新人工智能检测模型的混淆矩阵。

结论

温斯顿人工智能公司（Winston AI）采取了前所未有的措施，将人工智能内容检测准确率这一关键但不透明的问题透明化。通过公布我们业界领先的 99.74% 准确率背后的全部细节和数据，我们希望激发一种新的开放和诚信文化。用户理应了解他们所使用工具的真实能力。随着人工智能内容的激增，人们越来越需要可靠的工具来辨别合成内容。我们致力于保持领先地位，帮助组织和个人维护诚信。如果我们的透明度能为其他公司提供效仿模板，那么我们就成功地迈出了一步，在未来，用户可以对人工智能检测解决方案所承诺的准确率充满信心。

参考资料

1. 克莱尔-伍德科克人工智能正在撕裂维基百科》。Vice.com，2023 年。https://www.vice.com/en/article/v7bdba/ai-is-tearing-wikipedia-apart。访问日期：2023 年 12 月 5 日。 ↩︎

常见问题