隆重推出 Winston 5.0：AI 检测准确率的重大突破

Winston AI 现已成为领先标准化公开基准测试中最准确的 AI 检测器

Winston 5.0 的发布标志着 AI 内容检测领域迈出了重要一步。在对 12,000 份英文文档进行的内部留存评估中，Winston 5.0 实现了 99.87% 的总体准确率，在 11,984 个样本中分类正确，仅出现 16 次错误。

我们还根据已建立的公开基准对 Winston 5.0 进行了评估。下文包含了 PERSUADE 2.0、芝加哥大学布斯商学院研究人员开发的 DetectionAI 基准以及 DetectRL-X 的测试结果。这些基准共同测试了 Winston 处理学生论文、多个写作领域以及来自当前多个模型的 AI 输出的能力。

关键结果

• Winston 正确识别了 99.88% 的人类写作内容，在 6,000 份文档中仅出现 7 例误报（即“假阳性”，指将人类作品误判为 AI 生成），大约每 857 份人类文档中仅出现一次误报。
• Winston 识别了 99.85% 的 AI 生成内容，在由 20 种当前 AI 模型生成的 6,000 份文档中，正确检测出 5,991 份。
• 在 20 个 AI 生成器中，有 12 个的检测准确率达到了 100%。即使是最低的单项结果也达到了 99.36%。
• 在标准化的公开 PERSUADE 2.0 基准测试中，Winston 正确地将所有 25,996 篇学生论文识别为人类创作，误报率为零。
• 在芝加哥大学布斯商学院的 DetectionAI 基准测试中，Winston 正确分类了全部 8,697 份文档，未出现任何误报或漏报（即“假阴性”，指将 AI 作品误判为人类创作）。
• 在 DetectRL-X 测试中，Winston 在 15,599 份 AI 文档中检测出 15,598 份 (99.99%)，识别了 97.08% 的人类文档，并在 31,196 篇文本中实现了 98.54% 的总体准确率。

这些结果涵盖了 Winston 5.0 的英文模型。多语言模型尚未发布，将于近期添加。

标准化公开基准测试的表现

我们对 12,000 份文档的评估展示了 Winston 5.0 在平衡测试集上的表现。公开基准测试则提供了另一项有用的验证：它们显示了同样的性能是否能延续到为学术研究而创建并可供他人检查的数据集中。

我们已完成对 PERSUADE 2.0、芝加哥大学布斯商学院的 DetectionAI 以及 DetectRL-X 英文部分的评估。

*PERSUADE 2.0 仅包含人类写作，因此它衡量的是误报率，而非平衡的总体准确率或 AI 检测能力。

PERSUADE 2.0：25,996 篇学生论文中误报率为零

PERSUADE 2.0 是一个公开的语料库，包含由美国 6-12 年级学生撰写的议论文。Winston 将每篇论文都归类为人类创作。在所有 25,996 份文档中，没有出现任何误报。

评分结果并未接近 0.5 的分类阈值。平均 AI 分数为 0.0027，第 99 百分位分数为 0.0170。Winston 在语料库包含的每个受众特征群体中也实现了 100% 的人类识别准确率，涵盖了年级、性别、种族和民族、经济弱势以及残疾状况。

芝加哥大学布斯商学院基准测试：8,697 份文档准确率达 100%

DetectionAI 基准测试 由芝加哥大学布斯商学院的研究人员 Alex Imas 和 Brian Jabarian 创建。它包含从六种内容类型中提取的人类和 AI 写作：小说、新闻、简历、博客、亚马逊评论和餐厅评论。评估排除了 1,371 份低于 Winston 500 字符最低限制的文档，剩下 8,697 篇文本进行评分。

Winston 对每份文档的分类均正确无误。所有 1,747 份人类文本均被识别为人类创作，所有 6,950 份 AI 文本均被检测为 AI 生成。这实现了 100% 的准确率、100% 的 AI 召回率和 100% 的人类特异性，且没有出现任何误报或漏报。

分数并未聚集在 Winston 0.5 的分类阈值附近。分配给人类文档的最高 AI 分数为 0.2158。分配给 AI 文档的最低分数为 0.8633。因此，即使是两个最接近的案例也保持在阈值的正确一侧，且两者之间存在相当大的差距。

6,950 份 AI 文档涵盖了来自 Anthropic、Google 和 OpenAI 的四个模型。Winston 对每一个模型都记录了 100% 的检测率：

在六个内容领域中的每一个领域，准确率也都是 100%。测试集包括 5,000 篇小说片段、1,427 篇新闻文本、968 份简历、579 篇博客文章、436 条亚马逊评论和 287 条餐厅评论。这使得结果比围绕单一写作风格或单一 AI 供应商构建的测试更具广泛性。

DetectRL-X：检测到 99.99% 的 AI 写作

DetectRL-X 是一个公开的独立基准测试，由成对的人类和 AI 文本构建而成。源文件包含 31,200 篇英文文本。其中四篇低于 Winston 500 字符的最低限制，在评分前被排除，剩下 31,196 份文档，涵盖学术写作、小说、新闻、SEO 内容、通用网页文本和维基百科风格的写作。AI 文本来自 DeepSeek V3、GPT-4o、Qwen Max 和 Gemini 2.5 Flash。

Winston 实现了 98.54% 的总体准确率。它在 15,599 份 AI 文档中检测出 15,598 份，仅漏掉一份。在人类方面，它在 15,597 份文档中正确识别了 15,142 份。

在六个领域中的四个领域，准确率超过了 99%，全集的 AI 召回率为 99.99%。在人类网页和 SEO 文本上的结果差异较大，这为我们提供了一个需要改进的特定领域。

见证真实写作场景下的差异

我们测试的不止是论文。评估涵盖了十种人类写作以及来自 20 种当前 AI 模型的输出。

人类写作保持本色

6,000 份人类文档包括大学论文、书籍、新闻文章、政治演讲、影评、Reddit 帖子、维基百科条目、诗歌、食谱和医学写作。Winston 在这十个类别中的七个类别中正确分类了每一份文档。

在整个数据集中，只有七份人类文档被错误标记。其中三份来自医学类别，两份是诗歌，两份是食谱。所有 600 篇大学论文均被正确识别为人类创作，所有 600 篇新闻文本、600 条 Reddit 帖子、600 个维基百科条目、600 篇影评、600 篇政治文本和 600 篇书籍摘录也是如此。

测试多种人类写作类型降低了单一简单类别主导整体结果的可能性，并且我们在英语中最常见的写作类别上获得了 0% 的误报率。

来自当前模型的 AI 写作被一致检测到

AI 部分包含由来自 OpenAI、Anthropic、Google、xAI、DeepSeek、Mistral 和 Qwen 的 20 个生成器生成的 6,000 份文档。Winston 正确检测了其中的 5,991 份。

在 20 个生成器中，有 12 个获得了完美的检测结果：Claude Sonnet 4.6、Claude Sonnet 5、Gemini 3.5 Flash、Gemini 3.5 Flash-Lite、GPT-4o、GPT-5.6 Luna、GPT-5.6 Terra、Mistral Nemo、Qwen 3.7 Flash、Qwen 3.7 Plus、Qwen 3.8 27B 和 Qwen 3.8 Max。即使是最低的结果（Grok 4.5），准确率也达到了 99.36%，在 314 份文档中正确检测出 312 份。

较长的文档产生了更出色的结果

评估中的每份文档至少包含 500 个字符。在完整数据集中，准确率为 99.87%。在至少包含 2,000 个字符的 5,369 份文档中，这一比例增加到 99.98%。

Winston 正确分类了所有包含至少 3,000 个字符的 3,358 份文档。

结果在截然不同的写作类型中保持一致：Winston 能够识别当前的 AI 输出，同时几乎完全不会误伤真实的人类作品。

为什么准确率和误报在课堂中至关重要

对于教师来说，一个错误的结果会立即增加工作量。

当一篇真实的论文被标记为 AI 时，教师必须暂停评分、查看之前的作业、检查文档历史记录、与学生交谈，有时还需要家长或管理人员介入。

在任何对话开始之前，学生也可能会觉得他们的努力和诚实受到了质疑。

未被检测到的 AI 生成写作则会产生不同的问题。如果一份生成的作业被归类为人类创作，教师可能会对不能反映学生理解能力的作业进行评分并提供详细反馈。随着时间的推移，这将使得了解谁掌握了所需技能以及谁需要额外支持变得更加困难。

Winston 5.0 的评估在 6,000 份人类文档中产生了 7 例误报，在 6,000 份 AI 文档中产生了 9 例漏报。这些结果共同发挥作用。检测器需要识别 AI 生成的作品，同时对真实的人类写作保持高度谨慎。

误报会给教师带来额外的调查工作，而漏掉的 AI 写作则会降低检测器的效用。在这项评估中，这两种错误都非常罕见，这使得教师能够专注于少数值得进一步查看的提交内容。

我们如何测试 Winston 5.0

我们的内部评估使用了 12,000 份英文文档：6,000 份由人类撰写，6,000 份由 AI 生成。Winston 的最低输入要求为 500 个字符，与应用程序中使用的限制一致。较短的段落提供的语言上下文太少，无法进行可靠的文档级评估，因此在评分前应用了此要求。因此，测试侧重于文档级的写作，而非孤立的句子或简短的回答。

人类数据集包含来自十个类别的各 600 份文档：书籍、大学论文、医学写作、影评、新闻、诗歌、政治演讲、食谱、Reddit 帖子和维基百科文章。每个类别使用相同数量的样本，防止了单一大型来源主导结果。

AI 数据集涵盖了来自 OpenAI、Anthropic、Google、xAI、DeepSeek、Mistral 和 Qwen 的 20 个生成器。每个生成器的样本量从 140 到 330 份文档不等，其中 20 个生成器中有 15 个提供了 310 到 330 份文档。这种分布使我们能够衡量性能在不同模型系列中是否保持稳定，而不是依赖于单个聊天机器人的写作模式。

每份文档是如何评分的

Winston 为每份文档生成一个人类分数和一个 AI 分数。分数较高的类别成为预测结果。AI 分数高于 0.5 的文档被归类为 AI，而分数低于 0.5 的文档被归类为人类。

下方的分数摘要显示了结果的分离程度。人类文档的 AI 分数中位数为 0.0016，99% 的分数低于 0.0503。AI 文档的 AI 分数平均值为 0.9972，中位数为 1.0。

分类错误是如何计算的

每个结果都属于以下四组之一：

• 正确识别的人类：被归类为人类的人类写作。
• 误报（假阳性）：被错误归类为 AI 的人类写作。
• 漏报（假阴性）：被错误归类为人类的 AI 生成写作。
• 正确识别的 AI：被归类为 AI 的 AI 生成写作。

混淆矩阵将所有四种结果一起呈现。阅读每一行可以显示该已知类别的文档是如何被 Winston 分类的。

混合/混合写作：衡量人类文档中的 AI 成分

写作正日益趋向混合化。一个人可能会起草文档的大部分内容，使用 AI 编写开头或结尾，或者在人类编写和 AI 编写的段落之间切换。在这些情况下，简单的人类或 AI 标签并不能很好地描述文档。更有用的问题是，文本中有多少比例看起来是 AI 生成的。

混合写作在教育领域尤为相关，因为可接受的 AI 使用范围因作业而异。学生可能会使用 AI 辅助开头，重写一个困难的段落，或者完成结尾，而其余部分则由自己撰写。文档级的人类或 AI 标签无法捕捉到这些差异。

我们在 5,000 份包含人类和 AI 写作的英文文档上测试了 Winston 5.0。该数据集涵盖了七种混合模式，包括人类文本后接 AI 文本、AI 文本后接人类文本、交替章节，以及 AI 编写的开头、中间段落和结尾。

在 5,000 份混合文档中，Winston 99.0% 的估计值与真实的 AI 编写比例相差在 20 个百分点以内。平均差异为 2.15 个百分点。

结合背景来看，如果一份文档有 50% 是 AI 编写的，2.15 个百分点的差异意味着估计值大约在 48% 或 52% 左右。虽然个人结果有所不同，但 4,885 个估计值 (97.7%) 与真实混合比例的误差在 10 个百分点以内。

对于混合文档，Winston 会估计总体人类编写的比例，并突出显示看起来更像 AI 生成或人类撰写的单个句子。

在上面的示例中，两个 AI 编写的开头句子被标记为“可能是 AI”，四个人类编写的句子被突出显示为“人类”。句子视图为审阅者提供了特定的段落，以便与学生之前的作品、作业规则和文档历史记录一起检查。

评估将 AI 编写的材料放在文档的不同部分。在七种混合模式中，与真实 AI 编写比例误差在 20 个百分点以内的估计值比例从 96.3% 到 99.8% 不等。该范围涵盖了 AI 出现在人类写作之前或之后、出现在人类段落之间，或者出现在开头、中间段落或结尾的情况。结果并不依赖于生成文本出现在某个可预测的位置。

最终结论

Winston 5.0 正确分类了 12,000 份文档中的 11,984 份，包括 6,000 份人类文本中的 5,993 份和 6,000 份 AI 文本中的 5,991 份。它还在所有 25,996 篇 PERSUADE 2.0 论文中记录了零误报，并在我们 8,697 篇文本的芝加哥大学布斯商学院评估中正确分类了每一份文档。

AI 写作将不断变化，因此我们将继续针对新模型和重写生成文本的新方法测试 Winston。基于本次评估和标准化的公开基准测试，Winston 5.0 是我们测试过的最准确的 AI 检测器。