简而言之,答案是肯定的——但并不完全可靠。Turnitin 已于 2023 年 4 月向超过 210 万名教师部署了 AI 检测功能,且该功能自那时起已有所改进。但多年的实际应用暴露了真实的缺陷:误判、针对特定写作类型的盲点,以及学生访问壁垒,这使得受该工具影响最大的人群完全处于信息真空状态。

以下是您真正需要了解的关于 Turnitin AI 检测器的信息,包括其不足之处,以及为什么越来越多的教师和学生转而使用 Winston AI

Turnitin 的 AI 检测原理

Turnitin 的 AI 写作检测已集成到其“相似性报告”(Similarity Report)中——这是教师们已在使用的抄袭检查界面。当学生提交论文时,Turnitin 会自动通过 AI 写作模型运行该论文,并生成一个百分比评分,指示其认为文档中有多少内容是由 AI 生成的。

该模型在两个层面上运行:

  • 文档层面: 标记其认为由 AI 编写的文本总体百分比
  • 句子层面: 突出显示其识别为 AI 生成的特定句子,以便教师能够准确看到标记位置

根据 Turnitin 自身文档,该模型经过训练可检测由包括 ChatGPT 在内的大型语言模型生成的文本,并随着时间的推移不断更新,以跟上新型 AI 写作工具(包括 AI 内容绕过工具)的发展步伐。

Turnitin 的 AI 检测器准确率如何?

从表面上看,Turnitin 自身公布的数据似乎很合理。其误报率说明指出:

  • 文档级误报率: 对于 AI 编写内容占 20% 或以上的文档,误报率低于 1%
  • 句子级误报率: 约为 4%——这意味着大约每 25 个被标记的句子中,就有 1 个实际上可能是由人类编写的

句子级误报在混合文档中人类写作与 AI 写作的过渡处最为常见。Turnitin 指出,54% 的情况下,被误标的句子紧邻真实的 AI 写作内容——这有助于解释这种模式,但并不能消除风险。

这种风险的影响比听起来更大。对 AI 生成学术作品的错误指控可能会引发纪律处分程序,对学生的档案产生严重后果。Turnitin 本身也建议教师将 AI 评分视为对话的起点,而非定论。

该工具的准确性问题最初在 2023 年《华盛顿邮报》的一项调查中公开,当时五名高中生在 16 个原创、AI 生成和混合写作样本中测试了 Turnitin。该检测器在一半以上的时间里都是错误的——仅正确识别了 6 个样本,误判了 3 个(包括标记了一名学生完全原创文章的部分内容),其余 7 个仅获得部分评分。

自那时起,该工具已有所改进。但根本性的矛盾依然存在:评分是概率性的,而非确定性的,且 Turnitin 自身的指导意见是,它绝不应作为学术诚信决策的唯一依据。

Turnitin 的 AI 检测器无法检测的内容

Turnitin 对其模型失效的情况保持透明。根据其官方常见问题解答,该检测器无法可靠地处理以下内容:

  • 非散文类写作: 诗歌、剧本和代码被标记为不可靠
  • 短篇及非常规写作: 项目符号、表格和带注释的参考书目超出了该模型的设计处理范围
  • 不支持的语言: 以不支持的语言提交的内容将完全不被处理
  • 混合写作过渡: 人类与 AI 章节之间的边界是误报最常发生的地方

还有一个更广泛的问题,目前尚无工具能完全解决:随着 AI 模型的演进并生成更自然、更多样化的文本,检测模型所依赖的统计特征变得越来越难以读取。这是一场军备竞赛,AI 写作质量与检测准确率之间的差距往往会随着时间的推移而缩小。

学生访问权限问题

以下是 Turnitin AI 检测最容易被忽视的局限性之一:学生无法使用它。

Turnitin 的 AI 写作检测器是一项机构工具,仅供教育工作者通过其学校或大学的授权订阅使用。学生在提交作品前无法自行运行检测。他们无法了解自己的论文将如何评分,无法检查自己写的句子是否会被标记,也无法主动应对潜在的误报。

这造成了一种根本上的不平等局面。教师可以获得详细的 AI 报告,而学生则得不到任何信息——直到他们可能因学术不端行为被召集参加会议。

Winston AI 则不同。任何人都可以使用它——学生、教师、作家、编辑、出版商。学生可以在提交作品前通过 Winston AI 运行自己的作品,查看其写作内容的逐句分析,并在作品送达教师手中之前解决任何疑虑。这种透明度是 Turnitin 根本无法提供的。

Winston AI 与 Turnitin:关键区别

Turnitin温斯顿人工智能
访问权限仅限教师/机构任何人
学生自查没有
访问模式付费机构授权免费及付费方案
句子级报告
改写 AI 检测有限公司
非散文支持有限公司覆盖范围更广
误报透明度句子级约 4%(自报数据)经过训练以最大限度减少误报

那么 Turnitin 能检测出 ChatGPT 生成的 AI 内容吗?

可以——但存在明显的错误率、明确的盲点,且被评估的学生完全无法访问。

Turnitin 的工具作为众多信号之一是有用的。普渡大学的指南建议教师谨慎使用该工具,不要将其作为学术诚信的唯一衡量标准。这才是正确的定位:它可以引发对话,但不应终结对话。

对于任何需要更准确、更易于访问的 AI 检测器的人——无论是检查自己作品的学生、想要获得第二意见的教师,还是审核内容的出版商——Winston AI 都能提供更佳的结果和完全的透明度。

Turnitin 会标记 AI 编写的内容吗?

是的。Turnitin 的 AI 写作检测器已集成到相似性报告中,并会标记 AI 检测到的写作总体百分比以及其识别为 AI 生成的特定句子。然而,评分是概率性的——Turnitin 本身建议使用它来启动与学生的对话,而不是得出结论。

如果对 ChatGPT 的内容进行改写,Turnitin 还能检测出来吗?

部分可以。Turnitin 的模型针对 AI 生成的文本(包括改写内容)进行了训练,但改写会降低检测准确率。AI 人格化工具可以进一步掩盖 AI 写作信号。Winston AI 经过专门训练,可检测经过改写和人格化的 AI 内容。

Turnitin AI 检测的误报率是多少?

根据 Turnitin 自身公布的数据,句子级误报率约为 4%——这意味着大约每 25 个被标记的句子中,就有 1 个可能是由人类编写的。对于 AI 内容至少占 20% 的论文,文档级误报率低于 1%。

学生可以使用 Turnitin 的 AI 检测器检查自己的作品吗?

不可以。Turnitin 的 AI 写作检测仅供拥有机构授权的教师使用。学生在提交作品前无法自行运行检测。Winston AI 向所有人开放,包括希望在提交前检查自己写作内容的学生。

Winston AI 比 Turnitin 更准确吗?

Winston AI 专为 AI 内容检测而设计,重点在于最大限度地减少误报——鉴于错误标记学生作品可能带来的学术后果,这是一个关键因素。它还能检测经过改写和人格化的 AI 内容,支持更广泛的内容类型,并且任何人都可以访问,而不仅仅是机构。

Thierry Lavergne

Winston AI 联合创始人兼首席技术官(CTO)。拥有超过15年的软件开发经验,专注于人工智能和深度学习领域。在 Winston AI,我负责技术愿景的制定,重点开发创新的人工智能检测解决方案。我热爱撰写与人工智能和科技相关的内容。