AI 只是一个花哨流行语的日子已经一去不复返了。它已成为日常生活的一部分。如今，学生、营销人员、开发人员和企业在工作流程中都会定期使用它。
从生成博客大纲和简化代码到自动化客户支持，AI 将长期存在。但并非所有闪光的东西都是金子。日益严重的 AI 幻觉威胁使得人们无法 100% 信任 AI 工具。
已经发生了多起 AI 系统生成虚假学术来源、期刊引用和错误出版详情的案例。医疗聊天机器人曾被发现以惊人的自信给出危险的健康指导。
随着现代 AI 以令人信服且类似人类的语气进行写作，这个问题已成为一个更大的担忧。当呈现的信息听起来精炼、权威且详尽时，检测其中的不准确之处就会变得很困难。
随着 AI 的采用正以闪电般的速度加速，这一点变得更加重要：
- 企业正在将 AI 整合到运营和内容工作流程中。许多网站对其内容中 AI 的参与发表免责声明，以确保透明度。
- 学生依靠 AI 工具进行作业、研究和更好的头脑风暴。
- 出版商正在网上扩大 AI 生成文章的规模。
- 开发人员每天都在使用 AI 编程助手。
- 消费者信任 AI 聊天机器人提供的建议和答案，并利用其减少处理常见查询的人力投入。
所有这些都使得核实和批判性思维变得不可或缺。
本文将帮助您了解 AI 幻觉、它们发生的原因、相关风险以及如何有效减少它们。
“AI 幻觉”是什么意思？
AI 幻觉发生在 AI 工具生成误导性、虚构或脱离现实的信息，却将其作为准确信息呈现时。像 ChatGPT、Claude、Gemini 等大型语言模型 (LLM) 并不像人类那样理解事实。
它们所做的只是根据训练的数据集预测最可能的单词序列。当模型缺乏足够的信息时，它们会生成听起来似乎合理的答案，但事实可能并不正确。AI 幻觉可以采取多种形式，包括：
- 虚构的事实
- 虚假的学术引用
- 不存在的 URL
- 对真实事件的错误总结
- 虚构的统计数据
- 编造的引言
- 虚假的产品规格
- 编造的法律先例
- 不准确的代码函数
如果您要求 AI 聊天机器人提供一份科学研究列表，它可能会发明可能并不存在的期刊名称、出版日期和 DOI 编号。
AI 幻觉的真实案例
AI 幻觉已在各行各业造成多起法律纠纷、经济损失和声誉损害。谷歌的聊天机器人在演示过程中出错后，其股价蒸发了 1,000 亿美元。以下是一些 AI 幻觉的真实案例。
1. 虚假法律引用
据 马里兰州律师协会称，一名马萨诸塞州律师因引用 AI 工具生成的“虚构案例”而被罚款 2,000 美元。
最终，该案件得到了处理，法官 Brian A. Davis 引用道：“律师使用 AI 来增强其专业知识本身并没有错，但他们必须保持律师的本色！核实他们在法律论证中主张的事实是维持法律标准的必要条件。”
此类实例看起来非常真实，足以通过初步审查。但深入挖掘后，这些引用被证明完全是虚构的。许多律师承认在没有妥善核实来源的情况下依赖 AI 工具。
2. 虚构的学术来源
以下期刊、作者和研究是 ChatGPT 给出的示例，但此类来源并不存在。使用它们只会损害您的学术造诣。
- 期刊 “Hernandez, P., & Gupta, R. (2015). Long-Term Effects of Intermittent Fasting on Metabolic Syndrome. International Journal of Preventive Medicine Research, 7(2), 134–148” 并不存在。
- 一项声称的引用 “Brown, L., Gupta, S., & Zhao, Y. (2020). Ethical Implications of Autonomous Learning Systems 出自 International Journal of Artificial Intelligence Ethics, 5(2), 101–118” 无法追踪。
- Williams, T. (2021). Neural Learning Patterns in Consumer Psychology. International Review of Behavioral AI, 12(2), 88–102. https://doi.org/10.5678/irbai.2021.12288 。该 DOI 链接无效。
- “World Health Data Council” (2024). Global AI Adoption in Emergency Medicine: Annual Review 2024” 不存在官方网站或出版档案。
- “Anderson, M. (2019). The Psychology of Digital Trust. Oxford Academic Press” 不存在 ISBN 或目录记录。
- 期刊 “Alvarez, D. et al. (2021). Effects of Fasted Walking on Long-Term Fat Oxidation in Obese Adults. International Journal of Metabolic Exercise Science, 15(1), 90–104” 并不存在。
3. 错误的医疗建议
医疗保健是 AI 幻觉风险最高的领域之一。一名 45 岁的男子在 根据 AI 聊天机器人的建议服用 HIV 暴露后预防 (PEP) 药物后，因情况危急被送往医院。
美国国家饮食失调协会 (NEDA) 关闭了其聊天机器人 Tessa，因为它开始提供减肥建议。社交媒体上提出了许多担忧，随后做出了这一决定，因为它只会给寻求饮食失调帮助的人带来麻烦。
4. 营销内容中的虚假统计数据
AI 生成的营销文章经常包含虚构的统计数据和未经证实的研究主张。一些常见的包括：
- Gartner 建议，到 2026 年，80% 的在线内容将由 AI 生成。此类报告并不存在。
- 谷歌对 AI 生成内容的排名比人工撰写的内容低 43%。没有任何知名网站或社交媒体平台能够核实这一说法。
- Z 世代用户每天滚动浏览 325 英尺的内容。虽然各网站都同意 Z 世代滚动浏览很多内容，但它们并未证实“325 英尺”的说法。
5. 编程幻觉
AI 编程助手也会对技术信息产生幻觉。从虚构 API、函数和框架功能到命令语法，AI 可以在几秒钟内发明出错误的代码。示例包括：
A. 该函数不存在，但仍被 ChatGPT 推荐
import pandas as pd
df = pd.read_csv_fast(“data.csv”)
B. React 并不提供名为 useFetchData 的内置 Hook。
const data = useFetchData(“/api/users”);
C. git rollback 不是有效的 Git 命令。
git rollback –safe
为什么 AI 模型会产生幻觉？
虽然 AI 工具具有令人印象深刻的能力，但它们并不像人类那样思考和推理。它们根据统计概率生成输出。以下是 AI 模型产生幻觉的原因。
1. 预测文本架构
大型语言模型被训练来预测序列中最可能的单词。假设如果模型看到短语“法国的首都是”，它将预测“巴黎”为统计上最可能的单词。
虽然这对于语言生成效果很好，但对于事实准确性却并非如此。AI 针对连贯性和流畅性进行了优化，而非真相核实。这就是为什么模型会生成听起来正确但实际上是错误的响应。
2. 训练数据的局限性
AI 系统从书籍、网站、文章、论坛和在线内容中收集的海量数据集中学习。而这些数据集同样容易出错。它们可能存在偏见，包含不完整的信息或低质量的数据。
如果训练数据存在冲突，模型可能会复制这些模式。此外，由于模型不是实时训练的，它们可能不知道最近发生的事件、新的研究或更新的法规。这可能会导致过时或错误的响应。
3. 缺乏实时核实
许多 AI 系统不会自动根据实时数据库或经过验证的来源对其输出进行事实核查。除非工具连接到外部搜索工具，否则 AI 模型将仅依赖于从训练数据中学习到的模式。这可能是断开的链接、错误的事实、虚假的总结，甚至是虚构的引用。
4. 提示词模糊性
提示词的质量显著影响幻觉风险。
如果您给出模糊的提示词，AI 将尝试填补空白。
例如：
“给我一些关于气候经济学的来源。”
此类指令增加了虚构引用的可能性。
更具体的提示词，例如：
“提供 2022 年以后发表的、带有有效 DOI 链接的、经过验证的同行评审气候经济学论文。”
将减少模糊性并鼓励更可靠的输出。
5. 总是要回答的压力
AI 系统被设计为保持乐于助人和对话性，并面临这种压力。因此，即使在不确定的情况下，模型也会尽力给出答案。AI 工具不会直接说不，而是尽力维持对话流。这种“不惜一切代价回答”的行为是产生幻觉的主要原因。
AI 幻觉危险吗？
AI 幻觉不仅仅是技术故障。在许多情况下，它们会产生现实世界的后果。
风险程度取决于 AI 输出的使用方式。
1. 学术风险
对于使用 AI 进行研究总结、引用生成和论文起草的学生来说，幻觉引用和虚构研究会产生重大学术风险。提交虚假引用可能导致学术处罚、作业不及格和信誉丧失。即使您无意作弊，盲目依赖 AI 输出也会导致不信任。为了遏制这种情况，大学正在鼓励更严格的核实做法。
2. 商业风险
企业使用 AI 进行市场研究、战略规划、客户报告甚至财务报告。幻觉信息不仅会损害企业声誉，还会导致误导性的市场洞察、虚假的竞争对手数据，并最终造成巨大损失。
3. 医疗和法律风险
在医疗和法律等领域，准确性是不可逾越的底线。错误的信息可能导致误诊、错误的法律指导，在某些情况下甚至可能致命。
4. SEO 和出版风险
虽然多个网站使用 AI 进行发布，但幻觉事实会产生严重的 SEO 风险。 谷歌的 EEAT 框架重视以下方面：
- 经验 (Experience)
- 专业知识 (Expertise)
- 权威性 (Authoritativeness)
- 可信度 (Trustworthiness)
如果您发布不准确的内容，从长远来看，这可能会导致跳出率增加、可信度降低和声誉受损。这就是为什么负责任的 AI 辅助出版需要强大的事实核查工作流程。
如何检测 AI 幻觉
如果您仅依靠事实核查员来检测幻觉，那么您的内容在多个方面都会面临失败。以下是您识别不准确的 AI 生成信息的方法。
1. 核实每一个来源
永远不要假设 AI 生成的引用是真实的。对以下内容进行彻底检查：
- URL
- 出版物名称
- 作者身份
- DOI 编号
- 引用格式
- 出版日期
打开链接查看是否存在内容。您还需要在 Google 学术、官方期刊、政府网站和大学数据库中独立搜索论文或文章。为了双重保险，最好：
- 通过研究报告核实统计数据
- 向医疗专业人员确认医疗建议
- 通过官方数据库检查法律引用
- 使用官方开发人员资源验证编程文档
如果来源无法独立核实，最好不要使用它。
2. 警惕过度自信
幻觉内容听起来总是比经过验证的来源中发布的内容更自信。AI 系统可能会以以下方式呈现虚假信息：
- 详细的解释
- 技术术语
- 专业的语气
- 自信的语言
讽刺的是，高度精炼的响应预示着更大的幻觉风险，因为用户会降低怀疑态度。当 AI 工具给出绝对化的陈述、提供没有引用的统计数据以及缺乏来源透明度时，请务必小心。
4. 使用 AI 事实核查工具
专门的事实核查工具可以帮助识别幻觉主张。然而，自动化事实核查员应仅作为辅助，而不能取代人类的判断。
像 Winston AI 这样的平台会分析生成内容的事实可靠性。我们将一篇由 ChatGPT 生成的、包含验证事实和虚构信息的文章添加到 Winston AI 中，看看它是否能发现错误。
Winston AI 的事实核查员将事实分为三类：
- 有支持 (Supported)
- 不确定 (Unsure)
- 已反驳 (Refuted)
让我们来分析一下：
1. 有支持
通过提供指向验证来源的链接，确立了 AI 是儿科领域有价值工具的事实。
同样，一份验证来源列表确立了 AI 辅助图像分析工具在识别儿科肺炎方面已展示出良好效果的事实。
2. 不确定
“AI 辅助呼吸筛查将哮喘延迟诊断减少了约 28%”这一事实被声称为半真半假。有证据表明哮喘延迟诊断有所减少，但没有验证来源支持 28% 的降幅。
Winston AI 发现 AI 生成了一项虚构的初步调查，声称医生每周节省了 9.5 小时。
3. 已反驳
ChatGPT 推荐的所有学术引用都被发现是虚构的，因为 Winston AI 没有找到此类论文。
使用 Winston AI，您可以验证来源、检查引用、检测 AI 内容、提高可读性，甚至检查抄袭。这确保了您的内容在各个方面都能获得高分。
如何减少 AI 幻觉
幻觉无法降至零。但是，可以通过更好的工作流程和负责任的 AI 使用来减少幻觉。
1. 使用更好的提示词
AI 的输出取决于其输入。具体的提示词不仅会减少模糊性，还会鼓励更可靠的响应。
例如，避免使用以下提示词：
“写一篇关于放射科 AI 使用的 1000 字文章，并添加统计数据和引言以满足 EEAT 标准。”
相反，应使用以下提示词：
“写一篇关于放射科 AI 使用的文章，满足 EEAT 原则，零重复，并确保其有排名。仅提供经过验证的来源；如果不确定，请说明局限性。在任何情况下都不要发明引用或统计数据。最后，仅使用经过同行评审的参考文献。确保遵循所有列出的条件。”
此类提示词将引导 AI 采取更安全的行为。尽管如此，人工核实仍是必不可少的。
2. 要求 AI 提供引用
要求引用可以增加透明度。但您仍需手动核实它们。永远不要因为某个引用看起来很真实就假设它是真实的。如果您引用未经核实的引用，您的学术地位可能会受到多方质疑。
3. 使用检索增强生成 (RAG)
检索增强生成 (RAG) 通过将模型连接到外部知识源来提高 AI 的准确性。这些系统在生成响应之前，会从数据库、内部文档、知识库和搜索引擎中搜寻信息。
这有助于减少幻觉，因为 AI 是基于源材料工作的。许多企业级 AI 系统现在都使用 RAG 架构来增加可靠性。
4. 保持人工参与 (Human in the Loop)
人工监督仍然是防御幻觉的最强手段之一。请记住，AI 可以辅助您的内容创作过程和决策，但绝不应完全取代它。
无论是编辑、研究人员、律师、医生、开发人员还是分析师，在发布或实施之前，必须以敏锐的眼光审查 AI 生成的输出。
通常，即使经过多次尝试，您也能识别出工具无法发现的不一致之处。您可以更好地核实主张并评估背景。此外，您的领域专业知识将有助于更快地检测逻辑错误，并为协作方法铺平道路。与完全自动化相比，这是一种更安全的选择。
5. 使用多层核实
强大的 AI 工作流程结合了多重保障。当您结合使用 AI 检测工具、事实核查员和人工来源审查时，您可以更好地发现错误。
您还应该寻求领域专家的帮助并进行合规性检查，以确保万无一失。赌注越高，核实过程就应越严格。例如，医疗或法律 AI 输出需要比日常头脑风暴任务严格得多的审查标准。
AI 幻觉能被消除吗？
随着模型的改进，AI 幻觉将会减少，但永远不会消失。大型语言模型在不久的将来不太可能在每种情况下都核实真相。即使它们与检索工具集成，并伴随记忆改进和推理增强，仍会有不准确之处潜入的空间。
为了改善这种情况，AI 公司正在投入巨资研究更好的训练方法、检索系统、更安全的模型对齐以及人类反馈优化。在目前的情况下，工具会自信地给出结果；未来的 AI 系统在不确定性和来源可靠性方面可能会更加透明。
尽管 AI 系统在不断改进，但负责任的使用仍将至关重要。盲目信任 AI 是危险的。只有当您理解核实、背景和批判性评估的重要性时，AI 才能支持您产出最佳结果。
常见问题解答
1. 为什么 ChatGPT 会产生幻觉？
ChatGPT 产生幻觉是因为大型语言模型基于统计预测生成响应。这些模型不具备人类的理解力或内置的事实核查功能。当模型缺乏准确信息或遇到模糊的提示词时，它可能会产生自信但错误的输出。
2. AI 幻觉是故意的吗？
不，AI 幻觉不是故意的。它们的发生是因为 LLM 预测单词序列，而不是基于事实准确性工作。由于 AI 不知道自己正在生成虚假信息，因此核实生成信息的责任在于人类。
3. AI 幻觉可以预防吗？
通过更好的提示词、来源核实、事实核查工作流程和检索系统，可以在一定程度上预防幻觉。但完全消除是不可能的。
4. 如何检测 AI 中的幻觉？
检测 AI 幻觉可以通过核实来源、审查引用、检查 URL、将信息与受信任的参考文献进行对比，以及使用 Winston AI 等事实核查工具来完成。
