AI Hallucination
AI 幻觉
AI 幻觉是业界常用说法，指 AI 把错误内容，或不符合现有证据的内容当作答案。NIST 使用更准确的风险术语“虚构陈述”（confabulation）。
另一个例子
一个法律问题需要引用判决，但批准的来源里没有这条数据。系统应该说明证据不足，并要求提供或自行查找来源；清楚标明的虚构故事或头脑风暴，不是事实型 AI 幻觉。
主要部分
- 01生成 claim
- 02参考证据
- 03claim-level 不符
什么时候用
确认某项说法和可信事实、来源证据或系统明确限制不符后，才使用这个词。
什么时候不要用
先找出真正原因，再使用这个词。拒答、风格差异、过期来源、搜索失败或人为错误可能另有原因。
代码里的名称
generated claim ⟂ authoritative evidence 上线前要检查
在有版本号的评估集上，检查测量基线、目标与没有证据的说法比例。验证来源能否追踪、常见失败、不确定与拒答行为。也要验证用户看得懂的安全备用做法、人工复核、监控与恢复上一版。
预期结果：衡量并降低这个场景中的 AI 幻觉 (AI Hallucination)。没有评估证据前，不可宣称问题已完全消失。 用户场景：一个法律问题需要引用判决，但批准的来源里没有这条数据。系统应该说明证据不足，并要求提供或自行查找来源；清楚标明的虚构故事或头脑风暴，不是事实型 AI 幻觉。 要评估的失败模式：AI 幻觉 (AI Hallucination)。 适用理由：确认某项说法和可信事实、来源证据或系统明确限制不符后，才使用这个词。 评估边界：先找出真正原因，再使用这个词。拒答、风格差异、过期来源、搜索失败或人为错误可能另有原因。 评估要求：说明任务与可核实来源。准备有版本号的测试集与评分规则。记录不同风险组、没有证据的说法比例、答案能否连回来源证据（Grounding），以及无法确定时的拒答阈值。 用户防护：让每个说法都能查回来源，并清楚标出不确定之处。提供安全的备用做法。高影响决策必须由人工复核。 验收标准：在有版本号的评估集上记录当前基线与目标。分析常见失败案例。验证备用做法、监控与恢复上一版的方法。 证据与限制（证据边界）：没有一份官方标准能涵盖全部内容。不同团队、平台或框架的用法可能不同。 待确认：目标任务、模型与版本、参考数据、风险阈值、评估者，以及生产环境的安全备用做法。
检查这份需求
请 AI 编程助手检查当前如何使用 AI 幻觉 (AI Hallucination)。 定义：AI 幻觉是业界常用说法，指 AI 把错误内容，或不符合现有证据的内容当作答案。NIST 使用更准确的风险术语“虚构陈述”（confabulation）。 生产环境检查：在有版本号的评估集上，检查测量基线、目标与没有证据的说法比例。验证来源能否追踪、常见失败、不确定与拒答行为。也要验证用户看得懂的安全备用做法、人工复核、监控与恢复上一版。 修改程序前，先列出看到的证据、缺口、严重程度，以及最小且安全的修正。