AI Hallucination
AI 幻覺
AI 幻覺是業界常用說法，指 AI 把錯誤內容，或不符合現有證據的內容當成答案。NIST 使用更精確的風險用語「虛構陳述」（confabulation）。
另一個例子
一個法律問題需要引用判決，但核准的來源裡沒有這筆資料。系統應說明證據不足，並要求提供或自行尋找來源；清楚標示的虛構故事或腦力激盪，不是事實型 AI 幻覺。
主要部分
- 01生成 claim
- 02參照證據
- 03claim-level 不符
什麼時候用
確認某項說法和可信事實、來源證據或系統明定限制不符後，才使用這個詞。
什麼時候不要用
先找出真正原因，再使用這個詞。拒答、風格差異、過期來源、搜尋失敗或人為錯誤可能另有原因。
程式裡的名稱
generated claim ⟂ authoritative evidence 上線前要檢查
在有版本編號的評估集上，檢查量測基準、目標與沒有證據的說法比例。驗證來源能否追查、常見失敗、不確定與拒答行為。也要驗證使用者看得懂的安全退路、人工覆核、監控與回復上一版。
預期成果：衡量並降低這個情境中的 AI 幻覺 (AI Hallucination)。沒有評估證據前，不可宣稱問題已完全消失。 使用者情境：一個法律問題需要引用判決，但核准的來源裡沒有這筆資料。系統應說明證據不足，並要求提供或自行尋找來源；清楚標示的虛構故事或腦力激盪，不是事實型 AI 幻覺。 要評估的失敗模式：AI 幻覺 (AI Hallucination)。 適用理由：確認某項說法和可信事實、來源證據或系統明定限制不符後，才使用這個詞。 評估邊界：先找出真正原因，再使用這個詞。拒答、風格差異、過期來源、搜尋失敗或人為錯誤可能另有原因。 評估要求：說清楚任務與可查證來源。準備有版本編號的測試集與評分規則。記錄不同風險群、沒有證據的說法比例、答案能否連回來源證據（Grounding），以及無法確定時的拒答門檻。 使用者防護：讓每個說法都能查回來源，並清楚標出不確定之處。提供安全退路。高影響決策必須由人員覆核。 驗收條件：在有版本編號的評估集上記錄目前基準與目標。分析常見失敗案例。驗證安全退路、監控與回復上一版的方法。 證據與限制（證據邊界）：沒有一份官方標準能管到全部內容。不同團隊、平台或框架的用法可能不同。 待確認：目標任務、模型與版本、參考資料、風險門檻、評估者，以及正式環境的安全退路。
檢查這份需求
請 AI 程式助手檢查目前如何使用 AI 幻覺 (AI Hallucination)。 定義：AI 幻覺是業界常用說法，指 AI 把錯誤內容，或不符合現有證據的內容當成答案。NIST 使用更精確的風險用語「虛構陳述」（confabulation）。 正式環境檢查：在有版本編號的評估集上，檢查量測基準、目標與沒有證據的說法比例。驗證來源能否追查、常見失敗、不確定與拒答行為。也要驗證使用者看得懂的安全退路、人工覆核、監控與回復上一版。 修改程式前，先列出看到的證據、缺口、嚴重程度，以及最小且安全的修正。