引言

图灵汇 12 月 4 日报道，亚马逊云科技（AWS）推出了一款名为“自动推理检查”的新工具，旨在应对 AI 模型产生的幻觉问题。这款工具在拉斯维加斯举办的 re:Invent 2024 大会上亮相，通过交叉验证客户提供的信息来确保模型的回应准确无误。

新工具介绍

AWS 宣称，这是市场上首个专门针对幻觉问题的防护工具。不过，这一说法可能并不完全准确。例如，微软在今年夏季推出了名为“校正”的功能，其功能与“自动推理检查”非常相似，都是为了标记出可能包含错误的 AI 生成文本。此外，谷歌的 Vertex AI 平台也提供了类似工具，帮助用户通过第三方数据、自有数据集或谷歌搜索来增强模型的可靠性。

工作原理

“自动推理检查”依托于 AWS 的 Bedrock 模型托管服务，尤其是其中的 Guardrails 工具。它通过分析模型生成的答案来判断其正确性，并为客户建立一个事实基础。该工具还会创建规则，以便优化和应用到模型中。当模型生成答案时，“自动推理检查”会对这些答案进行验证，如果发现可能的幻觉现象，则会利用事实基础给出正确的答案，并将正确的答案与潜在的错误答案一同展示给客户，以便他们能够评估模型的准确性。

实际应用

目前，普华永道已经开始使用“自动推理检查”为其客户提供更加可靠的 AI 助手服务。AWS 的 AI 和数据副总裁 Swami Sivasubramanian 表示，此类工具正是吸引更多客户使用 Bedrock 的关键因素之一。

专家观点

尽管 AWS 对“自动推理检查”充满信心，但一些专家指出，消除 AI 幻觉并非易事。AI 模型本质上依赖于统计学，通过识别数据模式来进行预测。因此，模型的回答并不是确定性的答案，而是在一定误差范围内的预测。AWS 称其工具采用“逻辑准确”和“可验证的推理”得出结论，但并未提供具体的数据来证明其可靠性。

图片