标题：探索可信度工具：如何提升大模型应用的精准度

导言：大模型因其强大的创造事物能力而闻名，但其无法辨识事实与虚构的特性，引发了业界对其可靠性的质疑。为此，人工智能初创公司Cleanlab开发了一款创新工具——值得信赖的语言模型（Trustworthy Language Model），旨在为高风险用户评估模型输出的可信度提供明确指导。

正文：

人工智能领域的先锋——由麻省理工学院量子计算实验室孵化的Cleanlab，推出了这一突破性的工具，旨在解决模型生成内容的真伪问题。Trustworthy Language Model通过对大模型生成内容的可靠程度进行评分（范围在0至1之间），帮助用户识别值得信任的回答和应予忽略的信息。

Cleanlab首席执行官Curtis Northcutt指出，尽管大模型的变革潜力巨大，但人们往往被“幻觉”困扰，对它们的精确性抱有疑问。随着聊天机器人的普及，它们已成为信息检索的关键工具，甚至融入了办公软件中，用于创作从学术论文到营销文案再到财务报告的各类内容。

然而，一项由Vectara（一家由谷歌前员工创立的初创公司）于2023年11月发布的研究揭示，聊天机器人在约3%的时间里会“发明信息”。尽管这一比例看似不高，但对于依赖高度精确数据的企业来说，这是一个不可接受的风险。

Cleanlab的工具已被几家知名公司采用，例如专注于商业争议和调查的英国咨询公司Berkeley Research Group。该公司的副主任Steven Gawthorpe认为，Trustworthy Language Model是首个有效应对幻觉问题的解决方案。

该工具的核心理念在于，通过比较不同大模型的回应，分析它们之间的分歧，进而判断整体系统的可信度。以ChatGPT为例，当被询问“字母'n'在'enter'中出现了多少次？”时，它最初给出了“一次”的答案。然而，多次提问后，ChatGPT的答案变得不一致，有时回答为“一次”，有时则为“两次”。

诺斯卡特解释称，这种不稳定性和随机性意味着模型经常出错，且无法预测其输出。在高风险场景下，数据科学家可能会被偶尔正确的回答误导，从而做出可能导致严重商业后果的决策。

Trustworthy Language Model通过多种技术手段计算可信度评分，包括将每个查询发送至多个大模型，并比较对同义查询的相似回应。此外，该工具还能让模型之间相互回应，进一步增强评估的准确性。

计算机科学家Nick McKenna对这种方法持乐观态度，但他也提出了关于模型幻觉的潜在挑战。尽管Cleanlab的测试显示，Trustworthy Language Model与大模型的回答准确性紧密相关，但其分数与正确答案的关联程度仍需进一步验证。

在与Berkeley Research Group合作的项目中，Trustworthy Language Model显著降低了手动审查所需的工作量，尤其在寻找医疗合规问题的参考资料时，效率提升了80%。同样，在与一家大型银行的合作中，该工具将需要人工检查的文档数量减少了超过一半。

尽管采用Trustworthy Language Model可能增加处理时间和成本，但Cleanlab将其定位为一种高级服务，旨在提高大模型应用的精准度。通过减少对人类专家的依赖，实现更高效的决策过程，该工具为未来大模型的广泛应用开辟了可能性。

结语：随着人工智能技术的不断进步，如何确保其输出的可靠性成为关键议题。Trustworthy Language Model的推出，标志着行业在提升大模型应用安全性方面迈出的重要一步。在未来，随着更多案例的积累和优化，这一工具有望为更广泛的用户群体提供更加精准、可靠的信息服务。