金融研究里的 AI 幻觉:为什么它会把编造的事实说得像真的

语言模型可以凭空编出一家公司的营收数字,或一个从来不存在、却写得很自信的“众所周知”的市场统计。学会幻觉是什么、为什么发生,以及怎么检查。

MyTrade Academy 编辑部
7 分钟阅读

问语言模型一家公司的营收,它可能给你一个错误、却写得非常自信的数字。问它一个市场统计,它能产出一个看起来真实、却从未存在过的数字。

这些编造出来的产出叫幻觉,它们是用 AI 做金融研究时最大的危险:问题不在于偶尔明显的错误,而在于流畅又貌似合理的假事实。

TL;DR

幻觉,是指一段流畅自信、却没有事实依据的产出。语言模型会产生它们,因为它是被训练来生成可信文本的,不是来核实事实的。在金融研究里,风险是一个看起来真实、实为编造的数字或来源,所以 AI 产出的每个数字和引用都必须对照底层数据检查。

幻觉是什么

幻觉是一段流畅自信、却没有事实依据的产出。模型产出听起来正确的文本,因为它是被构建成听起来正确的,而不是因为它把说法和现实核对过。

它和普通错误不同,因为它很难被抓住:编造的事实看起来、读起来都和真实的一模一样。

为什么会发生

语言模型被训练成以产出可信散文的方式预测下一个词。它没有内置一个把说法和数据库或文档核对的步骤。

这就是为什么答案的自信程度说明不了任何事:无论底层说法是真是假,模型的流畅程度都一样。

金融研究里常见的幻觉
类型例子为什么危险
编造的数字一个从未存在过的营收数字看起来真实,容易引用
不存在的来源一篇不存在的研究或报告感觉像证据
错误的日期或数量一个貌似合理但不正确的细节溜进总结里
自信的错误说法一条“众所周知”但错误的市场事实听起来有权威

为什么在金融研究里尤其危险

金融研究建立在事实上:一个营收数字、一个价格、一个统计、一个来源。如果其中任何一个被编造,而你把分析建立在它上面,结论就会继承这个错误。

危险不在于明显的错误,而在于那个通过每一次阅读检查、并改变研究结论的貌似合理的事实。

示例:一个编造的数字怎么进入分析
项目AI 给出的数字核对官方财报后
公司 X 全年营收9.6 亿元8.4 亿元
按市值 50 亿元计算的市销率(P/S)约 5.21 倍约 5.95 倍

市值假设不变,只有营收这一个输入换成了真实数字,算出来的市销率就从 5.21 倍变成了 5.95 倍。

AI 给出的营收9.6 亿元
官方财报营收8.4 亿元
营收偏差1.2 亿元,约 14.3%
市销率因此产生的偏差约 0.74 倍
一个编造的营收数字,怎么变成一个错误的估值

14.3% 的营收偏差,直接把市销率拉低了约 0.74 倍。如果后续判断“估值便宜还是贵”就建立在这个被压低的市销率上,结论从一开始就是错的,而错误的起点只是一个没有核对过的数字。

自信是文字的属性,不是事实的属性

模型产出自信的散文,是因为它被这样训练。答案的流畅程度不是底层说法为真的证据。

怎么检查幻觉

把每个数字对照真实数据或文档核实。如果模型引用一个数字,去来源里找到它并比较。如果它提到一份报告或研究,确认这份报告存在。

习惯是把任何 AI 产出的事实当成未验证,直到能溯源。在来源里找不到的数字应该丢弃,而不是引用。

常见问题

为什么 AI 编造事实还这么自信?

因为它是被训练来生成可信文本的。自信是文字的属性,不是说法被核对过的证据。

幻觉能消除吗?

不能可靠地消除。实用防御是验证:把每个数字和来源对照底层数据检查。

某些主题更容易出现幻觉吗?

在数字和引用这类具体可查的事实上更危险,因为编造版本看起来和真实版本一模一样。

把分析建立在 AI 事实之前,先验证

第 41 课展示为什么流畅不等于准确,以及怎么让 AI 待在可验证的、基于语言的工作里。

打开第 41 课