数据泄漏(Data Leakage)是未来或不可用的信息在真实可用之前就进入回测,让结果比实盘交易会交付的更好。它以多种形式出现:前瞻偏差、幸存者偏差,以及无意中使用修订数据。
它是怎么运作的
泄漏通过时机发生:一个数字用得太早、一个成分套用得太快,或者一份只有幸存者的数据集藏掉了失败。
预防方法是严格的可用性纪律:每个输入只在它可知时进入测试。
为什么交易者需要知道
泄漏让结果虚高,一直藏到策略在实盘失效——这是最贵的学习方式。
检查泄漏是标准过拟合验证的一部分:给每个输入标日期、确认数据集覆盖失败、并在策略从没见过的时期上测试。
一个简单的市场例子
一份数据集只包含今天仍在上市的公司,所以回测从来看不到失败的那些。因为失败被悄悄移除,结果看起来更好,这就是幸存者泄漏。
常见误区
把修订数字当成比真实更早可用。
相信一份只有幸存者的数据集,它移除了最拖累历史结果的那些失败。
常见问题
数据泄漏和前瞻偏差是一回事吗?
前瞻偏差是泄漏的一种形式。泄漏是更宽的术语,涵盖任何进入测试的未来或不可用信息。
怎么检查泄漏?
按可用性给每个输入标日期、确认数据集包含失败、并在未见过的时期上测试。
泄漏总是表现为明显的错误吗?
不是。它经常很安静,这就是为什么它是标准检查,而不是一个可见的错误。
仅供教育用途。部分术语在不同国家、机构和市场中的具体口径可能不同。