資料洩漏(Data Leakage)是未來或不可用的資訊在真實可用之前就進入回測,讓結果比實盤交易會交付的更好。它以多種形式出現:前瞻偏差、倖存者偏差,以及無意中使用修訂資料。
它怎麼運作
洩漏透過時機發生:一個數字用得太早、一個成分套用得太快,或一份只有倖存者的資料集藏掉了失敗。
預防方法是嚴格的可用性紀律:每個輸入只在它可知時進入測試。
為什麼投資人需要知道
洩漏讓結果虛高,一直藏到策略在實盤失效——這是最貴的學習方式。
檢查洩漏是標準過擬合驗證的一部分:給每個輸入標日期、確認資料集涵蓋失敗、並在策略從沒見過的時期上測試。
一個簡單的市場例子
一份資料集只包含今天仍在上市的公司,所以回測從來看不到失敗的那些。因為失敗被悄悄移除,結果看起來更好,這就是倖存者洩漏。
常見誤解
把修訂數字當成比真實更早可用。
相信一份只有倖存者的資料集,它移除了最拖累歷史結果的那些失敗。
常見問題
資料洩漏和前瞻偏差是一回事嗎?
前瞻偏差是洩漏的一種形式。洩漏是更寬的術語,涵蓋任何進入測試的未來或不可用資訊。
怎麼檢查洩漏?
按可用性給每個輸入標日期、確認資料集包含失敗、並在未見過的時期上測試。
洩漏總是表現為明顯的錯誤嗎?
不是。它經常很安靜,這就是為什麼它是標準檢查,而不是一個可見的錯誤。
僅供教育用途。部分術語在不同國家、機構與市場中的實際用法可能不同。