过拟合:你可以把历史解释得越来越完美,直到它只适合那一段历史

量化最危险的错觉之一,是“模型越来越复杂,回测越来越漂亮,所以我越来越接近真相”。现实可能正好相反:你只是给旧数据量身定做了一件衣服。换到新时期,它立刻不合身。

约 14 分钟AI 量化交易初探 · 第 4 课核心:过拟合
螺旋、大脑和图表表示模型过拟合历史噪声
学习目标
  • 理解反复试验为什么会制造偶然冠军
  • 理解参数越多不是自动更好
  • 掌握样本外、参数扰动和成本压力三类稳健性检查
  • 理解披露所有试验版本为什么重要
最佳历史参数往往最危险

20 套随机参数里挑出冠军,它真的发现了规律吗?

过拟合发生在规则过度贴合训练样本,把噪音当成可重复规律。测试的自由度越高、尝试次数越多,历史里偶然出现“冠军”的概率就越大。 从许多候选里挑历史冠军会引入数据窥探

Overfitting Visual Lab

20 个都没有真正优势的参数,历史上总会有一个“冠军”

这是一个明确的模拟实验:20组参数都从噪音生成,没有真实 edge。先只看 in-sample 表现,挑你最想上线的一组;然后才打开 out-of-sample。

选择要上线的参数
随机也会产生漂亮结果

如果同时试 200 套规则,总会有几套在旧数据里看起来像天才

即使所有规则都没有真正优势,只要测试次数足够多,也可能出现几条异常漂亮的历史曲线。如果只展示冠军、不告诉别人一共试过多少次,就很容易把偶然结果当成发现。

每个旋钮都能帮你贴历史

多一个参数,就多一个把噪声解释成规律的自由度

参数并不是越少越好,复杂问题确实可能需要复杂模型。真正的问题是:每个参数有没有独立理由和足够数据支撑,还是只是因为“这样调历史更赚钱”才被加进去。

参数加入原因风险
来自明确机制或业务约束仍需检验,但至少有独立于历史冠军结果的理由
只因为让同一段回测更漂亮非常容易把该样本独有的噪声写进模型
好模型不该一碰就碎

换一点参数、成本或时间区间,结论就翻脸,是重要警报

  1. 1样本外在没有参与调参的新时期检查规则,看看特征是否还能保持。
  2. 2参数扰动轻微改变窗口或阈值。如果只有一个极窄参数点有效,可能是在贴合噪声。
  3. 3成本压力把手续费、价差和滑点调得更现实甚至稍差,检查优势是否立即消失。
  4. 4不同市场阶段趋势、震荡、高波动和低波动环境里分别看结果,不只展示最有利时期。
透明度比冠军曲线重要

如果只保存最终成功版本,就没人知道你是发现规律,还是筛出了运气

保留试过的参数、数据区间、失败结果和调整原因,不是为了把研究日志写成史诗,而是为了让后来的人能判断到底搜索了多大空间。AI 和自动化让试验速度暴涨,也让这个问题更加严重。

知识检测

检验你是否真正理解

只检验过拟合和稳健性检查。

第 1 题,共 3 题

为什么测试大量参数后容易出现异常漂亮的历史冠军?

第 2 题,共 3 题

一套规则只有参数 17.3 时表现很好,改成 17 或 18 就明显变差,最值得警惕什么?

第 3 题,共 3 题

为什么失败版本也应该保存?

认识你的学伴

卡住了?让 Mira 帮你拆解

正在检查登录状态...