金融交易中的 RL

金融市场信噪比极低、非平稳、且智能体会影响市场，使 RL 在此领域的成功案例远少于宣传。本章讨论建模选择（执行 vs 择时 vs 组合）、奖励设计（风险调整）、回测中的过拟合，以及最优执行等相对成功的子问题。

为什么金融 RL 难

RL 在游戏上屡战屡胜，在金融上的公开成功案例远少于宣传。结构性原因：

信噪比极低：价格变动的可预测成分（信号）远小于噪声——游戏里策略与结果的因果链清晰，金融里因果链被噪声淹没。样本量再大，信号的学习上限也被钉死；
非平稳：市场结构（参与者、监管、宏观环境）随时间变化，学到的规律会过期——历史数据里的规律不保证未来成立（与 RL 泛化的分布偏移相比，这里是持续漂移）；
智能体影响市场：RL 假设环境不因自己的行为而变（→ 马尔可夫决策过程），交易会推动价格（市场冲击）——单智能体假设失效，且回测数据里没有自己交易的影响（反事实缺失）；
回测过拟合：历史回测可以无限调参，样本外验证的自由度被滥用（多重检验问题）——回测分数的通胀是系统性现象。

建模选择：三个子问题

1. 最优执行（optimal execution）——最成熟的应用：把大单拆成小单执行，最小化市场冲击。问题结构清晰：状态（库存、剩余时间、市场状态）、动作（下单速率）、奖励（执行成本）都可测量；市场冲击模型（Almgren-Chriss 类）相对准确；目标是成本最小化而非预测收益——绕开了信噪比问题。这是 RL 在金融中最成熟的子问题，因为它只需要"模拟器质量"而非"预测能力"。

2. 择时（trading/timing）——极易过拟合：预测涨跌、决定买卖。直接撞上信噪比与非平稳问题：择时类 RL 的回测分数极难复现，需要严格的样本外与多重检验校正。宣传多、可靠证据少的区域。

3. 组合优化（portfolio）：跨资产配置，长期回报 + 风险约束。信号问题同样存在，但分散化降低了对单资产预测的依赖；与执行结合（配置 + 执行）是相对务实的形态。

奖励设计：风险调整

金融的目标不是期望回报（谁都能高，配高杠杆），而是风险调整后的回报：

Sharpe 比率（收益除以波动）作为奖励——但 Sharpe 对尾部风险不敏感；
下行风险度量：CVaR、最大回撤惩罚——风险厌恶的显式编码；
分布式 RL（→ 分布式 RL：C51、QR-DQN 与 IQN）与风险敏感策略天然契合：学回报的分布，直接从分位数导出风险厌恶策略。

回测过拟合与校正

多重检验校正：回测了 $N$ 个配置，最好的那个的分数要按 $N$ 校正（Deflated Sharpe Ratio, Bailey & López de Prado）；
严格的样本外：训练/验证/测试按时间切分，测试段只用一次；
模拟器质量决定一切：回测的模拟器（市场冲击、滑点、成交概率）比算法更重要——模拟器错了，结论全错（与基于模型 RL 的模型误差问题同构，→ 模型误差、利用与不确定性）；
成本与容量：策略的换手成本、资金容量（策略规模化后冲击自己）常被忽略。

本章要点

最优执行是 RL 在金融中最成熟的应用
择时类 RL 极易过拟合，需要严格的样本外与多重检验
模拟器（市场冲击）质量决定一切