On Bellman equation in the limit order optimization problem for high-frequency trading
创建于 更新于
摘要
本文针对高频交易中限价单簿的最优策略构建问题,修正并完善了文献[6]中的部分计算错误,最终得出近似一致的价差和报价公式。通过解析贝尔曼方程和对报酬函数的渐近展开,提出了明确的报价扩展表达式,指出报价对库存的敏感度以及价差中的主要组成部分,且通过Feynman-Kac公式推导求解关键偏微分方程,辅助验证了优化策略的合理性 [page::0][page::9][page::16][page::17]。
速读内容
高频交易限价单优化问题模型设定 [page::0][page::1][page::3]
- 市场价格遵循Bachelier模型,mid-price由Wiener过程驱动。
- 交易者通过调整买卖限价单距离mid-price的间距(δ^a、δ^b)影响成交率,成交由服从强度为λ(δ)=Ae^{-κδ}的独立Poisson过程驱动。
- 目标函数为期望效用最大化,采用指数效用形式。
- 介绍了“预留价格”及其平稳版本,为模型计算报价边界提供基础。
贝尔曼方程与最优策略的理性表达 [page::5][page::6][page::7]
- 通过动态规划原理,建立贝尔曼方程,转化为对θ(s,q,t)函数的非线性偏微分方程。
- 利用指数效用的特性,采用变量替换简化方程形式。
- 通过对λ函 数的指数型假设及泰勒展开,得出重要的简化表达。
- 短价差假设下将θ展开为q的二次渐近级数,明确定义了报价中对库存的线性响应及调节价差的机制。
明确的报价公式及价差构成 [page::8][page::9][page::14]
- 报价函数为r(s,q,t)=θ^{(1)}(s,t)+θ^{(2)}(s,t)q,价差独立于库存,分解为:
- 与库存敏感度有关的项(-θ^{(2)})
- 与订单执行强度参数κ相关的对数项
- θ^{(1)}等于mid-price s, θ^{(2)}=-γσ²(T-t),显示出报价对库存的负向调节效应
- 价差与订单流速及风险厌恶参数γ的函数形式体现了交易者风险偏好与市场流动性的权衡
- 该结果虽修改了文献[6]中的部分计算,但结论保持一致。
关键方程求解工具与数学证明 [page::16][page::17][page::18]
- 利用Feynman-Kac公式对PDE系统求解,分别得到θ^{(0)}, θ^{(1)}, θ^{(2)}的显式解析解
- 证明和推导环节详细阐释了最优点、二阶条件及最大值唯一性的数学逻辑
- 提供了关于函数f(δ)的凹性及极值的严格分析,保证了算法的理论基础稳固
深度阅读
金融研究报告详尽解析
报告元数据与概览
本报告题为《On Bellman equation in the limit order optimization problem for high-frequency trading》,作者为M.I. Balakaeva和A.Yu. Veretennikov,于2025年10月21日发布。报告聚焦于高频交易(HFT)中限价单簿(bid & ask limit order book)优化问题,特别研究了Bellman方程的应用并提出了一种近似方法来构造最优策略。
核心主题围绕HFT领域的限价单优化,采用Bachelier模型描述股票中价运动,目标函数基于指数型效用,旨在最大化期望效用。报告基于Avellaneda与Stoikov于2008年提出的模型[6],指出前人工作存在一定漏洞,但经修正后主结论保持一致,且对此现象做出了解释。报告不涉及评级或具体目标价,属于理论模型与数学方法论研究。
主要信息即Bachelier价格模型及基于动态规划和Bellman方程的最优定价策略构造。通过渐近展开手段解近似方程,推导出bid/ask价格及价差的显式表达式,验证Avellaneda-Stoikov结果,发现在极限下HFT的最优限价单策略可明确定义。
---
报告结构逐节深度解读
1 引言与模型设定
本节假设交易无成本且市场完备,以Bachelier模型刻画价格中价 \( Su \) :
\[
d Su = \sigma d Wu, \quad St = s,
\]
其中 \( Wu \) 为标准Wiener过程,波动率为常数 \( \sigma > 0 \),初始价格为 \( s \) 。作者直接采用该模型作为价格动态的基准,适合连续且波动稳定的市场环境。
效用函数选用指数型效用:
\[
U(x,q,s) = -\exp(-\gamma(x + q s)),
\]
其中 \( x \) 表示现金初始资本, \( q \) 为持有股票数量, \( s \) 为股票价格,风险厌恶系数为 \( \gamma \)。这样设定符合金融中风险厌恶投资者的效用最大化框架,且指数效用便于解析处理。价值函数定义为期望终端效用:
\[
v(x,s,q,t) = \mathsf{E}t[-\exp(-\gamma(x + q ST))].
\]
利用Bachelier模型的条件期望性质,作者给出价值函数的显式形式(式2):
\[
v(x,s,q,t) = -\exp(-\gamma x) \exp(-\gamma q s) \exp\left(\frac{\gamma^2 q^2 \sigma^2 (T - t)}{2}\right).
\]
基于效用无差异原则,定义买卖双方的 reservation bid 与 ask 价格,满足持仓变动无差异条件,即调整价格使价值函数保持不变。这是理论上限价单定价的关键,从而在后续定价策略中起核心作用。
这段模型设定为全篇开展最优策略构造奠定数学基础,并引入了关键参数:风险厌恶、波动率、持仓规模与时间参数。
2 预备性结果与无限时域优化
为适应HFT场景中极短时间尺度,作者引入无穷期望效用(式6),引入折现因子 \( w > 0 \),将有限期问题近似为无穷期稳定问题,并给出无穷期效用的解析式(Lemma 2),形如:
\[
\bar{v} = \frac{2 \exp(-\gamma x) \exp(-\gamma q s)}{\gamma^2 q^2 \sigma^2 - 2 w}.
\]
对应地定义了无穷期reservation prices(Lemma 3),表达式更为复杂包含对数函数,参数 \( w \) 约束持仓极限,即有效地设定了风控边界。
这一部分从模型动态改为稳定优控制问题,方便后续通过马尔可夫性质和Bellman方程处理,同时使策略更贴近HFT对短时交易不断重复的实际。
3 限价单执行与订单流强度模型
本节正式引入HFT的限价单动作机制,代理人(交易员)设定买入价与卖出价偏离中价的距离 \(\delta^{b} = s - p^{b}\), \(\delta^{a} = p^{a} - s\) 。执行订单的频率分别由独立的Poisson过程控制,强度函数 \(\lambda^{a}(\delta^a) = A e^{-\kappa \delta^a}\), \(\lambda^{b}(\delta^b) = A e^{-\kappa \delta^b}\) 递减,反映挂单价格离中价越远,成交概率越低。
代理人的投资组合动态通过Poisson跳变建模进出仓,资本变动为:
\[
dXt = p^{a} d Nt^a - p^{b} d Nt^b,
\]
持仓为 \( qt = Nt^b - Nt^a \) 。交易策略问题转化为选择 \(\delta^a,\delta^b \geq 0\) 来最大化终端期望效用函数(式7):
\[
u(s,x,q,t) = \max{\delta^{a}, \delta^{b} \geq 0} \mathsf{E}t[-\exp(-\gamma (XT + qT ST))].
\]
此处动态控制对订单流产生直接影响,构成一个非线性的反馈控制问题,体现了限价单定价与成交概率的耦合。
该部分明确了实际策略的控制变量和市场机制,用Poisson强度模型为后续Bellman方程求解做铺垫,关联了金融微观结构研究文献[1,2]。
4 Bellman方程与状态变量变换
将问题转化为偏微分方程(PDE)框架。依动态规划原理,写出价值函数的HJB方程(Bellman方程)(式8),包含价格扩散项及控制项最大化:
\[
ut + \frac{1}{2}\sigma^2 u{ss} + \max{\delta^b \geq 0} \lambda^b(\delta^b)[u(s, x - s + \delta^b, q + 1, t) - u(s,x,q,t)] + \max{\delta^a \geq 0} \lambda^a(\delta^a)[u(s,x + s + \delta^a, q - 1, t) - u(s,x,q,t)] = 0,
\]
终端条件为指数效用对应式。
通过变换
\[
u(s,x,q,t) = -\exp(-\gamma x) \exp(-\gamma \theta(s,q,t)),
\]
将PDE转为关于 \(\theta\) 的非线性方程(式9),便于展开后续对 \(\delta^a, \delta^b\) 的最优条件处理:
\[
\thetat + \frac{1}{2} \sigma^2 \gamma \theta{ss}^2 - \frac{1}{2} \sigma^2 \gamma \thetas^2 + \max{\delta^b} \frac{\lambda^b(\delta^b)}{\gamma}[1 - e^{\gamma(s - \delta^b - r^b)}] + \max{\delta^a} \frac{\lambda^a(\delta^a)}{\gamma}[1 - e^{-\gamma(s + \delta^a - r^a)}] = 0,
\]
包含了执行强度参数与reservation prices。
本节核心是将原始最大化问题改写为可分析的Bellman方程,奠定数学工具基础。
5 最优价差和价格策略的解析展开
利用形式计算及特定执行强度函数形态 \(\lambda(\delta) = A e^{-\kappa \delta}\),针对最优 \(\delta^{a}, \delta^{b}\) 的一阶条件,推导出关键身份关系(式10,11):
\[
s - r^b = \delta^b - \frac{1}{\gamma} \ln\left(1 + \frac{\gamma}{\kappa}\right),
\quad
r^a - s = \delta^a - \frac{1}{\gamma} \ln\left(1 + \frac{\gamma}{\kappa}\right),
\]
表明最优价差调节受到风险厌恶与订单强度参数共同决定。
之后通过Taylor级数展开以减少方程复杂度,保留零阶和一阶项,假设价差偏离 \(\delta^a + \delta^b \) 极小,对应HFT小价差交易特性(Remark 1)。
将函数 \(\theta\) 关于持仓量 \(q\) 展开为:
\[
\theta(s,q,t) = \theta^{(0)}(s,t) + q \theta^{(1)}(s,t) + \frac{1}{2} q^2 \theta^{(2)}(s,t) + \ldots,
\]
推导报价(reservation prices)可写为:
\[
r^b = \theta^{(1)} + \frac{1}{2} \theta^{(2)} (2q+1),
\quad
r^a = \theta^{(1)} + \frac{1}{2} \theta^{(2)} (2q-1),
\]
说明持仓感应系数 \(\theta^{(2)}\) 调节价格水平,表现为对持仓风险的补偿。
经典结果中价差恒定且与库存无关,价差包含两部分:依赖市场流动性强度参数 \(\kappa\) 和库存灵敏度 \(\theta^{(2)}\) 贡献。
核心结论在于价差与中价偏离表达式的闭式解,为限价单最优策略提供完整数学展示。
6 各阶 \(\theta\) 系数的偏微分方程及解
对级数中各阶 \(\theta^{(i)}\) 导出对应 PDE:
- 零阶项满足
\[
\thetat^{(0)} + \frac{1}{2} \sigma^{2} \theta{ss}^{(0)} - \frac{1}{2} \gamma \sigma^{2} (\thetas^{(0)})^2 + \frac{2A}{\kappa + \gamma} = 0,
\quad
\theta^{(0)}(s,T) = 0,
\]
给出解:
\[
\theta^{(0)} = \frac{2A}{\kappa + \gamma} (T - t),
\]
恒不依赖于 \(s\) 以满足展开假设。
- 一阶项满足线性PDE:
\[
\thetat^{(1)} + \frac{1}{2} \sigma^{2} \theta{ss}^{(1)} - \gamma \sigma^{2} \thetas^{(0)} \thetas^{(1)} = 0,
\quad
\theta^{(1)}(s,T) = s,
\]
解析解为:
\[
\theta^{(1)} = s,
\]
表现宿主价格中价对应变化。
- 二阶项满足非齐次PDE(由于平方gradient项):
\[
\thetat^{(2)} + \frac{1}{2} \sigma^{2} \theta{ss}^{(2)} - \gamma \sigma^{2} (\thetas^{(1)})^2 - \gamma \sigma^{2} \thetas^{(0)} \theta_s^{(2)} = 0,
\quad
\theta^{(2)}(s,T) = 0,
\]
解明确为:
\[
\theta^{(2)} = - \gamma \sigma^{2} (T - t),
\]
反映了波动率、风险厌恶对价格库存敏感性的核心影响。
上述每层PDE均用Feynman-Kac公式明确求解,体现严格数学处理。
7 主要定理及其意义
根据上述展开和解析解,得出明确的出价策略:
\[
r(s,q,t) = \frac{r^{a} + r^{b}}{2} = \theta^{(1)}(s,t) + \theta^{(2)}(s,t) q = s - \gamma \sigma^{2} (T - t) q,
\]
价差为:
\[
\delta^{a} + \delta^{b} = -\theta^{(2)}(s,t) + \frac{2}{\gamma} \ln \left( 1 + \frac{\gamma}{\kappa} \right) = \gamma \sigma^{2} (T - t) + \frac{2}{\gamma} \ln \left(1 + \frac{\gamma}{\kappa} \right),
\]
这一结果完全与Avellaneda-Stoikov[6]中得到的对应表达式一致,尽管本文纠正了部分计算错误。
直观上,持仓 \(q\) 对定价存在线性影响,反映风险厌恶和市场影响压力,价差由库存风险和订单执行率决定。价差恒定且独立于库存量,进一步贴合极短价差、高频交易的特点。
报告中指出如未忽略小价差项(Remark 1),结果可能会有所不同。
---
图表深度解读
报告未包含传统意义的图表或图片,主要由数学式和公式构成,重点在于解析式和PDE解法。下列为公式及表达式的内容说明和解读:
- 式(2)、Lemma 1、Lemma 2与3均为价值函数及reservation price的显式表达,展示了Bachelier基础上价值函数指数形式及无穷期价值函数计算方法,明确连接价格波动、持仓规模与效用期望。
- 执行强度函数 \(\lambda(\delta)=A e^{-\kappa \delta}\) 体现出以指数函数刻画价格偏离对订单流影响的微观结构观点。
- Bellman方程(8)为问题数学表达核心,反映动态最优控制框架。
- 替换函数 \(\theta\) 和逐阶PDE方程分别对应实际交易策略中价差与库存调整策略的构成。
- 最终的主定理给出价差和均价的直观表达,既包含理论严谨的证明,也透出实际可操作性。
因此,虽然图表缺失,报告通过层层递进的数学推导形成一套完整的理论体系,体现了对HFT限价单最优定价的深刻理解。
---
估值分析
本报告不涉及传统的证券估值(如DCF估值、公允价值测算等),而是聚焦于基于市场微观结构的最优限价策略的数学解析,因此未有经典估值模型。
不过,报告中“估值”含义可理解为策略价格的“理论价值”或“reservation price”,即:
- 通过动态编程和效用最大化建立价值函数
- 由该价值函数计算reservation bid/ask价格,其含义是买卖股票后效用不变的平衡价格
- 利用状态变量变换和渐近展开,求解并得出价差(即策略利润空间)和均价线性调节库存风险的表达式
此过程等价于通过解析PDE和有效参数估计确定的动态定价和控制策略估值。
---
风险因素评估
报告内部涉及的风险因素主要以模型假设和市场机制为中心:
- 价格模型假设: 采用Bachelier模型,假设无漂移,仅有波动,且参数固定,实际市场存在的跳跃、非高斯波动未考虑。
- 无交易成本假设:理想化假设忽略手续费和滑点,实际高频交易中影响利润率。
- 订单流强度模型假设:指数衰减函数定义订单到达率,实际可能受市场微结构和流动性冲击影响,模型可能过于简化。
- 无限期模型假设:使用折现因子替代有限期,但折现率 \(w\) 是人为引入参数,选择不当可能导致策略失效。
- 价格差价小:假设价差 \(\delta^a + \delta^b \to 0\),符合HFT小价差策略,但实际价格波动及流动性波动可能导致偏差。
- 库存风险管理:通过库存量线性调节报价,风险函数简化,未考虑行情突变或持仓极端情况。
报告虽未专门列出风险缓解方案,但通过模型形式和稳健数学推导隐含了对这些风险部分的控制,如库存限额,价格风险折现等。
---
审慎视角与细微差别
- 尽管纠正了前文[6]中价格表达式的错误,最终主结论保持一致,说明原文计算漏洞对结果影响有限,但此纠正彰显了细节严谨性的重要。
- 报告明确指出丢弃价差偏差项并非严格证明,而是基于HFT操作的经验假设,模型适用范围有限,尤其在价差不够小或市场流动性差时策略的适用性值得谨慎。
- 采用Bachelier模型没有包括漂移项,若价格趋势明显,模型可能失效。
- 报告没有详细论述效用函数参数选择对策略的敏感度,以及订单流强度对最优策略的现实调整,潜藏不确定性。
- 虽整体论证严密,模型仍为理想化设定,实际交易涉及复杂微观结构因素,对结论推广需格外注意。
---
结论性综合
本报告围绕高频交易中限价单优化,从Bachelier中价模型开始,建立了以风险厌恶指数效用最大化为目标的动态随机控制框架。通过定义reservation bid 和 ask价格,并利用订单流的Poisson模型特点,将问题转化为求解Bellman方程,进而通过状态变量替换和渐近法展开得到持仓依赖的价格策略。
报告精细纠正了原文[6]中的部分公式错误,尤其是reservation价格的解析表达,重新推导了最优价差及均价的显式表达。最终展示的价格公式:
\[
r(s,q,t) = s - \gamma \sigma^{2} (T - t) q,
\quad
\delta^{a} + \delta^{b} = \gamma \sigma^{2} (T - t) + \frac{2}{\gamma} \ln \left(1 + \frac{\gamma}{\kappa}\right),
\]
不仅理论上具有较高的严谨性,也与经典Avellaneda-Stoikov模型结果一致,确认了模型的有效性和适用性[page::0][page::1][page::2][page::3][page::4][page::5][page::6][page::7][page::8][page::9][page::10][page::11][page::12][page::13][page::14][page::15][page::16][page::17][page::18]。
整体来看,报告提供了对高频交易中限价单定价和风险管理的理论支撑,强调了动态规划和Bellman方程方法在金融市场微观结构领域的应用价值,对后续高频市场策略设计和风险评估具有重要参考意义。

