研究背景与问题定义 [page::0][page::1][page::2]

• 大型语言模型（LLMs）广泛应用于金融和社会科学，但训练数据中存在未来信息泄露（lookahead bias），对回测和实证研究结果产生负面影响。

- 本文通过仅使用对应时间点可获得的文本数据训练ChronoBERT及ChronoGPT模型，确保时间一致性，避免未来信息泄露。

ChronoBERT与ChronoGPT模型构建与预训练 [page::5][page::6][page::9][page::12]

• ChronoBERT基于BERT架构，采用掩码语言模型训练，训练语料为经过质量筛选的时序文本，首个版本基于1999年及之前数据，训练逾4600亿tokens。

- ChronoGPT基于改进的 nanoGPT 架构，采用自回归语言模型训练，参数选定为15亿，首版同样训练于1999年及之前数据。

• 模型通过逐年增量训练更新至2024年，确保模型知识截止时间对应实际训练数据年份。

语言理解性能与时间一致性验证 [page::11][page::13][page::15][page::18][page::21]

• ChronoBERT在GLUE语言理解基准测试中，表现优于无未来数据泄漏的StoriesLM和FinBERT，接近甚至超过原版BERT，2024年版本GLUE得分超过85分。

- ChronoGPT在HellaSwag推理测试中逐年提升表现，2024年版本准确率达到约38%，优于GPT-2基础版。

• 通过U.S.总统任期填空测试及重大历史事件词预测，证明模型不会泄漏未来信息，验证时间一致性。

金融新闻驱动的股票回报预测实验 [page::8][page::23][page::24][page::26][page::28]

• 使用Dow Jones Newswire金融新闻及CRSP股票回报数据，以Fama-MacBeth岭回归映射新闻嵌入至下一日股票回报预测。

- 构建的长短头寸组合策略显示ChronoBERT和ChronoGPT的实时模型Sharpe比率约为4.8和4.9，显著超越FinBERT、StoriesLM及GPT-2 XL等对比模型。

• 实验结果表明，模型语言理解提升显著转化为投资回报的经济效益，且未来信息泄露（lookahead bias）对收益影响较小。

模型规模扩展与性能权衡 [page::38][page::39]

• 规模从1.2亿到15亿参数的ChronoGPT模型验证显示，参数规模扩大能显著提升模型验证损失和语言理解能力，最终选定1.5亿参数用于完整版模型训练。

结论与未来展望 [page::28][page::29]

• 克服了训练泄露风险，构建了时间一致且具备较好语言理解能力的LLMs，显著增强了基于文本的金融预测可靠性。

- 未来将探索其他领域阻止未来数据泄露的方法及针对时间一致LLM的计算最优训练策略。

关键图表展示

• 通证训练量与模型验证损失及语言理解成绩（GLUE、HellaSwag）的关系，清晰展示了时间一致语言模型随训练进展提升的表现。

金融分析报告详尽解构与深度分析

报告标题：Chronologically Consistent Large Language Models
作者：Songrun He, Linying Lv, Asaf Manela, Jimmy Wu
首次稿件时间：2025年2月
当前稿件时间：2025年7月
主题：大规模语言模型（LLMs）的时间一致性训练框架及其在金融新闻驱动股票收益预测中的应用

---

1. 元数据与报告概览

该报告围绕“时间一致性大语言模型”（ChronoBERT和ChronoGPT）的训练与应用展开，核心议题是如何在不引入未来信息（即避免lookahead bias，提前透视偏差）的前提下，构建具备强语言理解能力且对时间序列严格约束的语言模型。

• 报告主要贡献：

- 提出一套时间一致的LLM训练框架，保证训练数据严格按时间点截断，模型从未见过未来文本。
- 实证表明，所开发的ChronoBERT和ChronoGPT在标准语言理解基准（如GLUE、HellaSwag）上表现强劲，甚至匹配或优于主流非时间约束的模型。
- 在实证资产定价应用中，验证利用金融新闻预测次日股票回报的投资组合表现，发现时间一致模型的表现不输于大型且非限制性训练的模型（如Llama 3.1，8B参数）。
- 指出lookahead bias对模型性能的影响因模型类型及应用而异，且在典型金融预测任务中并不显著。

• 评级与结论：报告变量未采用传统股票研究评级，但其整体立场是正向支持时间一致性模型的科研价值和实用性。

- 关键词：大语言模型、时间一致性、lookahead bias、训练泄露、回测、金融文本分析[page::0,1,2,3]

---

2. 报告结构逐章深度解读

2.1 引言与研究动机（第1-4页）

• 关键论点：金融与经济学领域严重依赖实时信息，传统LLMs的训练数据跨越历史时间点，导致了lookahead bias问题，从而影响回测及推断的准确性。

- 逻辑与假设：通过选择训练语料仅限于截至训练时点可用的文本数据，构建一系列年份对应的模型。这保证任何时间点的模型都不包含未来信息。

• 数据处理：采用高质量、多样化且时间戳精确的公开文本语料，克服了数据量受限的挑战，提升模型泛化能力和表述准确度。

- 贡献梳理：介绍了ChronoBERT（BERT架构改进版）和ChronoGPT（GPT架构改进版）两个模型系列及其逐年扩展策略，明确与前沿文献及现有模型的比较目标。

• 说明：强调了对计算资源高效利用和对有限历史语料最大化挖掘的双重挑战[page::1-4]

2.2 方法论与预训练设计（第5-10页）

• ChronoBERT训练：基于Portes等（2023）和Warner等（2024）的改良BERT，使用旋转位置编码和高速注意力机制，采用遮蔽语言模型任务并舍弃了“下一句预测”，高效训练4600亿token覆盖1999年以前文本。

- ChronoGPT训练：基于modified nanoGPT架构，参数规模经扩展性实验确定为15亿，采纳转向快通策略，快速获取语言表示。首期训练使用了710亿token的1999年及以前数据。

• 预训练数据：1999年之前初始训练用7亿token高质量公开文本组成；之后逐年追加2000年-2024年高质多样语料超650亿token，实现知识更新迭代。

- 数据动态过滤依据FineWeb-edu评分，保证文本教材级质量，从内容多样度和历史时间严格把控。

• 明确了评估两个任务场景：语言理解能力（GLUE、HellaSwag）和金融资产定价预测，确保理论方法及实证分析相结合。

- 预测任务设计：采用Fama-MacBeth横截面岭回归，将文本嵌入映射至次日股票收益预测，并基于此构建等权长短组合，执行股票回报预测[page::5-10]

2.3 语言理解与资产定价预测评估（第11-28页）

• 训练效果：

- Validation loss及准确率随训练token数增加而持续改善（图1）。
- ChronoBERT大约在3500亿tokens表现追赶至原版BERT，ChronoGPT在30亿tokens即超越GPT-2初版（图中左下和右上子图）。
- 限于时间约束数据，模型表现达到平台后难以进一步提升（图1右下）。

• 知识截止时间演进：

- 多年份连续训练模型（1999-2024），引入2013年起高质量Common Crawl数据，促进语言理解性能显著升级（GLUE和HellaSwag分数随时间上升，图2）。

• 性能对比：

- 表1、表2汇总模型参数、上下文窗口、知识截止时间并呈现语言理解指标。
- ChronoBERT（约1.5亿参数）在全GLUE指标达85+，略低于现代BERT（88），远优于StoriesLM和FinBERT。
- ChronoGPT表现类似，2024年版本比1999年版本提升4分以上。
- 显著优势来源于多样、高质量过滤的数据，验证无未来数据泄露仍能维持强性能[page::11-16]

---

3. 图表深度解读

3.1 图1：训练token数量与验证损失、评估得分

• (a) ChronoBERT验证损失和GLUE分数随训练token数增加，验证损失（Cross Entropy）显著下降，准确率逐步提升，GLUE得分超过传统BERT但尚低于ModernBERT。

- (b) ChronoGPT的验证损失与HellaSwag表现也随训练展开，HellaSwag分数明显超过GPT-2初版，但未及GPT-2 XL。

• 说明：图体现出在时间受限语料训练背景下，模型提升依赖于有效的训练token积累和精细的训练设计[page::13]

3.2 图2：随时间演进模型的损失与评估分数

• 同图1对应模型随知识截止日期从1999升级到2024，验证交叉熵损失持续下降，语言理解指标稳定提升，强化“时间一致的知识升级”效果。

- 这表明通过连续年份增量训练策略有效提升语言模型能力，同时保持时间屏障，避免未来信息泄露。

• 反馈：模型语言理解提升并非线性增强但稳步正相关，证明质量与时间信息均衡极为重要[page::14]

3.3 表1与表2：模型架构与GLUE得分对比

• 表1展示从ChronoBERT1999到2024版本，参数维持约1.5亿，Context Tokens为1024，知识截止严格按年更新；ChronoGPT则1.5亿参数，Context Tokens达1792，数据也按年更新。对比参考模型Llama 3.1参数为8B，Context高达128K。

- 表2详细任务层面比较：
- ChronoBERT系列在COLA（语法）、RTE（推理）等难度较大任务中远超StoriesLM和FinBERT，显示出数据高质低泄露带来的优势。
- ChronoGPT的进步体现在提升语句连贯性与推理能力（HellaSwag），验证了逐年训练策略的有效性。

• 结论：虽然参数体量远小于Llama，依赖严格的时间划分和高质量训练数据，依然在自然语言理解任务表现出色，强调时间对公平科学回测的重要性[page::15-16]

3.4 表3与表4：总统姓名预测考察训练数据泄露

• 关键思想：用已知且时间标定的历史事件（美国总统当选）作为漏标token预测任务，如果模型包含未来信息，则有可能预测未来第一任期总统。

- 结果：
- ChronoBERT在非截断之前的预测正确率高（68/78），现代BERT和GPT-2 XL几乎完美。
- 在截断后（灰色区），Chrono模型完全没有预测未来“新总统”的正确案例，展示时间一致训练有效避免未来数据泄露。
- 个别模型在二任期总统（如特朗普2025）预测上做出响应，这是由于历史上重复性信息和模型的自回归特性而非泄露。

• 该测试充分验证了所训练语料时间一致性，具有实证意义。

- 类似测试（表5、表6）涵盖多个重大事件，如Enron丑闻、SARS疫情、Brexit等，也显示无未来事件信息泄露[page::18-22]

3.5 表7与表8：利用新闻预测股票收益的投资组合绩效

• 以次日收益预测排名构建长短头寸组合，指标包括平均收益率、波动率和Sharpe比率（SR）。

- ChronoBERT和ChronoGPT（均为实时模型）构建的H-L（High-Low）组合SR分别为4.80和4.92，优于除Llama外的所有对比模型（如GPT-2 XL、BERT、FinBERT、StoriesLM）。

• Llama 3.1的SR为4.90，体量大得多但表现未明显超出Chrono模型，表明时间一致的小型模型在金融预测任务中具备高度竞争力。

- 表8的p值检验表明ChronoBERT、ChronoGPT对比BERT及FinBERT确实达到统计显著性（1%水平）的性能提升，且与Llama无显著差异，强化了无偏差时间一致模型的实用性。

• 该实证结果是一大亮点，充分证明了时间一致训练的金融有效性与经济意义[page::24-25]

3.6 图3与图4：模型随时间演变的组合表现及新闻信息价值衰减

• 图3描绘不同年份训练出的ChronoBERT和ChronoGPT模型用实际年限作索引的Sharpe比率表现。

- 发现“信封”型走势：实时模型（蓝色虚线）常优于晚近年份训练的模型，暗示“未来”模型用未来语义解释过去新闻时的错配损害了预测准确度。

• 该现象强调了时间语境对文本信息提取的本质影响，体现了“时间的语境适配性”优于单纯数据量提升。

- 图4显示由模型构建长短组合的累积年化收益随交易日快速下滑，表现出市场对新闻信息极快吸收。

• ChronoGPT和Llama的第0日收益最集中，市场效率和潜在的消息反应不足均有体现，说明语言模型生成的信号的经济价值集中且迅速衰减。[page::26-28]

---

4. 估值方法分析

报告未直接涉及传统的企业估值，但在金融预测层面，模型预测股票收益构建组合的投资绩效可视为“预测模型估值”，投资表现即模型有效性的经济体现。

• 预测模型通过Fama-MacBeth横截面岭回归映射新闻嵌入与股票未来回报。该统计方法在经济计量金融研究中标准，用于控制时间和截面异质性。

- 在投资组合层面，分析基于等权重日内调整的10分位组合，高收益组-低收益组差值Sharpe率测算策略风险收益比。

• 该方法合理反映了模型提升预期收益的能力与风险调节后的表现，且p值检验确保了统计上的稳健。

- 综合来看，时间一致LLM训练方法的“经济估值”在实际投资决策中具备扎实的实证基础[page::8,9,23-25]

---

5. 风险因素评估

报告未直接列明传统风险管理段落，但隐含风险主要包括：

• 时间戳误差风险：OCR或元数据错误可能导致未来文本被误纳入训练，产生隐性lookahead bias。

- 数据稀缺导致的训练不足：历史语料限制对模型参数规模和表达能力的制约，可能影响顶尖性能。

• 语义时效失配风险：较晚模型用未来视角解释历史新闻时出现信号错读，削弱预测效果。

- 模型自回归重复风险：尤其ChronoGPT生成未来序列时可能偏向已知显著前任事件，产生非理性输出。

缓解策略：

• 严格数据质量控制与多重过滤；

- 年度连续训练策略确保语料递进同步；

• 构建一系列模型年份快照，支持模型选择与替代；

- 客观实验验证无未来事件预测能力，支持时间屏障有效[page::17-22,26]

---

6. 批判性视角及潜在局限

• 报告对训练数据的时间戳准确性假设较强，现实中时间标注存在误差是挑战；

- 语言能力指标如GLUE与HellaSwag虽表征语言理解，也存在与具体下游金融任务的适用性差异；

• 报告表明时间一致训练在预测收益中表现优异，但是否普适于其他社会科学领域尚未完全明晰；

- 对大规模模型如Llama的依赖与成本问题讨论有限，未来仍需权衡精度和资源投入；

• 某些模型检测的“非零”未来期预测（如特朗普连任）表明自回归模型偏置潜在隐患，须谨慎把控[page::17-21,26,29]

---

7. 结论性综合

本报告提出了符合时间一致性原则的两个大规模语言模型系列ChronoBERT与ChronoGPT，实现了在无未来数据训练限制下的强语言理解能力和金融预测效能。经过多任务基准测试和金融实证检验，其表现媲美传统大模型，且显著优于面对lookahead bias设计的先前模型。对美国总统及历史重大事件的时间一致性预测试验证了无数据泄露，确保模型输出符合因果逻辑。

在金融资产定价应用中，通过使用市场实时新闻生成的股票回报预测并构建日常长短头寸，模型实现超越多种基准的高Sharpe率风险调整收益，与大型Llama模型无显著差异，揭示lookahead bias在实际投资预测中影响有限。资产回报的时效性快速衰减也呈现市场效率现象。

报告创新性阐述了不同预训练方法、架构差异（BERT的双向遮蔽模型与GPT的自回归模型）对模型性能的影响，且证明了在数据受限且时间划定严格的条件下通过模型规模扩展仍可取得性能提升。

该时间一致训练框架为金融及社会科学领域提供了一条避免训练数据泄露的可扩展实用路径，既确保研究结果的科学严谨，又兼顾了语言理解表现和计算资源效率，具备重要的理论价值和应用前景。

同时，报告呼吁未来研究探索其他领域的时间一致性偏差问题、计算资源优化训练策略与规模律，推动时间敏感型大语言模型发展，形成更为可信和广泛应用的人工智能金融科技基础。[page::0-30]

---

图表附注展示

---

以上为基于报告全文的详细、严谨、结构化解构，全面涵盖报告所有核心论点、数据与图表，附以专业评析与风险研判，适合金融学者与从业者深入理解与借鉴。

报告