Reinforcement Learning for Seismic Inversion(RL4SI)

Major Section · Phase IV

平滑初模、透射观测与 B-spline 策略

在统一低维反演架构下，系统比较 TT-only、L1+L2 与 FWI Contrastive 三类 reward，并逐一展示六个 CurveVel-A 模型的结果。

3 rewards · 6 models · 18 results

01 · Inversion Architecture

反演架构与受控变量

三组实验使用相同模型、采集几何、策略参数化与优化器，仅替换 reward，从而把收敛差异归因于目标函数设计。

01 平滑初始模型

由真实 CVA 模型构造统一的低波数初始速度。

02 Gaussian 策略采样

在 4×4 控制点空间采样 G=32 个候选动作。

03 B-spline 重建

将低维控制点插值为 70×70 候选速度模型。

04 Deepwave 正演

透射式采集几何下生成每个候选模型的合成炮集。

05 Reward 评价

分别采用 TT-only、L1+L2 或 Contrastive。

06 GDPO Advantage

在组内标准化 reward，得到相对优势信号。

07 PPO 策略更新

通过 clipped surrogate loss 更新策略分布。

策略更新后返回步骤 02，继续采样与迭代 ↺

02 · Reward Design

三类 Reward 的信息侧重

三类目标分别关注事件到达时间、逐点振幅误差和弱相位依赖的整体相似度，代表从大尺度运动学到波形细节的不同约束。

Kinematics

TT-only

\[R_{\mathrm{TT}}=-\operatorname{mean}_{s,r}\left|t_{\mathrm{first}}\!\left(d^{\mathrm{pred}}_{sr}\right)-t_{\mathrm{first}}\!\left(d^{\mathrm{obs}}_{sr}\right)\right|\]

只比较初至走时，主要约束背景速度和大尺度结构；对振幅误差不敏感，但无法充分利用后续反射事件。

Waveform residual

L1 + L2

\[R_{L_1+L_2}=-\frac{1}{2}\left\|\tilde d_{\mathrm{pred}}-\tilde d_{\mathrm{obs}}\right\|_1-\frac{1}{2}\left\|\tilde d_{\mathrm{pred}}-\tilde d_{\mathrm{obs}}\right\|_2^2\]

同时约束稀疏大残差与整体能量误差，能够细化波形，但初始模型较差时仍可能受到 cycle skipping 影响。

Similarity

FWI Contrastive

\[R_{\mathrm{contra}}=\frac{1}{2}\,\operatorname{cos}\!\left(|\mathcal Fd_{\mathrm{pred}}|,|\mathcal Fd_{\mathrm{obs}}|\right)+\frac{1}{2}\max_{\tau}\operatorname{NCC}(\tau)\]

联合频谱余弦相似度与最大归一化互相关，对绝对振幅和小范围时移更宽容，强调事件形态和频率结构。

03 · Controlled Comparison

六个模型上的初始比较

指标为历史最佳速度 MAE，单位 m/s，数值越低越好。着色单元格表示三种候选 reward 在该模型上的最佳结果。

Reward CVA18 CVA50 CVA10 CVA6 CVA8 CVA5
TT-only 10.2 36.9 150.0 58.4 75.1 106.0
L1 + L2 83.1 39.2 247.3 33.5 22.8 212.6
FWI Contrastive 38.3 27.6 97.5 65.8 130.3 90.3
A · TRAVEL TIME

TT-only：六模型结果

整体表现相对稳健，CVA18 达到 10.2 m/s；但在 CVA10 等困难模型上，单纯走时约束不足以恢复完整细节。

TT-only 在 CVA18 上的反演演化
CVA18Best MAE 10.2
TT-only 在 CVA50 上的反演演化
CVA50Best MAE 36.9
TT-only 在 CVA10 上的反演演化
CVA10Best MAE 150.0
TT-only 在 CVA6 上的反演演化
CVA6Best MAE 58.4
TT-only 在 CVA8 上的反演演化
CVA8Best MAE 75.1
TT-only 在 CVA5 上的反演演化
CVA5Best MAE 106.0
B · WAVEFORM RESIDUAL

L1 + L2：六模型结果

CVA6、CVA8 上细化能力突出，但 CVA10、CVA5 明显失效，说明逐点波形残差对初始波形对齐和模型难度非常敏感。

L1 + L2 在 CVA18 上的反演演化
CVA18Best MAE 83.1
L1 + L2 在 CVA50 上的反演演化
CVA50Best MAE 39.2
L1 + L2 在 CVA10 上的反演演化
CVA10Best MAE 247.3
L1 + L2 在 CVA6 上的反演演化
CVA6Best MAE 33.5
L1 + L2 在 CVA8 上的反演演化
CVA8Best MAE 22.8
L1 + L2 在 CVA5 上的反演演化
CVA5Best MAE 212.6
C · CONTRASTIVE SIMILARITY

FWI Contrastive：六模型结果

在 CVA50、CVA10、CVA5 上取得三者中的最低 MAE，表明频谱和最大相关性对波形错位更宽容；但 CVA8 上并不稳定。

FWI Contrastive 在 CVA18 上的反演演化
CVA18Best MAE 38.3
FWI Contrastive 在 CVA50 上的反演演化
CVA50Best MAE 27.6
FWI Contrastive 在 CVA10 上的反演演化
CVA10Best MAE 97.5
FWI Contrastive 在 CVA6 上的反演演化
CVA6Best MAE 65.8
FWI Contrastive 在 CVA8 上的反演演化
CVA8Best MAE 130.3
FWI Contrastive 在 CVA5 上的反演演化
CVA5Best MAE 90.3
Major Section · Phase VI

Fixed-layout 单 Reward 系统验证

统一地震数据布局为 [shot, receiver, time] 后，对八类单 reward 在十个 CurveVel-A 模型上重新验证，并同步保存速度、残差、收敛与波形证据。

8 rewards · 10 models · 80 runs

Phase VI · Corrected Benchmark

八十次实验的总体证据

所有实验采用同一 Gaussian B-spline 策略、平滑初模、透射几何和 seed=42。评价指标为训练期间采样到的 Best MAE，同时报告 Final MAE 与 final-best gap。

80 / 80实验完整结束，无运行错误
8单 Reward 类型
10CurveVel-A 模型
5000每组最大训练步数
Rank / RewardMean BestMedianMean FinalFinal−Best GapWins
1 · Wasserstein W161.9049.4395.3433.442
2 · Wasserstein W266.3165.2594.5528.242
3 · TT-only71.4170.41105.0733.662
4 · AWI72.8266.70109.0436.220
5 · Max-lag NCC73.2467.26117.8044.560
6 · Envelope NCC74.4268.95109.1234.700
7 · Zero-lag NCC96.0973.12142.3546.261
8 · L1 + L2108.9064.32148.1139.223
Phase VI 八种 reward 的平均 Best MAE 排名
十模型 Mean Best MAE 排名。
Phase VI 八种 reward 在十个模型上的 Best MAE 热力图
8 × 10 完整实验矩阵，展示模型依赖性。
Phase VI 代表性实验的收敛曲线
代表性 MAE 收敛曲线：多数方法能找到好模型，但后期存在回摆。
Phase VI 各 reward 的 Final 与 Best MAE 差距
Final−Best gap：衡量策略能否最终稳定在已发现的优质区域。

Phase VI · Reward Evidence

八类 Reward 的计算与结果

每块先说明实际代码中的 reward 计算，再给出十模型统计，并统一展示 CVA18、CVA50、CVA10 三个模型。点击图片可放大查看。

01 · Reward definition

L1 + L2

对 sign-preserving log 压缩后的预测与观测波形，同时计算绝对误差和平方误差。它能精细匹配振幅，但跨模型稳定性较弱。

\[\begin{aligned}\tilde d&=\operatorname{sign}(d)\log\!\left(3|d|+\varepsilon\right),\\R_{L_1+L_2}&=-\sum\left|\tilde d_{\mathrm{pred}}-\tilde d_{\mathrm{obs}}\right|-\sum\left(\tilde d_{\mathrm{pred}}-\tilde d_{\mathrm{obs}}\right)^2\end{aligned}\]
10 模型 Mean Best MAE108.90
Median Best MAE64.32
Mean Final−Best Gap39.22
逐模型第一名次数3 / 10

CVA18

较容易模型
L1 + L2 在 CVA18 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 86.61，Final 90.23 m/s。
L1 + L2 在 CVA18 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA50

中等模型
L1 + L2 在 CVA50 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 42.03，Final 64.5 m/s。
L1 + L2 在 CVA50 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA10

困难模型
L1 + L2 在 CVA10 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 248.17，Final 380.07 m/s。
L1 + L2 在 CVA10 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。
02 · Reward definition

TT-only

使用 STA/LTA 能量比拾取每条 trace 的初至时间，再对平均绝对走时差做对数缩放，强化低误差区间的区分能力。

\[R_{\mathrm{TT}}=-\log\!\left(\operatorname{mean}_{s,r}\left|t_{\mathrm{first}}\!\left(d^{\mathrm{pred}}_{sr}\right)-t_{\mathrm{first}}\!\left(d^{\mathrm{obs}}_{sr}\right)\right|+\varepsilon\right)\]
10 模型 Mean Best MAE71.41
Median Best MAE70.41
Mean Final−Best Gap33.66
逐模型第一名次数2 / 10

CVA18

较容易模型
TT-only 在 CVA18 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 10.15，Final 28.05 m/s。
TT-only 在 CVA18 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA50

中等模型
TT-only 在 CVA50 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 36.86，Final 57.26 m/s。
TT-only 在 CVA50 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA10

困难模型
TT-only 在 CVA10 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 150.02，Final 243.93 m/s。
TT-only 在 CVA10 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。
03 · Reward definition

Wasserstein W1

把每条振荡波形的绝对值归一化为时间轴概率密度，通过 CDF 距离比较事件能量在时间上的整体搬运。

\[\begin{aligned}\rho(t)&=\frac{|d(t)|}{\sum_t|d(t)|},\\R_{W_1}&=-\sum_{\mathrm{trace}}\int\left|F_{\mathrm{pred}}(t)-F_{\mathrm{obs}}(t)\right|\,\mathrm dt\end{aligned}\]
10 模型 Mean Best MAE61.90
Median Best MAE49.43
Mean Final−Best Gap33.44
逐模型第一名次数2 / 10

CVA18

较容易模型
Wasserstein W1 在 CVA18 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 4.53，Final 6.43 m/s。
Wasserstein W1 在 CVA18 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA50

中等模型
Wasserstein W1 在 CVA50 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 51.24，Final 114.59 m/s。
Wasserstein W1 在 CVA50 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA10

困难模型
Wasserstein W1 在 CVA10 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 146.31，Final 229.79 m/s。
Wasserstein W1 在 CVA10 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。
04 · Reward definition

Wasserstein W2

将平方波形加小常数后归一化，并在分位数空间计算二次 Wasserstein 距离，更强地惩罚较大的时间搬运。

\[\begin{aligned}\rho(t)&=\frac{d(t)^2+\eta}{\sum_t(d(t)^2+\eta)},\\R_{W_2}&=-\sum_{\mathrm{trace}}\left[\int_0^1\left|F_{\mathrm{pred}}^{-1}(\alpha)-F_{\mathrm{obs}}^{-1}(\alpha)\right|^2\,\mathrm d\alpha\right]^{1/2}\end{aligned}\]
10 模型 Mean Best MAE66.31
Median Best MAE65.25
Mean Final−Best Gap28.24
逐模型第一名次数2 / 10

CVA18

较容易模型
Wasserstein W2 在 CVA18 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 7.44，Final 36.81 m/s。
Wasserstein W2 在 CVA18 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA50

中等模型
Wasserstein W2 在 CVA50 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 55.4，Final 117.71 m/s。
Wasserstein W2 在 CVA50 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA10

困难模型
Wasserstein W2 在 CVA10 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 124.63，Final 159.86 m/s。
Wasserstein W2 在 CVA10 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。
05 · Reward definition

Zero-lag NCC

逐 trace 去均值并归一化，只计算零时移相关系数。它对整体振幅缩放不敏感，但不能主动校正事件时间偏移。

\[R_{\mathrm{NCC0}}=\operatorname{mean}_{\mathrm{trace}}\frac{(d_{\mathrm p}-\mu_{\mathrm p})^{\mathsf T}(d_{\mathrm o}-\mu_{\mathrm o})}{\|d_{\mathrm p}-\mu_{\mathrm p}\|_2\,\|d_{\mathrm o}-\mu_{\mathrm o}\|_2+\varepsilon}\]
10 模型 Mean Best MAE96.09
Median Best MAE73.12
Mean Final−Best Gap46.26
逐模型第一名次数1 / 10

CVA18

较容易模型
Zero-lag NCC 在 CVA18 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 37.21，Final 48.44 m/s。
Zero-lag NCC 在 CVA18 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA50

中等模型
Zero-lag NCC 在 CVA50 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 244.62，Final 573.68 m/s。
Zero-lag NCC 在 CVA50 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA10

困难模型
Zero-lag NCC 在 CVA10 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 186.66，Final 213.91 m/s。
Zero-lag NCC 在 CVA10 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。
06 · Reward definition

Max-lag NCC

在 ±80 个采样点内寻找最大相关峰，并对最优 lag 的绝对值施加惩罚，使 reward 同时鼓励高相似度和零时移。

\[R_{\mathrm{NCCmax}}=\operatorname{mean}_{\mathrm{trace}}\left[\max_{|\tau|\le 80}\operatorname{NCC}(\tau)-0.005|\tau_{\mathrm{opt}}|\right]\]
10 模型 Mean Best MAE73.24
Median Best MAE67.26
Mean Final−Best Gap44.56
逐模型第一名次数0 / 10

CVA18

较容易模型
Max-lag NCC 在 CVA18 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 21.27，Final 40.38 m/s。
Max-lag NCC 在 CVA18 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA50

中等模型
Max-lag NCC 在 CVA50 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 56.98，Final 107.66 m/s。
Max-lag NCC 在 CVA50 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA10

困难模型
Max-lag NCC 在 CVA10 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 147.39，Final 265.94 m/s。
Max-lag NCC 在 CVA10 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。
07 · Reward definition

Envelope NCC

先通过 Hilbert 变换提取波形包络，再计算零时移 NCC，强调低频包络形态而弱化快速振荡和绝对振幅。

\[\begin{aligned}E(d)&=\left|d+\mathrm i\,\mathcal H[d]\right|,\\R_{\mathrm{envNCC}}&=\operatorname{mean}_{\mathrm{trace}}\operatorname{NCC}_{\tau=0}\!\left(E(d_{\mathrm{pred}}),E(d_{\mathrm{obs}})\right)\end{aligned}\]
10 模型 Mean Best MAE74.42
Median Best MAE68.95
Mean Final−Best Gap34.70
逐模型第一名次数0 / 10

CVA18

较容易模型
Envelope NCC 在 CVA18 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 22.58，Final 50.81 m/s。
Envelope NCC 在 CVA18 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA50

中等模型
Envelope NCC 在 CVA50 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 62.3，Final 132.77 m/s。
Envelope NCC 在 CVA50 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA10

困难模型
Envelope NCC 在 CVA10 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 146.66，Final 241.54 m/s。
Envelope NCC 在 CVA10 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。
08 · Reward definition

AWI

构造将预测波形匹配到观测波形的 Wiener 滤波器；正确模型应使滤波器能量集中在零时移，因此 reward 惩罚其时间扩散。

\[\begin{aligned}W(f)&=\frac{D_{\mathrm{obs}}(f)D_{\mathrm{pred}}^*(f)}{|D_{\mathrm{pred}}(f)|^2+\varepsilon},\\R_{\mathrm{AWI}}&=-\operatorname{mean}_{\mathrm{trace}}\frac{\sum_\tau|\tau|w(\tau)^2}{\sum_\tau w(\tau)^2}\end{aligned}\]
10 模型 Mean Best MAE72.82
Median Best MAE66.70
Mean Final−Best Gap36.22
逐模型第一名次数0 / 10

CVA18

较容易模型
AWI 在 CVA18 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 22.75，Final 40.79 m/s。
AWI 在 CVA18 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA50

中等模型
AWI 在 CVA50 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 50.39，Final 89.55 m/s。
AWI 在 CVA50 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。

CVA10

困难模型
AWI 在 CVA10 上的速度模型、残差与收敛曲线
模型、残差与曲线；Best 147.1，Final 252.06 m/s。
AWI 在 CVA10 上的预测与观测 wiggle 波形对比
初始、Best 与 Final 的预测—观测 wiggle 叠加。
Major Section · Phase VII

复杂模型测试

3 models · 1 controlled init · 3 stages

Phase VII · Expanded Models

扩大模型测试

修改模型，使得模型结构更复杂，让波形匹配更敏感。

模型初始 MAE最佳单 Reward最佳搜索策略最佳多尺度相对初始改善
Marmousi289.50300.60
NCC maxlag		201.96
Coarse-token + TT		187.65
TT → TT → NCC0		−101.85
Salt A 90×270611.78509.54
NCC maxlag		499.47
Coarse-token + TT		421.06
TT → TT → NCC0		−190.72
Synthetic335.20193.60
TT-only		81.30
Mid-token + TT		75.16
NCC0 multiscale		−260.04

Phase VII · Results

实验结果

Model 01 · ms_tt_ncc

Marmousi

Initial MAE289.50
Best MAE187.65
Final MAE190.07
Best improvement−101.85
Marmousi Medium-gradient 多尺度反演速度模型对比
初始、阶段结果与目标速度模型。
Marmousi Medium-gradient 多尺度反演收敛曲线
分阶段 MAE 与 reward 收敛过程。
Marmousi Medium-gradient 多尺度反演 wiggle 波形对比
代表炮观测与预测 wiggle 叠加。
Model 02 · ms_tt_ncc

Salt A 90×270

Initial MAE611.78
Best MAE421.06
Final MAE425.90
Best improvement−190.72
Salt A Medium-gradient 多尺度反演速度模型对比
初始、阶段结果与盐体目标模型。
Salt A Medium-gradient 多尺度反演收敛曲线
分阶段 MAE 与 reward 收敛过程。
Salt A Medium-gradient 多尺度反演 wiggle 波形对比
代表炮观测与预测 wiggle 叠加。
Model 03 · ms_ncc

Synthetic

Initial MAE335.20
Best MAE75.16
Final MAE78.16
Best improvement−260.04
Synthetic Medium-gradient 多尺度反演速度模型对比
初始、阶段结果与 Synthetic 目标模型。
Synthetic Medium-gradient 多尺度反演收敛曲线
分阶段 MAE 与 reward 收敛过程。
Synthetic Medium-gradient 多尺度反演 wiggle 波形对比
代表炮观测与预测 wiggle 叠加。