瑞士可变位形托卡马克 TCV 的一次放电中,神经网络每隔 100 微秒读取一组磁测量和当前参考目标,给线圈电源更新一组电压指令。线圈电流随之变化,重新分配等离子体周围的极向磁场。这个循环要反复执行,才能让等离子体电流和截面轮廓跟上预先指定的轨迹。
Degrave 等人在 2022 年发表的实验把深度强化学习策略接入了这条实机闭环。控制器发出电压指令,装置实时测得磁信号,研究人员在放电后根据磁测量重建等离子体边界。电路动力学、平衡反演和时间延迟决定了这些量怎样联系,也决定了实验结果该怎样评估。Degrave 等,Nature(2022)

磁平衡决定了要控制哪些量
把环形装置沿径向和竖直方向剖开,径向坐标记为 R,竖直坐标记为 Z,沿装置绕一圈的方向记为 φ。环向线圈提供强环向场,等离子体中的环向电流和外部极向场线圈共同塑造极向场。两部分磁场叠加后,磁力线螺旋绕行。在轴对称近似下,一族磁面可用极向磁通函数 ψ(R,Z) 的等值面表示,其中 ψ 采用极向磁通除以 2π 的约定。围住磁轴的最外闭合磁面给出了实验中常说的等离子体边界。
若忽略流动惯性并采用标量压强,静态磁流体平衡满足 ∇p = J × B。在满足上述近似的等离子体区域,平衡方程可以写成 Grad–Shafranov 方程。其中 F = R Bφ,撇号表示对 ψ 求导,μ₀ 为真空磁导率。
Δ*ψ = −μ₀ R² p′(ψ) − F(ψ) F′(ψ)
Δ* = ∂²/∂R² − (1/R) ∂/∂R + ∂²/∂Z²
在偏滤器位形中,边界穿过起作用的磁 X 点。普通 X 点是截面上 ψ 的鞍点,那里极向磁场为零,环向场仍可存在。拉长比 κ 则是截面竖向高度与横向宽度之比。增加拉长比会改变垂直稳定性,具体增长率还取决于三角形变、壁面间距等条件。因此一段位形目标通常同时规定等离子体的位置、边界轮廓和总电流,必要时还规定 X 点的运动。轴对称磁平衡与偏滤器位形 · TCV 垂直稳定性实验
电源给线圈施加电压,电感和电阻决定电流如何随时间变化。线圈之间存在互感,金属真空室里的感应电流也会参与改变磁场。因此一路电压可以同时影响位置、轮廓和其他线圈需要补偿的磁通。若某个动作把线圈电流推近上限,即使当下的轮廓更准,下一步用于纠正偏差的余量也会变小。TCV 的线圈布局支持多种位形,适合把这些耦合放到不同的放电任务中检验。EPFL 的 TCV 等离子体控制项目
一个实时周期里,控制器接收什么、输出什么
论文的实时架构使用 92 个测量特征,包括 34 个磁通环读数、38 个局部磁场探头读数、19 路有源控制线圈电流,以及一项欧姆加热线圈电流差。策略同时接收随时间变化的参考目标,最多给 19 路线圈电源下发参考电压。100 微秒是整个控制周期,其中分给策略求值的预算为 50 微秒。实机先用既有系统形成并初步稳定等离子体,到预定时刻才切换到训练完成的策略。Degrave 等,图 1 与实时实现方法
磁探头读的是局部磁场,磁通环提供经信号调理得到的磁通信息。要从这些信号估计磁轴、边界和 X 点,还需要结合装置几何和磁平衡条件做反演。TCV 实验把这两件事分开处理。实时策略直接使用磁测量和任务目标,实验结束后再用 LIUQE 按统一口径重建平衡、评估形状。论文里显示的等离子体截面是这一步重建的产物。EPFL 的 TCV 磁诊断说明 · Degrave 等,放电后评估方法
如何在模拟器中训练可上机的策略
训练在 FGE 自由边界演化模拟器中进行。FGE 把有源线圈、真空室等无源导体和等离子体电流放进耦合的电路模型,再根据磁平衡更新边界。每个 100 微秒的控制步内,模拟器细分为五个数值步。训练还改变等离子体电阻和描述压强、电流剖面的部分参数,并模拟磁测量噪声、滤波以及电源响应。这样,一组动作会在不同的装置状态下接受检验。模型覆盖的是磁平衡与电路演化,温度和粒子输运等问题需要各自的物理模型。Degrave 等,FGE 与参数随机化方法
研究用最大后验策略优化(MPO)更新连续动作策略。训练采用非对称的 actor–critic 结构,带循环网络的 critic 能利用一段观测和动作历史估计长期回报,实时端运行计算时间可控的前馈 actor。训练阶段会对动作进行采样,实机执行时取策略分布的均值。切换到放电闭环后,网络权重固定,实时任务是求值和下发指令。MPO 原始论文 · Degrave 等,策略训练与部署
一次任务可以同时追踪用米计的边界误差、用安培计的电流误差,以及电流使用等约束分量。论文的方法先用容差函数把各项误差转换为同一尺度的分数,再按权重用广义均值聚合,让分数很低的分量有机会拉低整体回报。容差反映怎样的误差在物理上可接受,权重反映同时满足各项要求的优先级。多设一项奖励,也就多设了一项需要验证的取舍。诸如电源电压限幅、线圈电流边界和需要退出放电的条件,仍要在装置控制和保护中明确落实。Degrave 等,奖励定义与保护范围
一拍延迟怎样改变闭环稳定性
图 3a 的高拉长比放电达到 κ ≈ 1.9。研究者在实验后重建的平衡附近做线性化,估计开环垂直不稳定模的增长率超过 1.4 × 10³ s⁻¹。以这个数值为例,初始偏移按指数增长时,放大到 e 倍只需约 0.71 ms,相当于七个控制周期。这个比值说明留给反馈的时间很短。实际闭环能否稳定,还取决于测量滤波、电源与线圈响应、动作限幅和各环节叠加的延迟。Degrave 等,图 3a 与垂直稳定性估计
下面用一个无量纲算例单独考察延迟。xₙ 表示第 n 拍的垂直偏差,uₙ 表示该拍的控制动作,a = 1.1、b = 0.5、K = 2.4 均为教学设定。实时拿到 xₙ 时,每拍乘以 a − bK = −0.1,偏差交替变号并迅速缩小。延迟一拍时,同样的增益给出的特征根是复共轭,乘积为 1.2,模长为 √1.2 ≈ 1.095。扰动会振荡放大。
状态更新 xₙ₊₁ = a xₙ + b uₙ
即时反馈 uₙ = −K xₙ ⇒ λ = a − bK
延迟一拍 uₙ = −K xₙ₋₁ ⇒ λ² − aλ + bK = 0
模型失配也会改写同一判据。在即时反馈算例中,若实际动作响应从 b = 0.5 增至 b = 1,闭环系数就从 −0.1 变为 −1.3。图里的轮廓动画用来说明目标追踪。验证实机稳定性时,应在记录中逐一对齐测量时间、下发时间、电源实际响应、重建边界和限幅状态,判断偏差从哪一环开始累积。
展开演示动图 · 反馈控制示意

TCV 实机结果怎样量化
论文用放电后重建的最外闭合磁面计算形状误差。每个评估时刻有 32 个目标边界点,重建轮廓被插值成 128 点的闭合多边形。先求每个目标点到这条多边形边界的最短距离,再在目标点和评估时间上做均方根汇总。这是从目标轮廓到重建边界的单向距离统计。X 点位置、截面中心偏移和拓扑变化可以独立测量,等离子体电流的追踪误差则以 kA 单列。Degrave 等,形状误差定义和扩展数据表 1
| 实机位形(图 3) | 该次放电中的目标或变化 | 形状 RMSE | 电流 RMSE |
|---|---|---|---|
| 高拉长比 | 截面拉长比约 1.9 | 1.6 cm | 1.2 kA |
| 类 ITER 位形 | TCV 上用中性束加热进入高约束模式(H 模) | 1.4 cm | 2.6 kA |
| 负三角形变 | 目标三角度 −0.8 | 1.3 cm | 3.5 kA |
| 雪花偏滤器位形 | 两个磁 X 点的间距由 34 cm 缩至 6.6 cm | 0.65 cm | 0.50 kA |
表中各行对应不同目标和控制窗口,数字适合说明各次放电达到的量级。图 4 另外展示了两个空间分离的等离子体,在完整的 200 ms 控制窗口内维持各自的位置,并分别提高各自的电流。这些实验展示了磁控制可以处理的位形和轨迹范围。若要比较追踪精度和稳定余量,还需要给不同控制器安排同样的参考轨迹和运行条件。Degrave 等,图 3、图 4 及扩展数据表 1
怎样与传统控制比较,怎样验证迁移
有意义的对照应使用同一个参考轨迹、相近的放电初态与交接窗口,并统一传感器可用性和电源约束。传统基准可以采用 TCV 上已有的模型控制。让两种策略交错运行多次,能减少壁面状态随时间变化带来的偏差。用同一套 LIUQE 流程和评估时间段计算边界误差,同时记录电流偏差、垂直位移峰值、扰动后的恢复时间,以及要求保持 X 点的区间内是否发生拓扑变化。TCV 模型化垂直位置控制实验
装置记录还应保留电压限幅时间、线圈电流的最小可用余量、控制周期超时次数和交接后的提前终止。预先定义怎样算完成整段参考轨迹,把任务完成率和成功放电中的形状 RMSE 一起报告。估计不确定性时,以独立放电为单位比把同一条轨迹上连续采样的点当作独立试验更合理。比较设计成本时,把传统系统的模型辨识与调参、学习系统的模拟器校准、训练和验证分别计入。策略在线运行得快,只回答了实时执行这一项。
后续 TCV 工作量化了仿真与实机的差距。Tracey 等在一个保持固定轮廓的任务中调整奖励,仿真的边界 RMSE 从 0.350 cm 降到 0.178 cm。对应的两次 TCV 放电中,误差却从 0.698 cm 增到 0.863 cm。单次放电间的差异不足以估计两种策略的平均性能,但足以说明为什么调整训练目标后要重新上机验证。Tracey 等,表 5
换到另一台装置时,线圈和真空室改变了输入输出关系,诊断布局与电源改变了可用测量和执行延迟,模拟器需要重新校准,策略也要经过实机验证和独立保护。TCV 实验验证了模拟训练的策略能在真实放电中接过磁控制,在毫秒以下的反馈时间尺度上追踪电流和磁位形。净能量增益、热负荷及长脉冲运行各有独立的评估指标。









