只有一张带噪显微图,Noise2Void 怎样分清颗粒和噪声?

显微相机上一团微弱的亮斑,可能是连续结构的一部分,也可能是几颗光子恰好落在相邻位置。调亮图像往往把二者一并放大。提高曝光可以增加光子计数,但活样本会运动,荧光染料可能衰减,强光还可能改变后续要研究的过程。一张看起来干净的长曝光照片,有时连短曝光照片里对象的位置都对不上。遇到这种数据,拿干净图作目标的成对训练就失去了可靠的参照。

Krull 等提出的 Noise2Void(N2V)从一个更小的问题起步。先遮住正在预测的那个像素,再看周围能给出多少线索。如果组织纹理在相邻像素间延续,模型能学到延续的规律。如果中心像素独有的随机误差没有写在邻域里,模型也很难学会它。两个条件合在一起,才有了拿带噪图监督带噪图的理由。文章中的动图用重复采样来说明随机噪声如何抵消,盲点训练则利用另一种可获得的统计信息。

黑底上由蓝紫色散点包围的青绿色荧光结构
AI 生成配图 · 荧光显微摄影风格 · 未完纪

先写清楚相机读到了什么

把观察到的像素记作 Y,把相同曝光与光学条件下的平均信号记作 S。简单的模型是 Y = S + E,其中误差 E 可以随亮度而改变。光子计数服从理想泊松模型时,明亮处的绝对波动往往更大,但相对波动更小。看到亮区跳动强,不能直接推出那里出现了额外的结构。盲点方法更关心的是,给定底层信号后,能否利用隔壁像素的波动猜到中心像素的误差,以及误差的条件平均是否为零。

真实仪器里的误差有许多层。光子到达的不规则性是一层。读出电路可能引入条纹或共同偏置,暗场校正可能留下固定图样,扫描位置也可能随时间漂移。去马赛克、插值和某些先做的降噪会使原本彼此独立的误差扩散到邻近像素。两张外观都很粗糙的图,可能具有不同的噪声结构。一套方法在一台相机上表现良好,更换读出模式、曝光或前处理后,相关假设也要重查。

S 本身已经受物镜的点扩散函数、采样率和照明条件影响。如果两个光点在光学系统里已严重重叠,盲点去噪得到的平滑结果只说明模型从邻域估出了亮度。是否能分辨两个目标,需要专门的分辨率测试。这个区别直接决定处理后的图能否参与结构测量。

为什么遮住中心,监督信号就变了

如果把同一个带噪像素既放进输入,又放进训练目标,足够灵活的网络可以照抄数值。训练损失可以接近零,图上的噪声仍会保留。N2V 训练时抽取部分位置,以附近的像素值替换它们的输入,由网络预测被替换位置的原读数。损失只在选中的位置计算。这个操作让网络无法从准确的位置直接读到该次波动。它仍可以看见亮斑的其余部分、线条从两侧的走向,以及更大尺度的局部亮度。

用平方误差可以推导这项取舍。把中心以外的可用上下文记作 C,给定 C 时,最小化期望平方误差的预测是中心读数的条件均值 E[Y|C]。若中心噪声的条件均值为零,这一项就等于 E[S|C]。模型反复遇到类似上下文时,正负误差不易形成规律。Noise2Self 用一类对目标像素集合的原观测保持不变的函数刻画这一性质。Noise2Noise 则利用同一场景的独立带噪观测作目标。两种自监督思路需要不同的数据采集条件。

条件均值同时划出了还原的边界。就算训练达到理想极限,模型得到的仍是由邻域能够推断的平均信号。两个底层结构恰好具有相似邻域时,最优预测可能在二者之间折中。孤立而真实的异常点、只在很少样本里出现的新对象、小于图像采样间距的结构,都容易在总体分数里被掩盖。

展开演示动图 · 独立噪声的统计抵消
左侧为一次采样,右侧随着重复采样次数增长显出稳定结构。
左侧为一次采样,右侧随着重复采样次数增长显出稳定结构。

重复观测何时能抵消噪声

用一组假设数字做算例。设小区域的真实平均亮度是 24,三次独立测量在相同曝光下读到 18、26 和 28。直接求平均得到 24。真实数据不会每三次都这样抵消,这组数只是便于心算。如果每次独立误差的标准差都是 6,九次观测的平均值标准差便为 6 除以根号 9,也就是 2。动图让同一幅潜在图像反复带上不同噪声,稳定的点状结构随平均次数增加变得清楚。

现在假设读出线路存在固定加 4 的偏置。九次平均后随机波动仍会下降,平均值却会接近 28。增加样本量只能让这个错值显得更稳定。盲点训练面临相似的风险。某一行条纹同时出现在中心和邻域,模型顺着同一行就能把它补出来。此时模型改善了对观测读数的预测,输出却保留了读出条纹。观察到训练误差降低,不能据此判断条纹已被去掉。

N2V 不要求拍九张图。重复观测依靠同一对象的一组时间样本,盲点训练依靠可见邻域和同类图像的统计关系。如果不能稳定重复采集,盲点预测更有价值,也更需要提前弄清楚哪些信息只能从中心像素本身取得。

论文结果能回答哪些问题

原论文在人工加噪的图像和真实显微成像例子中展示了这项方法。合成数据允许在测试时与已知结构比较,有助于判断在哪些噪声假设下重建误差降低。真实显微图的底层信号通常不能直接取得,输出的清晰程度、独立参考采集和下游测量分别提供不同证据。确定哪一类证据可用,需要读清数据获取、配准和拆分方式。

评估自己的显微数据,可以先和两种简单基线对照。一个是高斯或中值滤波,调到相近的背景波动程度,比较同一亮点在图上的位置和线宽。另一个是在稳定样本上采集短间隔重复图像,用独立帧平均作参照。对于会变化的样本,应把配准误差、漂白趋势和观察时间写进比较。还可以在可测的标样上做独立校准,再决定哪些变化超出了仪器本身的波动。

数据拆分也会改变结论。把一张图切成重叠的小块,再让邻近小块分别进入训练和测试,重复纹理会使测试看起来容易。若目标是迁移到新样本,应按视野、时间段、制样批次或成像装置拆开。若仅在单张待测图上做自监督恢复,评价应该围绕该图中可独立验证的对象定义。两种试验测试的是不同能力。

用残差和注入回收测试弱结构

处理前可以用暗帧、均匀参考区域或近似均匀的背景,比较横向与纵向的邻接误差。若某个方向上的残差持续产生周期峰,下一步可检查读出条纹、扫描抖动和像素插值。如果大块残差出现在膜边缘或稳定的亮颗粒位置,也可能是模型减弱了真正的信号。把残差图和原始成像方向对照,可以帮助区分来自装置的纹理与来自样本的纹理。

接着做注入回收。在带有合适背景和噪声的合成图中,加入已知亮度、宽度和位置的圆斑,覆盖孤立点、成对接近的点和连续细线。记录原信号与输出的总光强差、位置偏差、线宽变化和检出率。把结果按信噪比、亮度和相邻结构距离分组,便能看出算法会不会吞掉最难看到的那类信号。强光点即使复原很好,弱光点也可能几乎消失。弱点所占像素少,全图均方误差往往对这种失败不敏感。

结果还可能看起来前后一致,却使事件计数偏移。比如在相邻帧里,一个真实亮点由弱转强,空间条件均值预测可能让它延迟显现。跟踪任务可固定同一检测器与阈值,比较首次出现时间、持续长度与轨迹中断率。用于分割的图像则要看关键边界的位置和面积变化。保留原始图和完整处理设置,可以让后来的人复算这些差别。

先规定哪些结果必须保留

一项实用的验收从预先指定不可牺牲的量开始。若目的是让读者看清对象的大体位置,边缘轻微展宽可能可以接受。若用图估计两个颗粒的间距,定位偏差就要单独量化。可在分析前定义一个可接受误差区间,用独立样本复验,并把不同亮度和背景环境分别报告。这样改进就有了可复查的目标,也减少了事后只挑最好看示例的诱惑。

如果盲点模型让图更悦目,但测得光强偏离参考,可以让处理图承担展示,原始图承担相应的定量分析,并在图注交代各自用途。处理记录中还要能查到模型版本、遮挡方式、训练图像范围和背景校正。换一个步骤导致同一对象的强度出现变化时,差别才找得到来处。

Noise2Void 的研究意义在于把成像的统计结构用作监督来源。缺乏干净目标时,模型依然有可能学习有用的预测。判断一个弱小细节能否作为科学发现,则要把采样条件、对照实验和要测的物理量一起设计。画面变得清楚只是起点,重复测量时结论能否保持才是验收目标。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞6