模型说自己有九成把握,怎样知道这个概率可以当真?

设一个图像分类器在十次预测里都给出九成置信度,最后只有七次正确。一批十条的数据样本很小,结果可能只是偶然。如果在大量同类样本上反复出现这种差异,置信度就高估了正确频率。这类偏差会影响人们如何处理模型输出。例如系统规定只自动通过置信度超过某个阈值的结果,那么阈值所暗示的风险就需要单独验证。

Guo 等在 2017 年研究了现代神经网络的概率校准,并比较了温度缩放等后处理方法。它要解决的不是如何把所有原来猜错的类别改对,而是如何让概率更贴近可观测的正确频率。一套校准有价值,取决于测试集是否真实代表使用环境、报告的是哪一种概率,以及这个概率会被用来决定什么。

不锈钢线雕中一条对角基准与起伏的观测线相对照
AI 生成配图 · 不锈钢线雕 · 未完纪

先明确定义九成把握对应什么事件

一种常见做法是取最高预测概率,问它是否对应于所选类别的实际正确率。模型说九成把握,研究者就在置信度接近九成的一批样本上统计正确比例。如果分组结果长期接近九成,这一层面的可靠性就比较好。也可以逐类别询问概率是否成立,例如当模型给某一类 0.2 的概率时,该类是否在相应样本中大约出现两成。这是另一个评价问题。

两者的差别在多分类问题中尤其明显。模型的最高置信度可能经过校正,但概率分布里次高各类的相对大小仍不准确。若应用要汇总各类别的预计数量,就不能只验证第一名是否对得上。若应用仅根据最高置信度决定是否转人工,分组正确率通常更贴近这个决策。定义清楚事件,也能防止把重复采样、缺乏标签或不同标注规则造成的差别全部归因于模型。

准确率测量选中的类别正确多少次。校准测量概率语言与实际频率能否对上。设两套分类器给出完全相同的标签,其中一套无论何种输入都报 99%,另一套对难例报 65%。两套准确率一模一样,概率质量和预期的人工复核量却可以差很多。校准对日常使用的意义就在这里。

一个均值刚好相等的假设算例

准备两组各一百条的虚构预测。第一组每条报 90%,实际正确七十条。第二组每条报 60%,实际正确八十条。全体平均置信度是 75%,全体准确率也是 75%。如果只做一个总体对照,会以为概率完全正确。分组一看,第一组高估二十个百分点,第二组低估二十个百分点。常见的分箱期望校准误差会按组大小加权,对两组绝对差值取平均,在这个例子里得到 20 个百分点。

这项算例也说明图表应保留每组样本量。真实应用中最后一个很高的置信度区间可能只占十几条样本。准确率模糊成一条平滑的校准曲线后,读者很难知道偏差是不稳定噪声还是系统现象。应显示各箱数量、合理的统计区间和箱边界。固定宽度的箱方便解释。等量分箱可以改善极稀疏区域的统计量,却可能把决策阈值附近差别较大的样本混在一起。两种图具有不同用途,可以在不改变数据的前提下分别查看。

分箱也可能掩盖同一组内部的误差。把九成和近乎必然的样本放在同一箱,整体正确率也许接近平均置信度,但两个子群体的实际频率可能很远。Kumar 等研究了评估和验证校准误差时的统计困难。这提醒我们,单个校准分数在不同分箱法、样本量和任务之间并不总能直接比较。

打开 HTML 互动演示 · 同样的分类结果,可以有不同的置信度

一个温度参数怎样改变整条概率分布

网络通常先为各类别给出未归一化的分数,称为 logits。温度缩放用一个正数 T 除以所有分数,再用 softmax 转成概率。T 大于一时,类间分数差缩小,输出分布更平缓。T 小于一时,分数差放大,高分项获得更多概率。因为所有分数都除以同一个正数,排序保持不变。在不改并列处理规则的情况下,模型仍选原来分数最高的类别。

做一个纯演示的二分类计算。两个类别的分数相差 2。温度为 1 时,高分项的 softmax 概率约为 0.881。温度为 2 时,有效分数差变为 1,高分项的概率约为 0.731。这个例子只说明温度怎样压平置信度,选哪个温度要用带标注的验证数据。常见做法是固定模型参数,只在独立验证集上选使负对数似然较低的温度,然后在新的测试集上测量效果。

文章里的互动演示把八条固定的预测结果放到一个小表里。拖动温度时,准确率保持原值,平均概率和评分会变化。有些温度给总体均值更接近准确率,却未必给出更低的负对数似然,因为错误样本的极端高置信度会受到更重的惩罚。这两种指标分别反映总体偏差和逐条概率好坏,实际评价需要读清哪一项改善了。

什么时候一个温度参数不够

假如模型对容易图像普遍过度自信,但对某个专门子群体经常过于保守,一个全局温度会一起改变两类预测。它可能修好在大样本组中占主要比例的问题,同时让少见组更差。要核对这种情况,应按类别、来源和用途相关的分组检查曲线。用更复杂的校准模型可能有帮助,也会增加对验证集的需求。若只有少量样本,逐类拟合大量参数很容易记住验证集噪声。

也可以比较更简单的基线。先将所有概率都换成历史平均正确率,会得到一个常数估计。它可能在总量上表现稳定,却无法把容易和困难样本分开。如果温度缩放能降低概率误差,并保留对难度的分辨能力,效果就比单纯拉近总体均值更实际。另一方面,提高难例的拒绝率也许能让自动通过率降低。校准造成的风险变化应和覆盖率一起记录,否则会让低风险看起来不需要任何运营代价。

在校准和最终评估之间要保留独立性。如果先看测试集校准曲线,再选一个最能把曲线调平的温度,最终报告会过于乐观。上线后可以用后续观测检验,并提前约定定期重算哪些统计。旧标签可能延迟到达,难例也可能因人工被优先标注。记录测试标签的形成过程,有助于避免把选择偏差误读成概率质量改善。

输入变了,旧校准为什么会失效

温度来自一批有标签的输入。新地区、新成像设备或新表达方式改变了样本分布,同一分数的历史含义可能随之改变。Ovadia 等对数据集偏移下的预测不确定性进行了对照,展示了在分布变化中评估可靠性的必要性。实践中,可以把已知变化程度的测试组分开,比如不同图像模糊强度或不同采集月份,再测随偏移上升时校准误差和准确率如何变化。

若新输入的最高概率仍旧很高,而正确率在下降,单靠概率值就不能标出全部风险。这个现象可以在有标签的外部数据中检验。若没有实时标签,可以至少监测输入及预测分布变化,再对抽样对象补充人工标注。统计上还需要给失败留一个位置。例如对模型完全未训练过的输入类别,应该独立评价拒绝机制,而不能只在已知分类之间要求温度缩放纠正所有问题。

评价时可并列报告准确率、Brier 分数和负对数似然,再给出各阈值下的覆盖率与错误率。对最终要行动的一个阈值,核对近邻区间的真实风险比追求平均分更重要。模型如果在一个域里的校准很稳,可以在该域使用;某个新域里的结果证据不足,就保留相应的不确定性。

生成式回答该校准哪一种概率

语言模型每一步给的是下一词元的概率。对一整段回答而言,这些概率取决于如何完成序列,而事实正确、引用存在和符合题意是不同事件。流利的通用措辞可能具有较高序列概率,但仍然没有支持某个数字的证据。若要校准「答案里这一条事实可被证据支持」的概率,就要先把答案拆成可验证断言,再以引用或独立标注获得对应标签。

一个可行的测试把「回答正确」「证据支持」「可以自动提交」分别定义。给每条有复核结果的断言记录置信度,再检验它与相应正确率的关系。测试集要包含应当拒答的题和正常可回答的题。这样才能知道同一个分数是否真的在刻画任务风险。模型概率可以帮助决定什么时候复核。它是否值得用于这一决定,必须由定义明确的事件、独立样本和实际错误代价共同回答。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞25