叶片分类准确率很高,为什么换个拍摄环境就会失灵?

同一片叶子,放在干净背景上拍摄和留在枝条间拍摄,会变成两种很不相同的图像。前者轮廓完整、光照相对均匀,后者可能有阴影、遮挡和其他叶片。人知道两张照片都在讨论叶片,分类器却只看到像素分布,以及训练过程中哪些像素最容易帮助它猜中标签。

这正是农业视觉研究里一个容易被高准确率遮住的问题:模型在一个数据集里学会区分类别,是否意味着它已经学会在准备使用的环境里识别同类视觉特征?Mohanty 等 2016 年的研究同时报告了数据集内高分与外部图像上的明显下降,为讨论这段距离提供了一个具体案例。本文只讨论图像分类、数据组织与泛化评价,不从照片推导具体田间处置。

植物图鉴画并列呈现干净背景和复杂背景中的叶片
AI 生成配图 · 植物图鉴细密画 · 未完纪

九十九分与三十一分,回答的是两个问题

这项研究使用 PlantVillage 的五万余张叶片图像,标签把作物种类与图像中所标注的状态组合成 38 类。研究比较不同卷积网络与训练设置,最佳模型在该数据集留出的测试集上取得约 99.35% 的准确率。这个结果说明,给定相近的采集条件和类别定义,网络能够学习非常有效的区分规则。原始论文

研究者进一步从网络来源收集外部图像,最佳模型在其中一组上的准确率约为 31.4%。外部样本规模和来源有限,这个数字不能代表所有田间场景,更不能变成某类技术永远只有三成准确的结论。它的重要性在于,同一个模型面对不同分布时,评价可以发生很大变化。

这两项结果没有互相否定。数据集内测试主要检验同分布条件下的泛化,外部测试则提出更强的迁移要求。若产品准备让用户随手拍摄自然环境中的叶片,后一个问题通常更贴近实际需求。把前一个数字放进产品宣传而省略测试条件,会让读者把局部有效误解成广泛可靠。

模型为什么可能学到背景

监督学习通常奖励预测正确,并没有自动区分“研究者真正想让它看的特征”和“恰好与标签相关的线索”。假设某一类照片总在浅色桌面上拍摄,另一类总在深色托盘里拍摄,背景就能成为低成本的分类依据。这样的假设不等于原论文已经证明模型只看背景,而是说明需要怎样的诊断实验才能判断。

域偏移也不只有背景变化。拍摄设备改变会影响颜色和锐化,光照改变会影响明暗与色温,叶片大小和距离改变会影响纹理分辨率,多片叶子重叠则会改变“这张图的标签到底对应哪一片”的含义。即使所有图像都来自真实环境,也可能因为采集人、地区或季节集中而形成新的捷径。

Geirhos 等把这类现象放进“捷径学习”的框架:某种决策规则可以在常规基准上表现很好,却难以迁移到更有挑战的测试条件。这个框架提醒我们,解释模型时不能只展示一个漂亮的注意力热图,还应改变疑似线索,观察预测是否随之变化。捷径学习论文

例如,可以在保持叶片区域不变时替换背景,在尽量保持标签意义的范围内改变亮度,或者只把背景交给模型分类。如果背景单独就能提供很强的预测能力,说明数据组织需要进一步检查。若背景替换后表现下降,也要排除合成边缘和不自然光照造成的影响;一个诊断实验最好有多个互相补充的版本。

展开演示动图 · 背景捷径示意
同一叶片保持相同,两种背景产生不同的假想分数。
同一叶片保持相同,两种背景产生不同的假想分数。

划分照片之前,先划分真正独立的样本

随机分图很方便,却未必对应独立测试。同一片叶子连续拍十张,旋转、裁切后又生成几十张,如果这些图像散落在训练集与测试集里,模型面对的可能是见过对象的另一种视角。即使文件名不同,也不能据此认定没有信息重叠。

更有解释力的做法,是先确定独立单位,再划分数据。研究可以按采集对象、拍摄批次、地点和设备建立分组;图像增强必须在划分之后进行,避免同一来源的变体跨越集合。近重复检查既要找完全相同的文件,也要找裁切、缩放和轻微调色后的相似图像。

不同划分对应不同研究问题。留出新叶片检验对象迁移,留出新地点检验地点迁移,留出新设备检验成像迁移。最困难的组合测试可能同时改变多项条件,但它不方便解释失败原因。因此,可以同时保留一套接近实际使用的总体测试,以及若干逐项变化的诊断测试,而非寻找唯一的“标准准确率”。

验证集与最终测试集也承担不同职责。模型选择、阈值选择和错误修正会反复使用验证集;最终测试应尽量在方案锁定后再运行。如果团队每次看完测试错误就改模型,再继续报告同一批测试结果,测试集本身也逐渐参与了开发,高分的独立性便会减弱。

从总准确率走向能够解释失败的指标

类别不平衡时,总准确率容易被常见类别支配。以下是纯假设例子:测试集有九百张甲类、一百张乙类,一个始终预测甲类的模型也能获得 90% 准确率,但对乙类没有识别能力。这个例子没有描述任何真实数据集,只说明必须同时查看每类表现与混淆矩阵。

对于组合标签,还应拆分错误。模型可能把作物种类认对却把状态认错,也可能两个都错。若把所有错误合成一个比例,开发者很难知道该补充哪一类图像。报告宏平均指标、各类召回及其样本量,有助于避免少数类别在总分里消失;样本很少时,区间宽度比小数点后多报几位更诚实。

概率输出也要单独检查。一个 38 类模型可能在陌生照片上仍给某个熟悉标签很高分,因为它被要求在既有类别中作选择。高置信度不代表图像属于训练覆盖范围。验收可以加入无关物体、严重模糊图像和未覆盖类别,观察系统是否能够提示无法可靠归类,并衡量拒绝率与保留样本准确率之间的关系。

拒绝机制同样需要可比指标。若模型只保留最容易的十分之一照片,准确率自然可能升高,却让大部分用户拿不到结果。应该同时报告覆盖率、拒绝原因和剩余错误,而不是只在筛过的照片上展示高分。系统遇到什么情况会退回人工核对,应由目标工作流决定,并在独立样本上验证。

数据集更接近现场,也不等于已经覆盖现场

PlantDoc 的研究动机正是补充实验室之外的图像。论文介绍了一套来自网络图像的标注数据,让研究者能够面对更复杂的自然背景与拍摄条件。它提供了与简洁背景叶片数据不同的测试材料,但网络收集本身也会带来重复图片、来源集中和标签不确定性等需要审查的问题。PlantDoc 原始论文

因此,不能把数据集名字中的“真实”或“野外”当作质量保证。应了解图像从哪里来、谁标注、是否有不确定标签、是否允许同图多标签,以及目标产品中的照片和这些来源有何差别。标注者之间存在分歧时,保存分歧和复核记录,比强行压成一个看似确定的标签更有研究价值。

实际比较可以设置三类基线:只用常见类别先验的简单分类器、使用固定预训练特征的浅层模型,以及完整微调的视觉网络。前者揭示类别分布能贡献多少分数,中间一项检验复杂训练是否必要,最后一项才展示端到端适配的额外收益。模型数量不是越多越好,基线应帮助回答一个明确的机制问题。

改进方案也要在相同切分和预算下比较。加入更强增强、裁出叶片或增加外部训练图像,都可能有用,但如果同时更换测试集,便很难归因。理想的记录应保留数据版本、预处理规则、训练随机种子和失败样本,允许其他人重复看到“在哪一种变化下改善,在哪一种变化下仍然失败”。

可靠应用从知道覆盖范围开始

一张图能看见的只是有限的外观信息。不同原因可能呈现相似视觉表现,图像标签的定义也不等于对现实问题的全部解释。本文讨论的分类器适合被理解为视觉资料整理与研究辅助的一环,不能凭一个类别分数宣布原因已经查明。

面向持续使用的系统,需要保留对新分布的观察能力。设备或拍摄习惯变化后,可以先检查图像质量、类别占比和拒绝比例,再用经复核的新增样本重新估计表现。不能因为模型运行没有报错,就认定它仍然处在原有验证范围内;也不能把未经核对的自动标签直接回灌训练,制造自我确认。

Mohanty 等研究留下的真正问题,远比一个高分更长久:我们能否说清模型测试过哪些变化,又有哪些条件尚未覆盖?一套可信的农业视觉研究,应让数据分布、独立切分、类别错误与拒绝机制都可以被看见。准确率的价值,取决于它背后那个具体而可重复的问题。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞7