一、误检率和漏检率的准确定义
1、漏检率,指的是实际存在缺陷的不合格产品,被视觉检测系统错误判定为合格产品的样本占总不合格样本的比例,也就是有缺陷的产品没有被检测出来,直接流到下游工序,这类问题会直接导致不良品流出,引发客户投诉,是工业质检中最严重的问题。
2、误检率,也叫过杀率,指的是实际完全合格的产品,被视觉检测系统错误判定为不合格产品的样本占总合格样本的比例,也就是把好的产品误判成坏的,这类问题不会导致不良品流出,但是会增加不必要的人工复检工作量,浪费合格产品,增加生产成本。
3、绝大多数厂商宣传的“99.9%准确率”,都是混淆了准确率和真实的漏检率、误检率的概念,用整体样本的准确率来偷换概念,完全没有区分漏检和误检,参考价值非常低,根本不能作为评估系统性能的核心依据。
二、基于混淆矩阵的客观性能评估方法
1、混淆矩阵是机器学习和图像分类领域评估分类模型性能的国际标准格式,通过真阳性TP、真阴性TN、假阳性FP、假阴性FN四个核心维度,完整呈现检测系统的所有判定结果,完全没有任何模糊空间,是客观评估视觉检测系统性能的唯一标准方法。
2、通过混淆矩阵的四个基础数值,可以精准计算出真实的漏检率=FN/(TP+FN),真实的误检率=FP/(TN+FP),两个核心指标完全量化,没有任何模糊的宣传空间,任何人都可以通过混淆矩阵的数值计算出真实的性能,完全不会被厂商的模糊宣传误导。
3、评估系统性能的时候,必须要求厂商提供完整的混淆矩阵数据,而不是只给一个笼统的准确率宣传数字,这样才能客观、真实地判断系统的实际检测性能,避免被虚标参数误导。
三、工业场景的合格判定标准
1、绝大多数工业制造的外观质检场景,漏检率必须严格控制在0.1%以下,也就是1000个不合格产品中最多只能漏检1个,绝对不能更高,否则大量不良品流出,会引发严重的客户质量投诉,造成巨大的经济损失。
2、误检率根据场景的不同,控制在1%-5%区间都是可以接受的,少量的误检产品安排人工复检筛选即可,不会造成严重的质量损失,完全可以平衡检测效率和人工成本,是工业场景的合理区间。
3、绝对不能盲目相信厂商宣传的“零漏检”“100%准确率”,这类宣传完全不符合客观规律,任何视觉检测设备都不可能做到绝对的零漏检,合理的合格标准是在可接受的误检率前提下,把漏检率控制在客户的质量要求阈值以下,这才是最务实的性能指标。