用于工业检测的深度学习模型评价方法技术

本发明专利技术提供用于工业检测的深度学习模型评价方法，包括以下步骤：获取标注信息文件关键字段，通过读取待检测产品图片的SN号，利用SN号查询到AOI标注信息文件以及AI标注文件，然后对这两份文件按行进行读取；计算标注关键字段数值的IOU；对IOU计算结果比较分析，得到评价指标值；利用评价指标值，统计出数据，得出检测数据最终评价结果。本发明专利技术可以清晰地查看产品名称，产品对应的AOI缺陷个数、AI推理缺陷个数、IOU推理结果、置信度、过检个数、漏检个数等指标，表格最后将呈现所有缺陷种类的过漏检等算法评价指标，清晰明了，产品方可根据最终数据评估这版深度学习算法对此类产品的检测能力。能力。能力。

【技术实现步骤摘要】
用于工业检测的深度学习模型评价方法


[0001]本本专利技术涉及工业检测领域，特别是涉及用于工业检测的深度学习模型评价方法。

技术介绍

[0002]在目前的工业检测领域中，对于ITO、外观、画面检测等产品涌现出一些图像处理软件；而如何基于图像处理软件，快速且高效地评估深度学习模型对产品缺陷的检测能力，对于工业检测效率提升来说，是至关重要的。

技术实现思路

[0003]本专利技术提供了用于工业检测的深度学习模型评价方法。可以快速得到深度学习算法对于产品缺陷的检测能力，其根据评估结果，能够及时有效地评估出检测方案可行性、高效地安排数据收集训练等工作，极大地降低工业试错成本以及时间成本。
[0004]为实现上述目的，本专利技术提供如下技术方案：
[0005]用于工业检测的深度学习模型评价方法，包括以下步骤：
[0006]获取标注信息文件关键字段，通过读取待检测产品图片的SN号，利用SN号查询到AOI标注信息文件以及AI标注文件，然后对这两份文件按行进行读取；
[0007]计算标注关键字段数值的IOU；
[0008]对IOU计算结果比较分析，得到评价指标值；
[0009]利用评价指标值，统计出数据，得出检测数据最终评价结果。
[0010]作为本专利技术进一步的方案，通过读取所有检测产品的图片，获取到AOI对于每张缺陷产品图像的缺陷种类、位置坐标等标注信息，以及调用算法后推理图片得到的AI推理缺陷信息。
[0011]作为本专利技术进一步的方案，通过读取每张产品图片，并获得相应的SN号，分别进入SN匹配的AI标签文件夹和AOI标签文件夹，并获得对应的AI标签和AOI标签。
[0012]作为本专利技术进一步的方案，设置AI标签，保留置信度高于阈值的标签，为了检测原缺陷位置推理后能够检出，将AOI标签与设置后的AI标签依次匹配，计算IOU，以及为了检测推理的缺陷是否存在过度检测，将设置后的AI标签与AOI标签依次匹配，计算其之间的IOU。
[0013]作为本专利技术进一步的方案，检测检出与过检指标的匹配过程中，检测图片中缺陷是否有检出看所有Xn列是否有IOU大于阈值的AI推理标签，而检测过检，看所有Yn行是否有IOU大于阈值的AOI标签。
[0014]作为本专利技术进一步的方案，通过IOU筛选检出与漏检情况，以及获取正确检出的指标值，计算漏检值，通过缺陷种类的正确检出率，漏检率，过检率快速评估模型对所检测产品的各种缺陷的检测能力。
[0015]作为本专利技术进一步的方案，根据产品SN号，通过筛选单张产品中的缺陷的过漏检情况，评估出按图片张数算的评价指标。
[0016]本专利技术具有以下有益效果：
[0017]本专利技术可以清晰地查看产品名称，产品对应的AOI缺陷个数、AI推理缺陷个数、IOU推理结果、置信度、过检个数、漏检个数等指标，表格最后将呈现所有缺陷种类的过漏检等算法评价指标，清晰明了，产品方可根据最终数据评估这版深度学习算法对此类产品的检测能力。
[0018]为更清楚地阐述本专利技术的结构特征和功效，下面结合附图与具体实施例来对本专利技术进行详细说明。
附图说明
[0019]图1为本专利技术提供的用于工业检测的深度学习模型评价方法的流程图。
[0020]图2为本专利技术提供的获取标签关键字过程的流程图。
[0021]图3a、图3b为本专利技术提供的IOU涉及的S值原理图。
[0022]图4是本专利技术提供的推理标签置信度筛选过程流程图。
[0023]图5a、图5b是本专利技术提供的检测产品缺陷检出情况过程流程图。
[0024]图6
‑
图9是本专利技术提供的AOI标签与AI标签的IOU组合矩阵四种情况示意图。
[0025]图10、图11是实施例2中提到的两种特殊情况示意图。
具体实施方式
[0026]下面将结合附图和有关知识对本专利技术作出进一步的说明，进行清楚、完整地描述，显然，所描述的应用仅仅是本专利技术的一部分实施例，而不是全部的实施例。
[0027]实施例1
[0028]本专利技术提供了用于工业检测的深度学习模型评价方法，包括以下步骤：
[0029]获取标注信息文件关键字段，通过读取待检测产品图片的SN号，利用SN号查询到AOI标注信息文件以及AI标注文件，然后对这两份文件按行进行读取，具体为通过读取所有检测产品的图片，获取到AOI对于每张缺陷产品图像的缺陷种类、位置坐标等标注信息，以及调用算法后推理图片得到的AI推理缺陷信息，通过读取每张产品图片，并获得相应的SN号，分别进入SN匹配的AI标签文件夹和AOI标签文件夹，并获得对应的AI标签和AOI标签。
[0030]计算标注关键字段数值的IOU，具体为通过设置AI标签，保留置信度高于阈值的标签，为了检测原缺陷位置推理后能够检出，将AOI标签与设置后的AI标签依次匹配，计算IOU，以及为了检测推理的缺陷是否存在过度检测，将设置后的AI标签与AOI标签依次匹配，计算其之间的IOU；
[0031]将AOI标签与设置后的AI标签依次匹配，计算IOU，是从是否有漏检出发，根据原始AOI标注文件，一个个找AI推理标签，找到了，并且发现这两个框的IOU大于阈值，说明这个标注标签AI推理对了，未漏检，反之漏检。
[0032]而工业检测指标中，除了查看缺陷是否有漏检，还会查看是否会过度检测缺陷。
[0033]以及为了检测推理的缺陷是否存在过度检测，将设置后的AI标签与AOI标签依次匹配，计算其之间的IOU，以过检为出发点，根据符合IOU条件的AI推理标签，一条条找AOI标注标签，如果发现没有找到，说明没有标注过这个缺陷，那么这个推理属于过度推理，是过检；反之找到了，并且发现这两个框的IOU大于阈值，则是推理正确。
[0034]所以整体是两个方向找，一个方向排查漏检，一个方向排查过检。当然这是两个计算方向，单从方向来计算，会出现重复计算。所以才会利用矩阵，本专利技术中矩阵两个方向，一个X轴代表AOI的，Y轴是代表AI的。X轴和Y轴的所有缺陷IOU计算一次。虽然计算一次，但是看矩阵分析结果的时候，其实是按照上面的两个方向都看，只是在矩阵的好处就是将重复的计算删掉了。例如，虽然Y1X1,X1Y1两个计算结果一样的，在矩阵中就是一个iou结果表达成YIX1。但是意义不一样，分析角度不同，一个分析过检(Y1X1)，一个分析漏检(X1Y1))。
[0035]对IOU计算结果比较分析，得到评价指标值，检测检出与过检指标的匹配过程中，检测图片中缺陷是否有检出看所有Xn列是否有IOU大于阈值的AI推理标签，而检测过检，看所有Yn行是否有IOU大于阈值的AOI标签；
[0036]利用评价指标值，统计出数据，得出检测数据最终评价结果，根据产品SN号，通过筛选单张产品中的缺陷的过漏检情况，评估出按图片张数算的评价指标，通过IOU筛选检出与漏检情况，以及获取正确检出的指标值，计算漏检值，通过缺陷种类的正确检出率，漏检率，过检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于工业检测的深度学习模型评价方法，其特征在于，包括以下步骤：获取标注信息文件关键字段，通过读取待检测产品图片的SN号，利用SN号查询到AOI标注信息文件以及AI标注文件，然后对这两份文件按行进行读取；计算标注关键字段数值的IOU；对IOU计算结果比较分析，得到评价指标值；利用评价指标值，统计出数据，得出检测数据最终评价结果。2.如权利要求1所述的用于工业检测的深度学习模型评价方法，其特征在于，通过读取所有检测产品的图片，获取到AOI对于每张缺陷产品图像的缺陷种类、位置坐标等标注信息，以及调用算法后推理图片得到的AI推理缺陷信息。3.如权利要求2所述的用于工业检测的深度学习模型评价方法，其特征在于，通过读取每张产品图片，并获得相应的SN号，分别进入SN匹配的AI标签文件夹和AOI标签文件夹，并获得对应的AI标签和AOI标签。4.如权利要求3所述的用于工业检测的深度学习模型评价方法，其特征在于，设置AI标签，保留置...

【专利技术属性】
技术研发人员：陈诗雨，邓红涛，陈红星，
申请(专利权)人：上海帆声图像科技有限公司，
类型：发明
国别省市：