一种基于深度学习图像语义分割模型的ROI区域提取方法技术

本发明专利技术公开了一种基于深度学习图像语义分割模型的ROI区域提取方法，其通过采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本，标注后得到多个标注ROI区域的子图像标注样本；通过将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；分别利用训练集训练深度学习语义分割模型的各变量值和利用验证集验证深度学习语义分割模型的mIOU准确度，得到最佳的深度学习语义分割模型；采集待测面板的检测图像数据，并进行预处理得到多个预设尺寸的待测子图像，待测子图像利用最佳的深度学习语义分割模型预测得到对应的ROI区域预测图像，从而实现待测面板的ROI区域提取。

A ROI Region Extraction Method Based on Deep Learning Image Semantic Segmentation Model

The invention discloses a ROI region extraction method based on depth learning image semantics segmentation model, which detects image data samples by collecting preset number of panels, and preprocesses to obtain multiple preset size sub-image samples, after labeling, multiple sub-image labeling samples labeling ROI region can be obtained, and multiple sub-image samples and corresponding sub-image labeling samples can be delineated. It is divided into training set and verification set, and establishes deep learning semantics segmentation model; uses training set to train each variable value of deep learning semantics segmentation model and verification set to verify the accuracy of mIOU of deep learning semantics segmentation model, and obtains the best deep learning semantics segmentation model; collects the detected image data of the panel to be tested, and preprocesses them to obtain multiple preset sizes. For the sub-image to be tested, the ROI region prediction image of the panel to be tested is obtained by using the best depth learning semantics segmentation model, and the ROI region extraction of the panel to be tested is realized.

【技术实现步骤摘要】
一种基于深度学习图像语义分割模型的ROI区域提取方法
本专利技术属于图像处理领域，具体涉及一种基于深度学习图像语义分割模型的ROI区域提取方法。
技术介绍
随着手机笔记本以及消费电子产品的普及及其快速的更新换代，对产线上的液晶屏幕和OLED屏幕有着极大的产量需求。从液晶屏幕和OLED屏幕生产过程中，由于原材料、生产工艺、意外等情况，屏幕上会存在各种缺陷(例如破片、气泡、划伤、缺角、压痕等)，而这些存在缺陷的产品会影响其性能或降低用户体验，因此，需要对液晶屏幕和OLED屏幕进行缺陷检测。液晶屏幕和OLED屏幕进行缺陷检测主要应用AOI(AutomaticOpticInspection自动光学检测)技术进行缺陷检测，AOI技术即利用照相设备对打光的显示面板成像，再利用如自动阈值分割和干扰过滤等传统算法提取出其中的ROI(Regionofinteresting，感兴趣的区域)区域，再利用传统的计算机视觉算法进行缺陷检测。利用传统算法进行ROI区域提取，受背景，光照等因素影响较大，处理时间比较长，耗时约200～300ms，同时导致缺陷检测时效率低下，而且传统算法检测需要操作人员手动进行操作，受到操作人员的主观影响，因而，传统算法检测的准确性也较低，从而严重影响液晶屏幕和OLED屏幕工业制造的效率。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于深度学习图像语义分割模型的ROI区域提取方法，其采集一定数量的训练集和验证集数据，分别利用训练集训练深度学习语义分割模型的各变量值和利用验证集验证深度学习语义分割模型的mIOU准确度，得到最佳的深度学习语义分割模型，从而利用最佳的深度学习语义分割模型实现待测面板的ROI区域提取。为实现上述目的，按照本专利技术的一个方面，提供了一种基于深度学习图像语义分割模型的ROI区域提取方法，具体步骤为：S1.采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本；对多个子图像样本进行标注得到多个标注ROI区域的子图像标注样本；S2.将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的准确度；准确度达到预设范围时，得到最佳的深度学习语义分割模型；S3.采集待测面板的检测图像数据，并进行预处理得到多个预设尺寸的待测子图像，待测子图像利用最佳的深度学习语义分割模型得到对应的ROI区域预测图像，从而实现待测面板的ROI区域提取。作为本专利技术的进一步改进，深度学习语义分割模型具体为：将输入图像经过深度卷积神经网络学习后分别得到1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据；上述1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据经过叠加后通过1×1卷积压缩通道；1×1卷积压缩通道的输出经过预设速率的上采样后与1×1卷积图像数据叠加得到3×3卷积叠加图像数据，3×3卷积叠加图像数据经过预设速率的上采样得到输出图像数据。作为本专利技术的进一步改进，深度卷积神经网络选用mobilenetv2轻量级网络。作为本专利技术的进一步改进，1×1卷积图像数据通过压缩子图像样本的图像数据通道数得到。作为本专利技术的进一步改进，通过设置不同的空洞卷积扩张率得到所述多个3×3空洞卷积图像数据。作为本专利技术的进一步改进，通过选取滑动矩形框内的最大值组成新的图像数据得到所述图像池化数据。作为本专利技术的进一步改进，深度学习语义分割模型的mIOU准确度计算方法具体为：提取验证集中子图像标注样本的ROI区域和对应预测图像的ROI区域，两个ROI区域的交集和并集之比即为mIOU准确度。作为本专利技术的进一步改进，利用labelme图像语义分割标注工具对预设尺寸的子图像样本进行标注得到子图像标注样本。作为本专利技术的进一步改进，面板检测图像数据样本预处理的过程具体为：将面板样本检测图像进行灰度化处理，再将其裁剪为若干个预设尺寸的子图像样本。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有以下有益效果：本专利技术的一种基于深度学习图像语义分割模型的ROI区域提取方法，其采集一定数量的训练集和验证集数据，分别利用训练集训练深度学习语义分割模型的各变量值和利用验证集验证深度学习语义分割模型的mIOU准确度，得到最佳的深度学习语义分割模型，从而利用最佳的深度学习语义分割模型实现待测面板的ROI区域提取。本专利技术的一种基于深度学习图像语义分割模型的ROI区域提取方法，其将深度学习语义分割的方法用于面板缺陷检测时的ROI区域提取，能有效地节约算法的处理时间，提升准确度，其中，提取ROI区域的时间，从传统方法的几百ms到现在的28ms，从而为后续的面板缺陷检测打下良好的基础。本专利技术的一种基于深度学习图像语义分割模型的ROI区域提取方法，其采用的深度学习语义分割的方法相对于传统方法的适应性强，特别是对于背景和ROI区域比较接近，或光照不均匀等特殊情况，用传统方法处理时需要增加额外的开销来应对这些特殊情况，而用深度学习的方法只需要用这些特殊样本来训练模型，让模型学习特殊样本的特征，从而提高深度学习图像语义分割模型预测的准确度。附图说明图1是本专利技术技术方案的实施例的一种基于深度学习图像语义分割模型的ROI区域提取方法的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本专利技术进一步详细说明。图1是本专利技术技术方案的实施例的一种基于深度学习图像语义分割模型的ROI区域提取方法的示意图。如图1所示，该方法具体步骤为：S1.采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本；对多个子图像样本进行标注得到多个标注ROI区域的子图像标注样本；利用工业相机采集预设数量的面板检测图像数据样本，面板检测图像数据样本预处理的过程具体为：将面板样本检测图像进行灰度化处理，再将其裁剪为若干个预设尺寸的子图像样本。作为一个示例，预设尺寸的子图像样本大小为512*512，3通道RGB图像，这样可以方便后续的深度学习语义分割模型能同时处理多个样本，如果设置样本尺寸太大，受GPU显存限制，训练时深度学习语义分割模型能同时处理的样本数据就会减少。作为一个示例，可以使用labelme图像语义分割标注工具对预设尺寸的子图像样本进行标注得到子图像标注样本，具体操作步骤为：打开labelme图像语义分割标注工具，打开预设尺寸的子图像样本，用多边形框把预设尺寸的子图像样本中的ROI区域标示出来后保存，从而得到得到ROI区域的标注图像。当然，labelme图像语义分割标注工具仅为一个示例，可以采用其他图形分割标注工具，对预设尺寸的子图像样本进行标注。S2.将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的mIOU准确度；直至验证集的mIOU本文档来自技高网...

【技术保护点】
1.一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，具体步骤为：S1.采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本；对多个子图像样本进行标注得到多个标注ROI区域的子图像标注样本；S2.将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的准确度；准确度达到预设范围时，得到最佳的深度学习语义分割模型；S3.采集待测面板的检测图像数据，并进行预处理得到多个预设尺寸的待测子图像，待测子图像利用最佳的深度学习语义分割模型得到对应的预测图像，从而实现待测面板的ROI区域提取。

【技术特征摘要】
1.一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，具体步骤为：S1.采集预设数量的面板检测图像数据样本，并进行预处理得到多个预设尺寸的子图像样本；对多个子图像样本进行标注得到多个标注ROI区域的子图像标注样本；S2.将多个子图像样本和对应的子图像标注样本划分为训练集和验证集，建立深度学习语义分割模型；利用训练集训练深度学习语义分割模型的各变量值，利用验证集验证深度学习语义分割模型的准确度；准确度达到预设范围时，得到最佳的深度学习语义分割模型；S3.采集待测面板的检测图像数据，并进行预处理得到多个预设尺寸的待测子图像，待测子图像利用最佳的深度学习语义分割模型得到对应的预测图像，从而实现待测面板的ROI区域提取。2.根据权利要求1所述的一种基于深度学习图像语义分割模型的ROI区域提取方法，其特征在于，所述深度学习语义分割模型具体为：将输入图像经过深度卷积神经网络学习后分别得到1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据；上述1×1卷积图像数据、多个3×3空洞卷积图像数据和图像池化数据经过叠加后通过1×1卷积压缩通道；1×1卷积压缩通道的输出经过预设速率的上采样后与1×1卷积图像数据叠加得到3×3卷积叠加图像数据，3×3卷积叠加图像数据经过预设速率的上采样得到输出图像数据。3.根据权利要求2所述的一种基于深度学习图像语义分割模型的ROI区域提取方法...

【专利技术属性】
技术研发人员：梁勇，郑增强，张胜森，
申请(专利权)人：武汉精立电子技术有限公司，武汉精测电子集团股份有限公司，
类型：发明
国别省市：湖北,42