一种基于深度学习的工业产品图像角度检测与校正方法技术

本发明专利技术涉及一种基于深度学习的工业产品图像角度检测与校正方法，包括以下步骤：步骤1，采集工业产品图像信息；步骤2，搭建工业产品图像角度检测神经网络模型，利用工业产品图像信息对网络模型进行训练；步骤3，神经网络模型训练结束后，加载已训练的模型参数，经过模型前向运算得到结果特征图，将其按照标注的标签形式还原后得到网络模型预测结果；步骤4，根据神经网络模型预测得到的目标位置和角度，对工业产品图像进行角度校正，将检测后的工业产品图像角度校正到统一朝向。图像角度校正到统一朝向。图像角度校正到统一朝向。

【技术实现步骤摘要】
一种基于深度学习的工业产品图像角度检测与校正方法


[0001]本专利技术涉及图像识别
，特别涉及一种基于深度学习的工业产品图像角度检测与校正方法。

技术介绍

[0002]目标检测任务普遍存在于工业场景和日常生活中，如遥感图像目标检测、自动驾驶等等。带有角度信息的目标检测往往也是工业检测中常见的需求任务。目前，常用的角度检测方法有传统的基于NCC的快速图像匹配算法、基于深度学习的场景文字识别以及旋转目标检测算法等。
[0003]上述算法基于开源数据集，检测框只需使用中心点、宽、高和[0
°
，90
°
]角度范围进行表示即可。但在工业产品图像缺陷检测时，现有算法无法根据产品纹理的角度对产品图像进行角度校正，无法确定目标具体的角度信息。针对复杂背景下的工业产品图像检测中背景干扰问题，目前尚未提出有效解决方法。

技术实现思路

[0004]本专利技术提供一种基于深度学习的工业产品图像角度检测与校正方法，其特征在于，所述基于深度学习的工业产品图像角度检测与校正方法包括以下步骤：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的工业产品图像角度检测与校正方法，其特征在于，所述基于深度学习的工业产品图像角度检测与校正方法包括以下步骤：步骤1，采集工业产品图像信息；步骤2，搭建工业产品图像角度检测神经网络模型，利用工业产品图像信息对网络模型进行训练；步骤3，神经网络模型训练结束后，加载已训练的模型参数，经过模型前向运算得到结果特征图，将其按照标注的标签形式还原后得到网络模型预测结果；步骤4，根据神经网络模型预测得到的目标位置和角度，对工业产品图像进行角度校正，将检测后的工业产品图像角度校正到统一朝向。2.根据权利要求1所述基于深度学习的工业产品图像角度检测与校正方法，其特征在于，在步骤1还包括以下步骤：步骤101，在生产现场使用工业相机采集足量的工业产品图像数据，图像数据大小为416
×
416像素；步骤102，对采集的数据进行数据清洗，保留图像清晰、曝光正常、特征明显的图像数据；步骤103，对工业产品图像中花纹部分进行标注，标注形式为任意方向的矩形，其表示方法为[类别，矩形宽度，矩形高度，矩形中心点坐标(x，y)，矩形方向向量与平面直角坐标系中x轴夹角]；将标注完成的数据集分割为训练集、验证集和测试集；其中训练集、验证集、测试集比例为7:1:2。3.根据权利要求1所述基于深度学习的工业产品图像角度检测与校正方法，其特征在于，在步骤2还包括以下步骤：步骤201，构建角度检测神经网络模型；步骤202，计算损失函数；损失函数包括三部分：损失函数包括三部分：损失函数包括三部分：其中，IOU表示预测框与标注框的交并比，b表示预测检测框的中心点，b
gt
表示标注框的中心点，ρ2表示预测框和标注框两个中心点距离的平方，α和υ为长宽比，w、h和w
gt
、h
gt
分别代表预测框的高宽和真实框的高宽。置信度损失：
类别损失：方向向量损失：方向向量损失：方向向量损失：方向向量损失：其中为正样本系数，特征图中存在正样本处为1，其余为0；和分别表示检测框头部横坐标和其标签值，和分别表示检测框方向向量头部纵坐标和其标签值，和分别表示检测框方向向量尾部横坐标值和其标签值，和分别表示检测框方向向量尾部纵坐标值和其标签值；步骤203，使用Adam方法对神经网络进行模型训练，直到模型在验证集上表现良好，且无过拟合现象停止训练。4.根据权利要求3所述基于深度学习的工业产品图像角度检测与校正方法，其特征在于，在步骤201中，所述角度检测神经网络模型包括特征提取网络、边缘检测子网络、特征融合网络和注意力模块；特征提取网络包括特征提取L1、特征提取L2和特征提取L3；特征提取L1包括顺次连接的Focus模块、CBL模块、CSP1_1模块、CBL模块、CSP1_3模块；特征提取L2与特征提取L1连接，包括CBL模块、CSP1_3模块；特征提取L3与特征提取L2连接，包括CBL模块、SPP模块、CSP2_1模块和CBL模块；CBL模块包括卷积层、批量归一化层、LeakyRelu激活函数层组；Resunit模块包括两个CBL模块，并将输入特征与两个CBL模块的输出特征进行相加；
CSP1模块将输入特征图分为两个分支，一个分支经过卷积层，得到Feature1，另一个分支经过CBL模块，再经过多个Resunit模块后使用卷积层进一步提取特征得到Feature2；将Feature1和Feature2在通道方向上拼接，得到拼接后的特征图Feature3；并将Feature3经过批量归一化层和LeakyRelu激活函数层后经过CBL模块特征提取得到最终CSP1模块；由多个Resunit模块组成的CSP1模块可表示为CSP1_x，其中x表示Resunit模块的个数；CSP2模块与CSP1模块结构相似，将多个Resunit模块替换为CBL模块后得到CSP2模块，由多个CBL组成的CSP2模块可表示为CSP2_x，其中x表示CBL的个数；Focus模块包括并联的四个切片模块、Focus特征融合模块和一个CBL模块；切片模块中将图像数据分别从(0,0)(0,1)(1,0)(1,1)坐标点为起点，间隔1个像素值采样；Focus特征融合模块将切片得到的四个特征图在通道方向上拼接；SPP模块包括CBL模块和多个并联的最大池化模块；在边缘检测子网络中标注信息将通过具有Laplacian卷积核的卷积层分别以1,2,4的步长进行...

【专利技术属性】
技术研发人员：王铮，申磊，孟凤，齐涵，邓红丽，
申请(专利权)人：北京大恒图像视觉有限公司，
类型：发明
国别省市：