带角度估计的管线焊点深度学习视觉检测方法技术

本发明专利技术属于工业智能质检检测技术领域，具体涉及一种带角度估计的管线焊点视觉检测方法、系统、设备，旨在现有的管线焊点视觉检测方法难以适应检测场景多变、目标尺寸、遮挡、光照多变的复杂场景，导致管线焊点检测精度差以及不能检测焊点所在局部管线的旋转角度的问题。本方法包括获取待检测焊点的连接管线场景图像，作为输入图像；通过预训练的管线焊点检测模型检测输入图像中的连接管线上是否包含焊点，若包含，则输出焊点的类别、位置、尺寸及旋转角度；所述管线焊点检测模型基于深度神经网络构建。本发明专利技术提高了管线焊点的检测精度，并解决了不能检测焊点所在局部管线的角度的问题。

【技术实现步骤摘要】
带角度估计的管线焊点深度学习视觉检测方法
本专利技术属于工业智能质检检测
，具体涉及一种带角度估计的管线焊点视觉检测方法、系统、设备。
技术介绍
管线焊点定位检测，广泛的应用于工业制造业、能源运输等诸多领域，是辅助焊接工艺质量检测的重要手段。例如在家用冰箱生产过程中，常对压缩机仓内的管线焊点进行气密性质检，保证制冷气体的循环；在天然气、石油等能源运输业中，保证运输管道密封性是首要的运输前提；在冬季供暖前，需要进行管道焊点密封性检查，保证安全供暖等。随着神经网络的发展，通过视觉图像提供的信息进行焊点定位检测吸引了众多学者的关注。基于图像处理的焊点检测方法，这类方法(可参考专利文献：“一种机器人焊接质量的视觉检测方法[P].魏亚东；吴云霞；周梓荣；曾洪鑫.中国专利：CN111127402A，2020-05-08”；“汽车滤清器钎焊完整性图像处理检测方法[P].马杰张春雨；龚炜晨；陈杰平；乔印虎.中国专利：CN108535260A，2018-09-14”)一般大致可以分为四步：第一步是图像增强，去除图像中噪声与干扰；第二步是二值图像分割本文档来自技高网...

【技术保护点】
1.一种带角度估计的管线焊点视觉检测方法，其特征在于，该方法包括以下步骤：/n步骤S10，获取待检测焊点的连接管线场景图像，作为输入图像；/n步骤S20，通过预训练的管线焊点检测模型检测所述输入图像中的连接管线上是否包含焊点，若包含，则输出焊点的类别、位置、尺寸及旋转角度；位置即焊点的几何中心坐标；/n所述管线焊点检测模型基于深度神经网络构建，其训练方法为：/nA10，获取训练样本图像及其包含的焊点类别、位置、尺寸及旋转角度的真值标签；所述训练样本图像为包含焊点的连接管线场景图像；/nA20，将所述真值标签对应的焊点的几何中心沿着图像坐标系U轴和V轴以设定长度δ将训练样本图像划分为二维体素网格...

【技术特征摘要】
1.一种带角度估计的管线焊点视觉检测方法，其特征在于，该方法包括以下步骤：
步骤S10，获取待检测焊点的连接管线场景图像，作为输入图像；
步骤S20，通过预训练的管线焊点检测模型检测所述输入图像中的连接管线上是否包含焊点，若包含，则输出焊点的类别、位置、尺寸及旋转角度；位置即焊点的几何中心坐标；
所述管线焊点检测模型基于深度神经网络构建，其训练方法为：
A10，获取训练样本图像及其包含的焊点类别、位置、尺寸及旋转角度的真值标签；所述训练样本图像为包含焊点的连接管线场景图像；
A20，将所述真值标签对应的焊点的几何中心沿着图像坐标系U轴和V轴以设定长度δ将训练样本图像划分为二维体素网格，并获取所述焊点的几何中心在体素坐标系的归一化坐标以及在体素中心的局部坐标系的归一化坐标；
A30，将所述真值标签对应的焊点的几何中心的设定角度范围以单位大小ω均匀划分，获取管线切线方向与U轴的角度所在的区间；将所述真值标签对应的焊点尺寸进行聚类，聚类后，获取焊点沿所在切线方向、垂直方向的长度与最接近的聚类中心尺寸的对数比例因子；
A40，将所述训练样本图像输入所述管线焊点检测模型，获取所述训练样本图像中焊点的类别、位置、尺寸及旋转角度的预测标签；
A50，通过步骤A30的聚类方法获取所述尺寸预测标签对应的对数比例因子；并通过步骤A20的方法得到所述预测标签中焊点的位置在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标；
A60，计算步骤A20、步骤A50获取的焊点的位置在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标以及对数比例因子之间损失，并对所述管线焊点检测模型进行参数更新；
A70，循环执行步骤A10-A60，直至得到训练好的管线焊点检测模型。


2.根据权利要求1所述的带角度估计的管线焊点视觉检测方法，其特征在于，步骤A10与步骤A20之间还包括训练样本图像预处理的步骤：
预处理方式包括：对训练样本图像进行尺寸、平移、弹性变换、翻转几何空间变换，随机放置掩码，目标层级的亮度、对比度、饱和度颜色空间增强，图像拼接数据增强。


3.根据权利要求1所述的带角度估计的管线焊点视觉检测方法，其特征在于，所述步骤A60中损失的计算方法为：









其中，Lce表示交叉熵损失，Lsmooth-L1表示smooth-L1损失，L表示总损失，分别表示真实标签对应的焊点的几何中心的在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标；表示预测标签对应的焊点的几何中心在体素坐标系的归一化坐标、在体素中心的局部坐标系的归一化坐标，分别表示焊点尺寸与之最相似的聚类中心尺寸的真实和预测的对数因子，表示回归损失，表示分类损失。


4.根据权利要求1所述的带角度估计的管线焊点视觉检测方法，其特征在于，所述步骤A30中设定角度范围为

【专利技术属性】
技术研发人员：王鹏，沈晓飞，周陈林，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11