基于视觉信息和特征提取的目标直径自动测量方法和系统技术方案

本发明专利技术提供了一种基于视觉信息和特征提取的目标直径自动测量方法和系统，涉及图像分析和处理领域。首先采集目标图像,选取部分图像作为训练集图像进行标注后,放入目标检测网络中进行训练，利用训练后的网络实现对其余图像螺帽ROI区域的提取；然后在螺帽ROI区域内使用图像分割网络Mask

【技术实现步骤摘要】
基于视觉信息和特征提取的目标直径自动测量方法和系统


[0001]本专利技术涉及图像分析和处理领域，尤其是一种基于视觉信息和特征提取的目标直径自动测量方法和系统。

技术介绍

[0002]螺栓是绝大部分工业建设中重要的连接部件，对螺栓的识别检测已成为工业建设中安全检测的重要部分。在电力铁塔构件连接中螺栓是重要组成部分，其能否正确安装直接影响铁塔的安全性能。对安装完毕的铁塔进行安全检测是质量检测的重要工序，但人工检测费时费力，为质量检测带来困难。另一方面在输电铁塔上的螺栓为了适应安装的需求往往有多种尺寸(对应到多种尺寸的螺孔上)，因此通过图像处理算法实现螺栓的自动识别与尺寸测量，对判断是否采用正确尺寸的螺栓进行构件连接，辅助铁塔安装并进行质量评估有重要意义。
[0003]近年来，研究者们多使用深度学习的方法进行螺栓的识别。现有技术中有将SIFT特征与SVM分类器相结合，实现对火车车底螺栓图像的识别。针对轨道车辆螺栓的安全隐患问题有多任务的卷积神经网络方法实现对传统识别检测方法的超越，其对螺栓松动及脱落的识别检测准确率高达80％；在起重机螺栓识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉信息和特征提取的目标直径自动测量方法，用于对螺帽直径尺寸进行自动测量，其特征在于，包括如下步骤，S01，通过双目相机采集目标图像，选取部分图像作为训练集图像进行标注后，放入目标检测网络中进行训练，利用训练后的网络实现对其余图像中的螺帽进行自动识别与定位，得到螺帽ROI区域；S02，在螺帽ROI区域内使用图像分割网络对螺帽进行粗分割；S03，对粗分割后的螺帽图像进行精分割处理，利用边缘角度特征提取螺帽初始轮廓，去除多余角点实现角点校正，并利用边缘生长的方法螺帽进行精分割，得到精分割后的螺帽图像；S04，基于三维点云坐标对螺帽直径尺寸进行计算。2.如权利要求1所述的一种基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S01中通过采用Faster
‑
RCNN目标检测网络结合检测框IOU判别机制对采集的图像进行自动识别与定位、并获取螺帽ROI区域，在Faster
‑
RCNN网络在对目标进行定位及分类识别时，对候选区域属于各类别的概率分数进行计算，将网络检测到的各类别概率分数均小于一阈值的框滤除，对剩下的检测框进行两两交并比计算，判断其是否重叠，并删除其中概率分数更低的一类，使用的交并比计算公式如下式(1)
‑
(2)：S
cross
＝(down
row_min
‑
up
row_max
)*(right
column_min
‑
left
column_max
)
ꢀꢀꢀꢀ
(1)IOU＝S
cross
/(S1+S2‑
S
cross
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，IOU为两检测框的交并比，S
cross
为两检测框相交部分面积，down
row_min
、up
row_max
、right
column_min
、left
column_max
分别代表两检测框并集所在位置的最小行数、最大行数、最小列数、最大列数，S1、S2分别为原两检测框面积。3.如权利要求2所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，S03中对螺帽进行精分割方法具体包括：S301，对粗分割后的螺帽图像进行膨胀操作，并截取掩膜部分作为后续步骤的初始图像；S302，利用四个边缘角度特征算子提取图像中螺帽不同角度的边缘角度特征，并去除其中小连通域作为螺帽的初始边缘特征图像；S303，对提取的初始边缘特征图像进行角点提取，同时利用最小二乘法圆拟合和夹角判别去除不在螺帽边缘上的多余内外角点，实现角点校正，并将校正后的角点按位置顺序连接得到初始轮廓；S304，利用校正后的角点与初始轮廓，提取距初始轮廓较远的孤立角点，并将其与其余轮廓以边缘生长的方式实现连接，再对得到的闭合轮廓进行孔洞填充并与粗分割结果叠加，得到最终的精分割结果。4.如权利要求3所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S302中采用四个基于螺帽形状特征提出的边缘角度特征算子，用其依次遍历图像除最外圈外的每一个像素，即可得到边缘角度特征提取后图像，具体计算公式如下式(3)到(7)所示：
edge(m,n)＝edge
a
(m,n)+edge
b
(m,n)+edge
c
(m,n)
ꢀꢀꢀꢀꢀꢀ
(7)其中，edge(m,n)表示最终求得的边缘角度特征提取结果；edge
a
(m,n)、edge
b
(m,n)、edge
c
(m,n)、edge
d
(m,n)分别表示四个边缘角度特征算子；f(m,n)为原图像中坐标为(m,n)的像素值；cell
a
(i,j)、cell
b
(i,j)、cell
c
(i,j)、cell
d
(i,j)分别表示四个边缘角度特征算子中坐标为(i,j)的像素值。5.如权利要求4所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S303中利用最小二乘法圆拟合和夹角判别去除不在螺帽边缘上的多余内外角点，实现角点校正具体包括：S3031，利用最小二乘法圆拟合对螺帽内部的多余角点进行去除；S3032，将相邻两角点之间的夹角作为判别标准去除螺帽外部的多余角点。6.如权利要求5所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，S3031中对螺帽内部的多余角点进行去除具体步骤包括：首先将所有检测角点利用最小二乘法进行圆拟合，拟合函数的计算公式如式(8)所示：其中，R是拟合圆的半径，(x
c
，y
c
)是拟合圆的圆心，对应的误差平方和计算公式如式(9)所示：其中，E为拟合曲线的误差平方和；R
i
为第i个点到拟合圆圆心的欧氏距离；n为参与拟合的离散点个数；在拟合过程中，将参与拟合的离散点质心作为拟合圆心的初始参数值，在该值的基础上向外遍历寻找使得误差平方和最小的值，即为拟合圆圆心，在求得拟合圆圆心的基础上，计算所有离散点到圆心的欧式距离的平均值，作为拟合圆半径，具体计算公式...

【专利技术属性】
技术研发人员：范荣全，邬才斌，刘俊勇，唐杨，陈筱平，张劲，王成强，文嘉，何凌，贾玻，李海龙，
申请(专利权)人：国网四川省电力公司南充供电公司，
类型：发明
国别省市：