基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法技术方案

本发明专利技术公开了一种基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，涉及图像识别领域；方法包括：使用预设标定参数的五目相机采集初始五目图像集；对初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集；对初始化后的初始五目图像集进行迭代优化，并基于最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终深度图经过融合后得到整体点云；通过采集点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标；本发明专利技术多目视觉圆孔特征的提取具有优良的鲁棒性且具有高效的融合速度

【技术实现步骤摘要】
基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法


[0001]本专利技术涉及图像识别领域，特别是涉及基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法
。

技术介绍

[0002]在航空航天
、
汽车等领域的零部件制造过程中，有必要进行在线检测
。
对于钣金零件，这种需求更加突出，因为其表面的特征孔将作为其他零件安装和定位的参考
。
传统上，作为工业中最常见的特征，圆孔测量通常由熟练的工人使用量规或卡尺进行，或由高精度的坐标测量机
(CMM)
进行
。
然而，这不可避免地会导致高劳动强度
、
低效率
、
高成本等问题，接触测量也会损坏圆孔的边缘和内壁
。
此外，为不同类型的钣金零件的圆孔测量任务设计的不同夹具之间的互换性较低
。
[0003]目前，基于视觉的方法可以很好地解决上述问题，许多学者提出了一系列圆孔测量系统
。
他们首先提取高精度的椭圆边，然后通过直接重建拟合或模板匹配等方法测量圆孔的大小和位置
。
然而，由于钣金零件圆孔周围的划痕
、
锈蚀和复杂的反射，很难准确测量圆孔的位置和大小
。
[0004]现有技术的缺陷和不足，由于图像处理过程中有多视图参与，不可避免地带来处理时间增长
。
在生产加工过程中，测量精度要求高
、
现场环境复杂
、
干扰因素多，现有的基于视觉的测量方法效果不理想
。
[0005]为解决上述问题，故本文专利技术提出基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法
。

技术实现思路

[0006]本专利技术的目的是提供一种基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，以解决上述现有技术存在的问题，使多目视觉圆孔特征的提取具有优良的鲁棒性且具有高效的融合速度
。
[0007]为实现上述目的，本专利技术提供了如下方案：
[0008]基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，方法包括：
[0009]使用预设标定参数的五目相机采集初始五目图像集；
[0010]对初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集；
[0011]对初始化后的初始五目图像集进行迭代优化，并基于最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云；
[0012]通过采集点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标
。
[0013]可选的，初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集的方法包括：
[0014]初始五目图像集进行经过畸变矫正
、
第一平滑滤波
、
第二平滑滤波
、
图像二值化中的至少一种以及边缘检测处理后得到具有椭圆亚像素边缘的最终预处理五目图像集
。
[0015]可选的，对初始化后的初始五目图像集进行迭代优化，并基于最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云的方法包括：
[0016]对初始五目图像集进行初始化，得到在像素原始位随机生成空间斜平面的初始化五目图像集；
[0017]将初始化五目图像集下采样两次，得到下采样初始图像集；
[0018]对下采样初始图像集包括的每一图像进行细节优化，然后基于最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集；
[0019]对最终深度图集进行深度图融合，得到被测工件高精度的点云
。
[0020]可选的，对下采样初始图像集包括的每一图像进行细节优化，然后基于最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集的方法包括：
[0021]将下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集；
[0022]对最粗尺度深度图集进行细化，同时基于最终预处理五目图像集在细化后的最粗尺度深度图集刻画出圆孔的亚像素边缘，得到第一深度图集；
[0023]将第一深度图集上采样后进行细化，得到第二深度图集；
[0024]然后通过边缘引导多尺度一致性匹配代价对第二深度图集进行细化以及对其包括的圆孔边缘进行细化，得到最终深度图
。
[0025]可选的，在将下采样初始参考图像经过深度优化迭代后，得到最粗尺度深度图的方法中，对初始化五目图像集进行多次深度优化迭代后，每次深度优化迭代产生一个新的用于下次迭代的参考深度预选图，最后一次迭代得到参考深度预选图为最粗尺度深度图
。
[0026]可选的，将下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集的方法包括：
[0027]计算下采样初始图像集的第一匹配代价，得到各像素标有第一匹配代价的第一匹配代价图像；
[0028]对第一匹配代价图像进行空间平面假设的迭代传播，得到标有第二匹配代价的第二匹配代价图像；
[0029]对第二匹配代价图像进行空间平面的细化，得到具有最优像素空间斜平面的参考深度预选图；
[0030]其中，将参考深度预选图作为深度优化迭代中下一次迭代的第一参考图像
。
[0031]可选的，计算下采样初始图像集的第一匹配代价，得到各像素标有第一匹配代价的第一匹配代价图像的方法包括：
[0032]将下采样初始图像集包括的任一图像设为参考图像，其它图像设为源图像；
[0033]选取参考图像中的一个像素为参考像素；
[0034]通过自适应匹配代价计算参考像素的局部匹配框与各个源图像的映射匹配框的双目匹配代价，进而通过多假设联合视图选择策略以双目匹配代价为线索计算每个初始源
图像映射匹配框的自适应权重，最终通过加权平均进行多目匹配代价的计算；
[0035]得到各像素标有多视图匹配代价的第一匹配代价图像
。
[0036]可选的，自适应匹配代价计算为：
[0037][0038]式中，表示双目自适应匹配代价，
X
ref
表示参考像素，表示源图像
i
中的对应像素，
N
表示被设置为
BRIEF
描述符的位数的归一化因子，
β
表示控制参数，并且设置为
1.0
，为
BRIEF
描述符的匹配代价，表示双线性归一化互相关匹配代价
。
[0039]可选的，对最终深度图集进行深度图融合，得到被测工件高精度的点云的方法包括：
[0040]在五张最终深度图中选取任一张为待融合参考深度图，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，方法包括：使用预设标定参数的五目相机采集初始五目图像集；对所述初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集；对初始化后的所述初始五目图像集进行迭代优化，并基于所述最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云；通过采集所述点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标
。2.
根据权利要求1所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集的方法包括：所述初始五目图像集进行经过畸变矫正
、
第一平滑滤波
、
第二平滑滤波
、
图像二值化中的至少一种以及边缘检测处理后得到具有椭圆亚像素边缘的所述最终预处理五目图像集
。3.
根据权利要求1所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述对初始化后的所述初始五目图像集进行迭代优化，并基于所述最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云的方法包括：对所述初始五目图像集进行初始化，得到在像素原始位随机生成空间斜平面的初始化五目图像集；将所述初始化五目图像集下采样两次，得到下采样初始图像集；对所述下采样初始图像集包括的每一图像进行细节优化，然后基于所述最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集；对所述最终深度图集进行深度图融合，得到被测工件高精度的点云
。4.
根据权利要求3所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述对所述下采样初始图像集包括的每一图像进行细节优化，然后基于所述最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集的方法包括：将所述下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集；对所述最粗尺度深度图集进行细化，同时基于所述最终预处理五目图像集在细化后的所述最粗尺度深度图集刻画出圆孔的亚像素边缘，得到第一深度图集；将所述第一深度图集上采样后进行细化，得到第二深度图集；然后通过边缘引导多尺度一致性匹配代价对所述第二深度图集进行细化以及对其包括的圆孔边缘进行细化，得到所述最终深度图
。5.
根据权利要求4所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，在所述将所述下采样初始参考图像经过深度优化迭代后，得到最粗尺度深度图的方法中，对所述初始化五目图像集进行多次所述深度优化迭代后，每次深度优化迭代产生一个新的用于下次迭代的参考深度预选图，最后一次迭代得到参考深度预选图为所述最粗尺度深度图
。
6.
根据权利要求5所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述将所述下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集的方法包括：计算所述下采样初始图像集的第一匹配代价，得到各像素标有第一匹配代价的第一匹配代价图像；对所述第一匹配代价图像进行空间平面假设的迭代传播，得到标有第二匹配代价的第二匹配代价图像；对所述第二匹配代价图像进行空间平面的细化，得到具有最优像素空间斜平面的参考深度预选图；其中，将所述参考深度预选图作为深度优化迭代中下...

【专利技术属性】
技术研发人员：吴海涛，钟芳宠，洪子橙，朱帅臣，
申请(专利权)人：上海智能制造功能平台有限公司，
类型：发明
国别省市：