一种特殊环境下目标实时识别定位方法技术

本发明专利技术公开了一种特殊环境下目标实时识别定位方法，包括标定获取左右相机内外参数，建立水下双相机模型；基于内外参数对采集的左右图像进行预处理，得到共面的左右图像；选取待抓取目标，基于选取目标图像区域初始化目标跟踪算法，生成目标识别模型；基于目标识别模型定位目标在左右图像中的范围，进行粗定位目标；基于对目标进行特征匹配筛选得到匹配特征点，并对匹配得到的多组特征点进行融合，得到目标参考点；基于融合后的目标参考点对目标进行三维坐标计算，得到精准定位目标。本发明专利技术无需设置复杂的参数即可对目标进行图像坐标定位、三维坐标定位，在保证能够精准定位目标的同时，降低了系统操作难度，为深海水下探测工作提供高效方法。作提供高效方法。作提供高效方法。

【技术实现步骤摘要】
一种特殊环境下目标实时识别定位方法


[0001]本专利技术涉及目标实时识别
，特别涉及一种特殊环境下目标实时识别定位方法。

技术介绍

[0002]随着各国对海洋探索的不断发展，水下机器人开始应用于深海科考、资源勘探以及水下打捞工作。水下机器人典型的应用场景为海底样本采集、海底打捞、水下目标抓取等。目前国内外水下机器人作业多为人工摇杆操作，需要配合多组摄像头形成多视角观察，对操作人员技术水平要求较高，不利于水下科考、水下勘探工作的开展。
[0003]水下双目视觉定位系统可以辅助科研人员操作机器人进行水下样本采集作业。通过双目摄像机对待采集样本进行拍照，实现目标自主定位并实时反馈目标坐标信息至机器人端，实现自主抓取，有效减轻水下人员作业强度和难度，在海洋研究探测和资源开发方面具有重要应用价值。
[0004]现有技术的不足之处在于，水下目标实时精确识别定位是抓取工作的重要环节。由于目标在作业前是未知的，缺乏足够的图像数据训练稳健的目标识别神经网络模型，深度学习目标识别方法不适用于水下环境抓取作业。传统的目标识别定位方法包括灰度相关的模板匹配、几何特征的模板匹配、边缘梯度提取等，受限于水下环境和目标背景的复杂性，目标实时识别鲁棒性较差。Prats等人通过目标识别与目标跟踪两步实现目标识别定位。双目视觉系统首先了解目标外观信息，将其生成包括颜色直方图以及一个多边形的对象检测模型，用于目标检测。跟踪算法是基于模板的，具体为高效的二阶最小化方法(EfficientSecond
‑
Order Minimization method,ESM)用于训练目标探测器。一旦模板在图像中被正确匹配，即可计算出模板图像与实际图像之间的单应性矩阵，进而计算目标在三维空间下的位姿信息。重点在于提取算法对目标旋转、尺度缩放、亮度变化、视角变化、仿射变换、噪声干扰情况下的识别具有一定的稳定性，也可以用于深海水下复杂背景环境下目标识别定位。以上方法可以满足水下环境目标定位，但需要耗费大量的计算资源，难以实现目标实时定位的需求。

技术实现思路

[0005]本专利技术的目的克服现有技术存在的不足，为实现以上目的，采用一种特殊环境下目标实时识别定位方法，以解决上述
技术介绍
中提出的问题。
[0006]一种特殊环境下目标实时识别定位方法，包括：
[0007]步骤S1、在水下环境对双目摄像机进行标定获取左右相机内外参数，建立水下双相机模型；
[0008]步骤S2、基于标定得到的左右相机内外参数对水下图像采集的左右图像进行预处理，得到共面的左右图像；
[0009]步骤S3、在采集到的左右图像中选取待抓取目标，基于选取目标图像区域初始化
目标跟踪算法，生成目标识别模型；
[0010]步骤S4、在图像采集过程中，基于目标识别模型定位目标在左右图像中的范围，进行粗定位目标；
[0011]步骤S5、基于对目标进行特征匹配筛选得到匹配特征点，并对匹配得到的多组特征点进行融合，得到目标参考点；
[0012]步骤S6、基于融合后的目标参考点对目标进行三维坐标计算，得到精准定位目标。
[0013]作为本专利技术的进一步的方案：所述步骤S1中的具体步骤包括：
[0014]在水下环境对双目摄像机进行标定，计算水下双目摄像机内参数和外参数；
[0015]所述双目摄像机内参数包括内参矩阵和畸变向量；
[0016]内参矩阵为：
[0017]畸变向量为D＝(k1,k2,p1,p2)；
[0018]其中，f表示摄像机焦距，dx、dy分别表示摄像机像元尺寸u0和v0表示图像中心点；
[0019]所述双目摄像机外参数包括右摄像机到左摄像机的旋转矩阵R3×3，以及右摄像机到左摄像机的平移向量T3×1。
[0020]作为本专利技术的进一步的方案：所述步骤S2中的具体步骤包括：
[0021]通过双目摄像机进行水下图像采集，得到左右图像；
[0022]再基于标定得到的双目摄像机获取的左右相机内外参数对采集得到的左右图像进行畸变矫正和极线矫正，得到共面的左右图像。
[0023]作为本专利技术的进一步的方案：所述步骤S3中的具体步骤包括：
[0024]获取预处理后共面的左右图像；
[0025]在存在目标的左右图像的初始帧中框选目标图像区域，并基于局部图像训练根据目标跟踪算法，生成目标识别模型Model
object
。
[0026]作为本专利技术的进一步的方案：所述步骤S4中的具体步骤包括：
[0027]根据生成的目标识别模型在后续图像采集过程中，实时跟踪识别目标在左右图像中的范围ROI
l
,ROI
r
。
[0028]作为本专利技术的进一步的方案：所述步骤S5中的具体步骤包括：
[0029]步骤S51、目标特征提取：
[0030]根据识别目标在左右图像中获取的范围，并对目标所在左右图像的范围进行裁剪，缩小特征提取范围；
[0031]再基于ORB算法分别对左右图像的目标进行关键的特征点提取，通过匹配算法对目标的左右图像中特征点进行特征匹配，得到同名特征点集F
l
(u
i
,v
i
),(i＝1,2,
…
,m)，F
r
(u
j
,v
j
),(j＝1,2,
…
,n)；
[0032]采用算法对匹配点对进行处理和筛选，剔除误匹配点对，保留正确匹配的左右图像块特征点对F
l
(u
k
,v
k
)、F
r
(u
k
,v
k
)其中k≤min(m,n)；
[0033]基于筛选后的特征点计算左右图像单应性矩阵H，并通过结合特征点在图像中得
位置，剔除远离目标ROI中心点且Z向深度较大的点集，保留部分目标特征点集F
l
(u
h
,v
h
)、F
r
(u
h
,v
h
)，其中(h≤k)；
[0034]步骤S52、目标特征融合：
[0035]根据得到的目标特征点集F
l
(u
k
,v
k
)、F
r
(u
k
,v
k
)，其中k≤min(m,n)，求取平均坐标点作为目标参考点，计算公式为：
[0036][0037][0038]其中，R
l
(u
l
,v
l
)、R
r
(u
r
,v
r
)分别为目标在左右图像上的参考点，h为目标左右匹配同源点个数。
[0039]作为本专利技术的进一步的方案：所述步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特殊环境下目标实时识别定位方法，其特征在于，包括：步骤S1、在水下环境对双目摄像机进行标定获取左右相机内外参数，建立水下双相机模型；步骤S2、基于标定得到的左右相机内外参数对水下图像采集的左右图像进行预处理，得到共面的左右图像；步骤S3、在采集到的左右图像中选取待抓取目标，基于选取目标图像区域初始化目标跟踪算法，生成目标识别模型；步骤S4、在图像采集过程中，基于目标识别模型定位目标在左右图像中的范围，进行粗定位目标；步骤S5、基于对目标进行特征匹配筛选得到匹配特征点，并对匹配得到的多组特征点进行融合，得到目标参考点；步骤S6、基于融合后的目标参考点对目标进行三维坐标计算，得到精准定位目标。2.根据权利要求1所述一种特殊环境下目标实时识别定位方法，其特征在于，所述步骤S1中的具体步骤包括：在水下环境对双目摄像机进行标定，计算水下双目摄像机内参数和外参数；所述双目摄像机内参数包括内参矩阵和畸变向量；内参矩阵为：畸变向量为D＝(k1,k2,p1,p2)；其中，f表示摄像机焦距，dx、dy分别表示摄像机像元尺寸u0和v0表示图像中心点；所述双目摄像机外参数包括右摄像机到左摄像机的旋转矩阵R3×3，以及右摄像机到左摄像机的平移向量T3×1。3.根据权利要求1所述一种特殊环境下目标实时识别定位方法，其特征在于，所述步骤S2中的具体步骤包括：通过双目摄像机进行水下图像采集，得到左右图像；再基于标定得到的双目摄像机获取的左右相机内外参数对采集得到的左右图像进行畸变矫正和极线矫正，得到共面的左右图像。4.根据权利要求1所述一种特殊环境下目标实时识别定位方法，其特征在于，所述步骤S3中的具体步骤包括：获取预处理后共面的左右图像；在存在目标的左右图像的初始帧中框选目标图像区域，并基于局部图像训练根据目标跟踪算法，生成目标识别模型Model
object
。5.根据权利要求1所述一种特殊环境下目标实时识别定位方法，其特征在于，所述步骤S4中的具体步骤包括：根据生成的目标识别模型在后续图像采集过程中，实时跟踪识别目标在左右图像中的
范围ROI
l
,ROI
r
。6.根据权利要求1所述一种特殊环境下目标实时识别定位方法，其特征在于，所述步骤S5中的具体步骤包括：步骤S51、目标特征提取：根据识别目标在左右图像中获取的范围，并对目标所在左右图像的范围进行裁剪，缩小特征提取范围；再基于ORB算法分别对左右图像的目标进行关键的特征点提取，通过匹配算法对目标的左右图像中特征点进行特征匹配，得到同名特征点集F
l
(u
i
,v
i
),(i＝1,2,
…
,m)，F
r
(u
j
,v
j
),(j＝1,2,
…
,n)；采用算法对匹配点对进行处理和筛选，剔除误匹配点对，保留正确匹配的左右图像块特征点对F
l
(u
k
,v
k
)、F
r
(u
k
,v
k
)其中k≤min(m,n)；基于筛选后的特征点计算左右图像单应性矩阵H，并通过结合特征点在图像中得位置，剔除远离目标ROI中心点且Z向深度较大的点集，保留部分目标特征点集F
l
(u
h
,v
h
)、F
r
(u
h
,v
h
)，其中h≤k；步骤S52、目标特征融合：根据得到的目标特征点集F
l
(u
h
,v
h
)、F
r
(u
h
,v
h
)，(h≤k)求取平均坐标点作为目标参考点，计算公式为：点，计算公式为：其中，R
l

【专利技术属性】
技术研发人员：聂余满，汤远洋，王耀雄，曹平国，汪洲，周子，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：