移动机器人目标定位方法及系统技术方案

本申请涉及目标识别技术领域，特别是涉及移动机器人目标定位方法及系统。该方法包括：目标识别步骤，采集目标彩色图像及深度图像，识别目标彩色图像得到其在彩色图像的彩色区域框；深度信息获取步骤，建立摄像机模型并进行摄像机标定后建立配准关系，并基于优化误差函数对配准关系进行迭代优化，得到目标在深度图像的深度区域框；点云数据获取步骤，获取深度区域框内有效深度数据，选取有效深度数据中的避障目标深度数据，并获取目标在深度摄像机坐标系下的点云数据；目标定位步骤，将点云数据转换至彩色摄像机坐标系以确定目标位姿，拟合得到移动机器人的避障目标区域。本申请解决彩色图像到深度图像配准的问题，降低运行成本，简单便捷。简单便捷。简单便捷。

【技术实现步骤摘要】
移动机器人目标定位方法及系统


[0001]本申请涉及目标识别
，特别是涉及移动机器人目标定位方法及系统。

技术介绍

[0002]随着人工智能的发展，人们对智能移动机器人的研究越来越广泛。目前，在目标识别方面多采用传统的目标识别方法，由于形态、光照、背景的多样性使得识别效果不好，准确率不高。而基于深度卷积神经网络的目标检测方法鲁棒性强，识别准确率高。在正确识别目标后，实现目标的姿态估计也较为关键。
[0003]Kinect是一种深度摄像机，Kinect v2包含了一个彩色摄像机Color Camera、一个深度（红外）摄像机Depth Sensor、一个红外投影机IR Emitters和麦克风阵列Microphone Array，彩色摄像机用于拍摄视角范围内的彩色视频、图像，红外投影机用于投射近红外线光谱，深度（红外）摄像机用于分析红外光谱，通过从投射的红外线反射后返回的时间来取得深度信息，创建可视范围内的人体、物体的深度图像，是一种成本合理，能够用于不同领域、不同场景且精度也比较精确的深度摄像机，精度在2mm~4mm左右，距离越近精度越高。现有的移动机器人目标定位方法通常是通过Kinect v2摄像机同时获取场景的彩色图像和深度图像来完成目标的定位。
[0004]如专利CN112136505A所公开的，现有的目标识别定位方法在彩色图像与深度图像配准部分中，大多是使用SDK（Software Development Kit）提供的映射函数完成两者之间的配准，实现两者信息融合，但是该方法灵活度不够，且因为深度摄像机与彩色摄像机不重合，深度图上的一部分在实际场景中不能被彩色摄像机捕获，配准效果不好，为了深度图像的显示，往往会扩大深度图像数据一定倍数，也导致配准结果不准确；其配准原理主要是将深度摄像机坐标转换到RGB摄像机坐标，再把RGB摄像机坐标转换到RGB平面坐标，更多局限于从深度图像到彩色图像的配准。
[0005]若反之，从彩色图像到深度图像进行配准，由于Kinect v2摄像机的CCD像面单位长度对应的图像像素个数N
x
和N
y
无法通过查找资料得到，因此，现有技术无法在未知任何深度信息下直接推导出配准关系，缺少配准关系，即便获得彩色图像的像素值，也不能获得深度图像上的坐标值，无法实现目标场景准确目标定位。

技术实现思路

[0006]本申请实施例提供了一种移动机器人目标定位方法及系统，以至少解决相关技术中彩色图像到深度图像配准的问题，实现仅依靠Kinect v2摄像机进行目标识别和定位，降低运行成本，简单便捷。
[0007]第一方面，本申请实施例提供了一种移动机器人目标定位方法，包括：目标识别步骤，采集目标彩色图像及深度图像，通过一预训练后的MobileNetV3
‑
SSD模型识别所述目标彩色图像得到目标在所述彩色图像的彩色区域框，得到目标类别及像素坐标（u
rgb
，v
rgb
）；
深度信息获取步骤，建立Kinect v2摄像机模型并进行摄像机标定，得到彩色摄像机、深度摄像机的内参数、畸变参数及外参数，以建立彩色图像向深度图像转换的配准关系，并基于一优化误差函数对所述配准关系进行迭代优化，基于优化后的配准关系得到目标在深度图像的深度区域框，所述优化误差函数通过以下计算模型计算得到：，其中，是迭代i次后的目标点在彩色图像平面的彩色投影坐标，p
rgb0
为目标点在彩色图像上真实像素坐标，i=1,2,
…
,n，n为迭代次数；点云数据获取步骤，通过遍历所述深度区域框获取其内所有有效深度数据，基于一预设避障范围选取所述有效深度数据中的避障目标深度数据，并获取目标在深度摄像机坐标系下的点云数据；目标定位步骤，将所述点云数据转换至彩色摄像机坐标系以确定目标在彩色摄像机坐标系下的位姿，拟合得到所述移动机器人的避障目标区域。
[0008]在其中一些实施例中，所述深度信息获取步骤包括：配准关系建立步骤，建立Kinect v2摄像机模型并进行摄像机标定，得到彩色摄像机和深度摄像机的内参数A
rgb
和A
depth
、畸变参数、彩色摄像机的外参数R
rgb
和T
rgb
及深度摄像机的外参数R
depth
及T
depth
，从而计算出彩色摄像机和深度摄像机坐标系之间的旋转矩阵和平移向量，建立彩色图像向深度图像转换的配准关系，所述配准关系基于如下计算模型计算得到：ρ1p
depth
=ρ2A
depth
R
depth
R
rgb
‑1A
rgb
‑1p
rgb
+A
depth
(T
depth
‑
R
depth
R
rgb
‑1T
rgb
)，其中，ρ1为深度图像中的深度信息，ρ2为彩色图像中的深度信息，p
rgb
为目标点在彩色图像平面的彩色投影坐标，p
depth
为目标点在深度图像平面的深度投影坐标；配准迭代优化步骤，基于Kinect v2中彩色摄像机和深度摄像机标定后的真实旋转平移关系以及Kinect v2摄像机模型，对配准进行迭代优化。
[0009]在其中一些实施例中，所述配准迭代优化步骤进一步包括：深度值获取步骤，使彩色摄像机和深度摄像机处于设定近似平行关系后旋转深度摄像机使彩色摄像机和深度摄像机处于真实旋转平移关系，分别采集对应关系下所述目标点在深度图像的深度值，得到初始深度值ρ
10
=z
depth0
及更新深度值ρ
11
=z
depth1
；优化误差函数建立步骤，根据所述真实旋转平移关系及深度摄像机坐标系和彩色摄像机坐标系各自的外参数将深度摄像机坐标P
depth1
转换得到彩色投影坐标p
rgb1
，并建立所述优化误差函数；优化误差函数迭代步骤，配置迭代范围对深度值ρ
1i
=z
depthi
进行迭代，得到误差函数最小的深度值并将对应深度投影坐标经坐标系转换得到所述目标点的彩色摄像机坐标，实现所述目标点彩色图像向深度图像的配准。
[0010]在其中一些实施例中，所述有效深度数据通过将深度图像转换为灰度图像后，基于如下计算模型计算得到：depth_value=k
×
gray_value
其中，k为尺度因子；gray_value为灰度值。
[0011]在其中一些实施例中，所述点云数据通过如下计算模型计算得到：，其中，(u,v)用于深度图像上的坐标点，d为坐标点的深度值，f
x
、f
y
表示深度摄像机的焦距f在x、y方向上像素度量，c...

【技术保护点】

【技术特征摘要】
1.一种移动机器人目标定位方法，其特征在于，包括：目标识别步骤，采集目标彩色图像及深度图像，通过一预训练后的MobileNetV3
‑
SSD模型识别所述目标彩色图像得到目标在所述彩色图像的彩色区域框；深度信息获取步骤，建立Kinect v2摄像机模型并进行摄像机标定，得到彩色摄像机、深度摄像机的内参数、畸变参数及外参数，以建立彩色图像向深度图像转换的配准关系，并基于一优化误差函数对所述配准关系进行迭代优化，基于优化后的配准关系得到目标在深度图像的深度区域框，所述优化误差函数通过以下计算模型计算得到：，其中，是迭代i次后的目标点在彩色图像平面的彩色投影坐标，p
rgb0
为目标点在彩色图像上真实像素坐标，i=1,2,
…
,n，n为迭代次数；点云数据获取步骤，通过遍历所述深度区域框获取其内所有有效深度数据，基于一预设避障范围选取所述有效深度数据中的避障目标深度数据，并获取目标在深度摄像机坐标系下的点云数据；目标定位步骤，将所述点云数据转换至彩色摄像机坐标系以确定目标在彩色摄像机坐标系下的位姿，拟合得到所述移动机器人的避障目标区域。2.根据权利要求1所述的移动机器人目标定位方法，其特征在于，所述深度信息获取步骤包括：配准关系建立步骤，建立Kinect v2摄像机模型并进行摄像机标定，得到彩色摄像机和深度摄像机的内参数A
rgb
和A
depth
、畸变参数、彩色摄像机的外参数R
rgb
和T
rgb
及深度摄像机的外参数R
depth
及T
depth
，从而计算出彩色摄像机和深度摄像机坐标系之间的旋转矩阵和平移向量，建立彩色图像向深度图像转换的配准关系，所述配准关系基于如下计算模型计算得到：ρ1p
depth
=ρ2A
depth
R
depth
R
rgb
‑1A
rgb
‑1p
rgb
+A
depth
(T
depth
‑
R
depth
R
rgb
‑1T
rgb
)，其中，ρ1为深度图像中的深度信息，ρ2为彩色图像中的深度信息，p
rgb
为目标点在彩色图像平面的彩色投影坐标，p
depth
为目标点在深度图像平面的深度投影坐标；配准迭代优化步骤，基于Kinect v2中彩色摄像机和深度摄像机标定后的真实旋转平移关系以及Kinect v2摄像机模型，对配准进行迭代优化。3.根据权利要求2所述的移动机器人目标定位方法，其特征在于，所述配准迭代优化步骤进一步包括：深度值获取步骤，使彩色摄像机和深度摄像机处于设定近似平行关系后旋转深度摄像机使彩色摄像机和深度摄像机处于真实旋转平移关系，分别采集对应关系下所述目标点在深度图像的深度值，得到初始深度值ρ
10
=z
depth0
及更新深度值ρ
11
=z
depth1
；优化误差函数建立步骤，根据所述真实旋转平移关系及深度摄像机坐标系和彩色摄像机坐标系各自的外参数将深度摄像机坐标P
depth1
转换得到彩色投影坐标p
rgb1
，并建立所述优化误差函数；优化误差函数迭代步骤，配置迭代范围对深度值ρ
1i
=z
depthi
进行迭代，得到误差函数最
小的深度值并将对应深度投影坐标经坐标系转换得到所述目标点的彩色摄像机坐标，实现所述目标点彩色图像向深度图像的配准。4.根据权利要求1所述的移动机器人目标定位方法，其特征在于，所述有效深度数据通过将深度图像转换为灰度图像后，基于如下计算模型计算得到：depth_value=k
×
gray_value，其中，k为尺度因子；gray_value为灰度值。5.根据权利要求4所述的移动机器人目标定位方法，其特征在于，所述点云数据通过如下计算模型计算得到：，其中，(u,v)用于深度图像上的坐标点，d为坐标点的深度值，f
x
、f
y
表示深度...

【专利技术属性】
技术研发人员：王晓敏，李宁宁，孙振东，郑舟，孔旭，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：