基于空间运动目标三维重构的几何参数辨识方法及系统技术方案

本发明专利技术公开了基于空间运动目标三维重构的几何参数辨识方法及系统，该方法包括：获取单目视觉图像数据和稀疏点云数据；对单目视觉图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；基于视觉映射方法将稀疏雷达的稀疏点云数据与光学模型进行融合，得到点云粗提取结果；基于迭代匹配多视角点云融合方法对点云粗提取结果进行融合处理；基于特征和学习混合法对点云融合结果进行三维重构并对空间运动目标的几何参数进行自主辨识。通过使用本发明专利技术，能够提高空间运动目标三维重构和几何参数自主辨识的精确性、稳定性以及时效性。本发明专利技术作为基于空间运动目标三维重构的几何参数辨识方法及系统，可广泛应用于计算机视觉领域。域。域。

【技术实现步骤摘要】
基于空间运动目标三维重构的几何参数辨识方法及系统


[0001]本专利技术涉及计算机视觉
，尤其涉及基于空间运动目标三维重构的几何参数辨识方法及系统。

技术介绍

[0002]在机械臂抓取任务中，一般包括空间运动目标的定位、跟踪和抓取三个过程。如果空间运动目标具有一定的运动速度，那么机械臂抓取的难度大幅度上升。因此，在定位过程中，需要通过视觉系统实现空间运动目标的几何参数的辨识和相对位姿的估计，它的前提条件是初始相对位姿已知。三维重构能够获取空间运动目标的点云信息，进而可以确定其初始相对位姿和几何参数，为后续的跟踪和抓取任务提供重要信息。因此，在对相对位姿进行估计之前，有必要对空间运动目标进行三维重建，从而获取精确的参考相对位姿。视觉相机蕴含着丰富的边缘信息，而雷达数据更好地体现了尺度信息。然而，传统方法没有对视觉和点云进行匹配，不能充分利用图像丰富的边缘特征。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供基于空间运动目标三维重构的几何参数辨识方法及系统，通过多源融合可以实现多视角视觉和点云的信息互补，提高空间运动目标三维重构和几何参数自主辨识的精确性、稳定性以及时效性。
[0004]本专利技术所采用的第一技术方案是：基于空间运动目标三维重构的几何参数辨识方法，包括以下步骤：
[0005]通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；
[0006]通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；
[0007]基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；
[0008]基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；
[0009]基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。
[0010]进一步，所述通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型这一步骤，其具体包括：
[0011]将空间运动目标的单目视觉的图像数据进行空间转换处理，得到空间运动目标的HSV图像；
[0012]设置预设颜色分割阈值对空间运动目标的HSV图像进行分割处理，得到初步的分割结果；
[0013]通过图像膨胀技术对初步的分割结果中空间运动目标的残缺部位进行填充，得到空间运动目标的填充图像；
[0014]对空间运动目标的填充图像的轮廓进行提取筛选，获取空间运动目标的边缘轮廓直线；
[0015]对空间运动目标的边缘轮廓直线进行拟合，提取边缘直线的有效顶点；
[0016]基于极坐标思想对边缘直线的有效顶点进行排序并根据排序结果进行首尾相连，构建空间运动目标的光学模型即空间运动目标的掩码图像。
[0017]进一步，所述基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果这一步骤，其具体包括：
[0018]根据空间运动目标的光学模型，对空间运动目标的稀疏点云数据进行映射处理，获取对应的像素坐标；
[0019]将存在单目视觉的有效视野范围内的像素坐标与三维点进行匹配，获取空间运动目标在点云空间中的顶点，所述三维点为空间运动目标的点云中的三维点；
[0020]引入带约束的非线性优化问题，利用最近邻策略将空间运动目标在点云空间中的顶点与视觉空间中的顶点即有效顶点进行匹配处理，得到空间运动目标的点云粗提取结果。
[0021]进一步，所述带约束的非线性优化问题的表达式具体如下所示：
[0022][0023][0024](
cam
R
lidar
)
Tcam
p
lidar
＝I
[0025][0026]上式中，表示空间运动目标的光学模型，A
in
表示单目视觉的内参矩阵，A
ex
表示单目视觉的外参矩阵，lidar表示稀疏雷达坐标系，cam表示相机坐标系，s
i
表示该点i投影在图像平面上的像素坐标，
cam
R
lidar
表示lidar相对于cam的旋转矩阵，ω
i
表示单目视觉的视野范围，表示根据光学模型计算的
lidar
p
i
的像素坐标。
[0027]进一步，所述基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果这一步骤，其具体包括：
[0028]确定参考点云，获取空间运动目标的点云粗提取结果的第k帧临近点云；
[0029]基于迭代最近点算法迭代求解第k帧临近点云对齐到参考点云的旋转矩阵和平移向量；
[0030]引入带约束的非线性优化方程，对第k帧临近点云与参考点云进行迭代匹配，对匹配结果进行判断；
[0031]判断到匹配结果大于预设阈值则更新第k帧临近点云对齐到参考点云的旋转矩阵和平移向量并再次进行匹配，直至匹配结果小于预设阈值，将第k帧临近点云与参考点云依次进行统一与融合处理，得到空间运动目标的点云融合结果。
[0032]进一步，所述带约束的非线性优化方程的表达式具体如下所示：
[0033][0034][0035]上式中，
ref
R
k
表示第k帧临近点云对齐到参考点云的旋转矩阵，
ref
t
k
表示第k帧临近点云对齐到参考点云的平移向量，p
k,i
表示第k帧临近点云数据，p
ref,j
表示参考点云数据，N
k
表示第k帧临近点云所含三维点的数量。
[0036]进一步，所述基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果这一步骤，其具体包括：
[0037]基于迭代的空间运动目标三维重构方法对空间运动目标的点云融合结果进行分解优化，得到正交平面的最优参数；
[0038]结合正交平面的最优参数，基于优化的空间运动目标三维重构方法对空间运动目标进行三维重构处理，得到空间运动目标的三维重构结果；
[0039]基于空间运动目标的三维重构结果对空间运动目标的几何参数进行自辨识处理，得到辨识结果，所述辨识结果包括空间运动目标的顶点参数、空间运动目标的尺寸向量、空间运动目标的坐标轴和空间运动目标的中心。
[0040]进一步，所述基于迭代的空间运动目标三维重构方法对空间运动目标的点云融合结果进行分解优化，得到正交平面的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于空间运动目标三维重构的几何参数辨识方法，其特征在于，包括以下步骤：通过单目摄像头与多线激光雷达对空间运动目标进行视觉图像数据与激光点云数据的采集，且基于不同视角进行多次采集，得到单目视觉的图像数据和稀疏点云数据；通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型；基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果；基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果；基于特征和学习混合的方法对空间运动目标的点云融合结果进行三维重构并根据重构结果对空间运动目标的几何参数进行自主辨识，得到辨识结果。2.根据权利要求1所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述通过自主视觉区域分割法对单目视觉的图像数据进行像素级分割与拟合，构建空间运动目标的光学模型这一步骤，其具体包括：将空间运动目标的单目视觉的图像数据进行空间转换处理，得到空间运动目标的HSV图像；设置预设颜色分割阈值对空间运动目标的HSV图像进行分割处理，得到初步的分割结果；通过图像膨胀技术对初步的分割结果中空间运动目标的残缺部位进行填充，得到空间运动目标的填充图像；对空间运动目标的填充图像的轮廓进行提取筛选，获取空间运动目标的边缘轮廓直线；对空间运动目标的边缘轮廓直线进行拟合，提取边缘直线的有效顶点；基于极坐标思想对边缘直线的有效顶点进行排序并根据排序结果进行首尾相连，构建空间运动目标的光学模型即空间运动目标的掩码图像。3.根据权利要求2所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述基于视觉映射方法将稀疏雷达的稀疏点云数据与空间运动目标的光学模型进行融合，得到空间运动目标的点云粗提取结果这一步骤，其具体包括：根据空间运动目标的光学模型，对空间运动目标的稀疏点云数据进行映射处理，获取对应的像素坐标；将存在单目视觉的有效视野范围内的像素坐标与三维点进行匹配，获取空间运动目标在点云空间中的顶点，所述三维点为空间运动目标的点云中的三维点；引入带约束的非线性优化问题，利用最近邻策略将空间运动目标在点云空间中的顶点与视觉空间中的顶点即有效顶点进行匹配处理，得到空间运动目标的点云粗提取结果。4.根据权利要求3所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述带约束的非线性优化问题的表达式具体如下所示：
cam
R
lidar
)
Tcam
R
lidar
＝I上式中，表示空间运动目标的光学模型，A
in
表示单目视觉的内参矩阵，A
ex
表示单目视觉的外参矩阵，lidar表示稀疏雷达坐标系，cam表示相机坐标系，s
i
表示该点i投影在图像平面上的像素坐标，
cam
R
lidar
表示lidar相对于cam的旋转矩阵，ω
i
表示单目视觉的视野范围，表示根据光学模型计算的
lidar
p
i
的像素坐标。5.根据权利要求4所述基于空间运动目标三维重构的几何参数辨识方法，其特征在于，所述基于迭代匹配空间运动目标多视角点云融合方法对空间运动目标的点云粗提取结果进行融合处理，得到空间运动目标的点云融合结果这一步骤，其具体包括：确定参考点云，获取空间运动目标的点云粗提取结果的第k帧临近点云；基于迭代最近点算法迭代求解第k帧临近点云对齐到参考点云的旋转矩阵和平移向量；引入带约束的非线性优化方程，对第k帧临近点云与参考点云进行迭代匹配，对匹配结果进行判断；判断到匹配结果大于预设阈值则更新第k帧临近点云对齐到参考点云的旋转矩阵和平移向量并再次进行匹配，直至匹配结果小于预设阈值，将第k帧临近点云与参考点云依次进行统一与融合处理，得到空间运动目标的点云融合结果。6.根据权利要求5所述基于空间运动目标三维重构的几何参数辨识...

【专利技术属性】
技术研发人员：彭键清，张弛，韩瑜，
申请(专利权)人：中山大学，
类型：发明
国别省市：