一种面向人机协作的手持物体位姿实时检测方法技术

本发明专利技术提供一种面向人机协作的手持物体位姿实时检测方法，属于人机协作交互系统以及工业机器人对手持工作物件位姿感知的技术领域。通过3D体感摄影机对待检测物体各部分进行深度图像拍摄，将各局部点云对齐合并为物体完整的三维点云模型；采集实时的RGB彩色图像及包含场景三维点云信息的深度图像。将RGB图像进行自动阈值分割，获得图像中表示物体的像素点，将采集到的深度图像中对应点云与之融合，得到场景中物体的带颜色信息的RGB‑D图像；利用ICP算法将物体的RGB‑D图像与物体完整的三维点云图像进行点云匹配，获得场景中手持物体的位置及姿态。该方法克服了能够得到手持物体当前时刻的准确位姿，可用于多样化的场景。

A Real-time Posture Detection Method for Handheld Objects Oriented to Man-Machine Cooperation

The invention provides a real-time detection method for the pose of a hand-held object oriented to human-computer cooperation, belonging to the technical field of human-computer cooperative interaction system and the position and attitude perception of an industrial robot for a hand-held work object. The depth image of each part of the detected object is taken by a 3D somatosensory camera, and the local point clouds are aligned and merged into a complete three-dimensional point cloud model of the object. Real-time RGB color images and depth images containing three-dimensional point cloud information of the scene are collected. The RGB image is segmented automatically by threshold, and the pixels representing the object in the image are obtained. The corresponding point clouds in the depth image are fused to get the RGB_D image with color information of the object in the scene. The RGB_D image of the object is matched with the complete three-dimensional point cloud image of the object by ICP algorithm, and the position and posture of the hand-held object in the scene are obtained. This method overcomes the need to get the exact pose of the hand-held object at the current time, and can be used in a variety of scenarios.

【技术实现步骤摘要】
一种面向人机协作的手持物体位姿实时检测方法
本专利技术属于人机协作交互系统以及工业机器人对工作物件位姿感知的
，涉及到一种面向人机协作的手持物体位姿实时检测方法。
技术介绍
机器人技术是跨越传统工程界限发展而来的现代技术中一个相对年轻的领域，它覆盖了电气工程、机械工程、系统和工业工程、计算机科学、经济学和数学等领域。20世纪60年代，随着第一台可编程机器人的诞生，机器人领域得到了快速的发展。但从其发展历史上看，大体经过如下三个阶段。早期阶段，第一代机器人称为示教机器人，它主要通过操作者进行示教，内部程序存储信息，然后在工作时读取信息，重复示教动作；第二代机器人称为可感知外界信息的机器人，它主要通过配置各种传感器，具有一定程度的视觉、触觉、力觉等的感知能力；第三代机器人称为智能机器人，它只需要操作者告知做什么，而不用告诉它怎么做，就能完成感知、运动、推理和人机交互等动作和任务。近年来，随着对智能机器人的深入研究，要实现具有与人协同工作能力的新一代工业机器人系统，如何解决工业机器人对人机共享环境的建模、感知与场景理解是最根本的问题，而对场景中手持物体进行实时位姿检测则是其中最为重要的部分之一。传统的物体位姿检测方法主要是基于单目视觉，以目标物体的几何特征和摄像机成像原理为基础，实现对目标物体的姿态估计。其中，应用最为广泛的算法则为PnP算法。该算法通过3D与2D点之间的对应关系求解相机姿态，即n点投影问题。该算法在已知摄像机内参的前提条件下，通过摄像机拍摄一幅包含n个特征点的图像，根据这n个特征点在世界坐标系的位置和对应在图像坐标系之间的投影关系，计算摄像机的位置和姿态，该姿态的逆矩阵即为物体相对摄像机坐标系的姿态(贾未.基于视觉的机械臂空间目标位姿识别与抓取[D].大连理工大学,2018.)。这种位姿检测方法的优点是易操作，效率高，缺点是，在物体信息不完全(手持物体存在局部遮挡)的情况下会造成关键点缺失，无法准确得出场景中物体的姿态信息。另外一种常用的检测方法是通过神经网络训练模型，将场景中背景和物体提前学习好，分割出场景中的目标物体，再通过点云匹配得到当前物体的位姿。这种方法的优点是准确性高，但其应用场景单一，当换到另外一个场景时，则需要大量的时间和数据重新训练模型(ZengA,YuKT,SongS,etal.Multi-viewSelf-supervisedDeepLearningfor6DPoseEstimationintheAmazonPickingChallenge[J].2016:1386-1383.)。因此，上述两种方法都在对场景中手持物体进行实时位姿检测时存在不足。
技术实现思路
本专利技术提出了基于物体三维点云信息的物体位姿实时检测方法。通过3D体感摄影机对待检测物体各部分进行深度图像拍摄，得到物体局部的三维点云信息，使用点云处理软件将各局部点云对齐合并为物体完整的三维点云模型。再使用3D体感摄影机对场景进行实时数据采集，得到当前场景的RGB彩色图像，及包含场景三维点云信息的深度图像。将得到的RGB图像进行自动阈值分割，获得图像中表示物体的像素点，接着将采集到的深度图像中对应点云与之融合，得到场景中物体的带颜色信息的三维点云(RGB-D)图像。最后利用ICP算法将物体的RGB-D图像与物体完整的三维点云图像进行点云匹配，获得场景中手持物体的位置及姿态。本专利技术的技术方案：一种面向人机协作的手持物体位姿实时检测方法，包括如下步骤：1)数据的采集及点云图像的预处理将待测物体放置于实验平台上，使用3D体感摄影机对其进行拍摄，通过多角度拍摄待测物体各个局部得到不同角度的点云图像，将得到的点云图像进行滤波，滤掉图像中的离群点。2)构建待测物体完整的点云模型图像通过关键点匹配的方法，以滤波后的一幅点云图像作为基准，其他点云图像参照此基准实现点云对齐。再将对齐后的点云图像进行合并，得到待测物体完整的点云模型图像。3)图像的实时采集在3D体感摄影机摄像头的可视范围内，将戴好黑色手套的“人手”及所持待测物体置于设置好的实验平台上方。通过3D体感摄影机对当前场景进行深度图像和彩色图像的实时采集。4)图像分割对步骤3)采集的彩色图像转化为灰度图像，利用自适应阈值分割算法，对灰度图像进行图像分割，将灰度图像分成背景和目标两部分。找到分割后图像中的最大连通域即为待检测物体，删除其余杂点部分，得到只包含待测物体的灰度图像，将只包含待测物体的灰度图像对应转化为待测物体的彩色图像。5)得到待测物体彩色三维点云图像(RGB-D图像)根据3D体感摄影机自身的相机内参，得到深度图像和待测物体的彩色图像的像素坐标之间的转换关系，根据转换关系完成深度图像和待测物体的彩色图像的融合，得到待测物体彩色三维点云图像。所述深度图像和待测物体的彩色图像的像素坐标之间的转换过程如下：其中，3D体感摄影机深度图像素坐标为(u,v)，深度摄像头的相机坐标为(x,y,z)，dx和dy表示每一列和每一行分别代表多少mm，即每一列中1像素＝dxmm，每一行中1像素＝dymm，fx和fy分别表示相机在水平方向和竖直方向上的焦距，u0、v0分别为光心在像素坐标系的坐标与像素坐标系原点的水平偏移量和竖直偏移量。当3D体感摄影机的彩色图像像素坐标为(u',v')，彩色摄像头的相机坐标为(x',y',z')时，则两个坐标之间同样存在的转换关系为：深度摄像头和彩色摄像头之间的旋转平移矩阵通过3D体感摄影机自身参数得到，两个摄像头相机坐标转换关系如下式：其中，a表示深度摄像头和彩色摄像头之间在水平方向上的位移。联立式(1)、(2)、(3)得到：在深度摄像头的相机坐标系和彩色摄像头的相机坐标系中，认为二者对应像素点的深度相等，即z＝z'，则得到：公式(5)即为深度图像和彩色图像的像素坐标之间的转换关系。6)实时检测待测物体位姿将步骤2)得到的点云模型图像作为基准位置，再把待测物体的RGB-D图像与点云模型图像进行比对，通过ICP点云匹配算法，求得场景中物体的三维点云相对点云模型图像中的三维点云的旋转平移矩阵，即得到场景中物体点云相对基准位置三维点云的旋转分量和平移分量，通过将其旋转矩阵转化为欧拉角形式，进而得到当前场景下手持物体的位姿。所述的ICP点云匹配算法为：在每次迭代的过程中，对待测物体彩色三维点云图像中的每一点，在模型点云图像中寻找欧式距离最近点作为对应点，通过这组对应点使目标函数最小化：其中，f(R,t)为目标函数；Qi为模型点云图像中的第i个点；n为需校准点云的所有点的数量；R为两幅待测物体彩色三维点云图像之间的旋转分量；Pi为需校准点云中的第i个点；t为两幅待测物体彩色三维点云图像相差的平移分量。通过上式得到最优的平移向量t和旋转矩阵R，将平移向量t和旋转矩阵R作用到待测物体彩色三维点云图像上，得到新的点云数据带入下次迭代过程，直到满足迭代停止条件，输出求得的旋转平移矩阵Rt：平移向量t表示为：[t0t1t2]T；其中，t0、t1、t2分别为两幅待测物体彩色三维点云图像中对应点之间在三个坐标方向上的距离。旋转向量R表示为：其中，R为3*3的矩阵，r00、r01、r02、r10、r11、r12、r20、r21、r22分别为矩阵中对应位置的值；为使本文档来自技高网...

【技术保护点】
1.一种面向人机协作的手持物体位姿实时检测方法，其特征在于，包括如下步骤：1)数据的采集及点云图像的预处理将待测物体放置于实验平台上，使用3D体感摄影机对其进行拍摄，通过多角度拍摄待测物体各个局部得到不同角度的点云图像，将得到的点云图像进行滤波，滤掉图像中的离群点；2)构建待测物体完整的点云模型图像通过关键点匹配的方法，以滤波后的一幅点云图像作为基准，其他点云图像参照此基准实现点云对齐；再将对齐后的点云图像进行合并，得到待测物体完整的点云模型图像；3)图像的实时采集在3D体感摄影机摄像头的可视范围内，将戴好黑色手套的“人手”及所持待测物体置于设置好的实验平台上方；通过3D体感摄影机对当前场景进行深度图像和彩色图像的实时采集；4)图像分割对步骤3)采集的彩色图像转化为灰度图像，利用自适应阈值分割算法，对灰度图像进行图像分割，将灰度图像分成背景和目标两部分；找到分割后图像中的最大连通域即为待检测物体，删除其余杂点部分，得到只包含待测物体的灰度图像，将只包含待测物体的灰度图像对应转化为待测物体的彩色图像；5)得到待测物体彩色三维点云RGB‑D图像根据3D体感摄影机自身的相机内参，得到深度图像和待测物体的彩色图像的像素坐标之间的转换关系，根据转换关系完成深度图像和待测物体的彩色图像的融合，得到待测物体彩色三维点云图像；所述深度图像和待测物体的彩色图像的像素坐标之间的转换过程如下：...

【技术特征摘要】
1.一种面向人机协作的手持物体位姿实时检测方法，其特征在于，包括如下步骤：1)数据的采集及点云图像的预处理将待测物体放置于实验平台上，使用3D体感摄影机对其进行拍摄，通过多角度拍摄待测物体各个局部得到不同角度的点云图像，将得到的点云图像进行滤波，滤掉图像中的离群点；2)构建待测物体完整的点云模型图像通过关键点匹配的方法，以滤波后的一幅点云图像作为基准，其他点云图像参照此基准实现点云对齐；再将对齐后的点云图像进行合并，得到待测物体完整的点云模型图像；3)图像的实时采集在3D体感摄影机摄像头的可视范围内，将戴好黑色手套的“人手”及所持待测物体置于设置好的实验平台上方；通过3D体感摄影机对当前场景进行深度图像和彩色图像的实时采集；4)图像分割对步骤3)采集的彩色图像转化为灰度图像，利用自适应阈值分割算法，对灰度图像进行图像分割，将灰度图像分成背景和目标两部分；找到分割后图像中的最大连通域即为待检测物体，删除其余杂点部分，得到只包含待测物体的灰度图像，将只包含待测物体的灰度图像对应转化为待测物体的彩色图像；5)得到待测物体彩色三维点云RGB-D图像根据3D体感摄影机自身的相机内参，得到深度图像和待测物体的彩色图像的像素坐标之间的转换关系，根据转换关系完成深度图像和待测物体的彩色图像的融合，得到待测物体彩色三维点云图像；所述深度图像和待测物体的彩色图像的像素坐标之间的转换过程如下：其中，3D体感摄影机深度图像素坐标为(u,v)，深度摄像头的相机坐标为(x,y,z)，dx和dy表示每一列和每一行分别代表多少mm，即每一列中1像素＝dxmm，每一行中1像素＝dymm，fx和fy分别表示相机在水平方向和竖直方向上的焦距，u0、v0分别为光心在像素坐标系的坐标与像素坐标系原点的水平偏移量和竖直偏移量；当3D体感摄影机的彩色图像像素坐标为(u',v')，彩色摄像头的相机坐标为(x',y',z')时，则两个坐标之间同样存在的转换关系为：深度摄像头和彩色摄像头之间的旋转平移矩阵通过3D体感摄影机自身参数得到，两个摄像头相机坐标转换关系如下式；其中，a表示深度摄像头和彩色摄像头之间在水平方向上的位移；联立式(1)、(2)、(3)得到：在深度摄像头的相机坐标系和彩色摄像...

【专利技术属性】
技术研发人员：闫飞，高雅楠，庄严，李卓函，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21