一种复杂背景下的机械臂抓取位姿检测方法技术

一种复杂背景下的机械臂抓取位姿检测方法，属于空间在轨服务领域。包括步骤：利用深度相机获取空间机器人抓取工作场景的深度图像，利用改进的目标检测算法对深度图像进行目标检测，获得抓取工作场景中目标物体的位置，以矩形框形式标记目标物体在图像中的位置；将图像中矩形框标记出的待抓取物体部分映射到目标检测网络的一个卷积层输出上，完成该部分的特征提取，获得相应特征图；以获取的特征图作为抓取位姿检测网络的输入，对目标物体进行抓取位姿检测，检测结果以一个二维有向矩形框表示。本发明专利技术将改进的目标检测算法与所设计的抓取位姿检测网络进行融合，节省了抓取位姿检测方法的整体网络开支，检测速度快的同时也兼顾了检测精度。了检测精度。了检测精度。

【技术实现步骤摘要】
一种复杂背景下的机械臂抓取位姿检测方法


[0001]本专利技术涉及空间在轨服务领域，具体涉及一种复杂背景下的机械臂抓取位姿检测方法。

技术介绍

[0002]随着许多国家航天事业的发展，越来越多的执行探索、开发、利用太空等特定任务的各类航天器被发射到太空中，太空中各类航天器的数量急剧升高，人类对太空领域的探索和开发更加深入。同时数量众多的航天器在工作期间难免会出现燃料耗尽或意外故障等问题，成为太空垃圾，这不仅占用了太空资源还对其他正常工作的航天器产生威胁。空间机器人的在轨服务被广泛应用于失效卫星碎片以及故障卫星的捕获等空间任务中。机械臂抓取操作是空间机器人执行抓捕任务的关键环节之一，而在机械臂执行抓取操作前首先要确定机械臂末端夹持器的抓取位姿信息。
[0003]空间机器人通常搭载深度相机作为其视觉系统，通过深度相机采集待抓取目标的深度图像，对获得的深度图像进行处理，获取执行机械臂抓取操作所需的抓取位姿信息。机械臂抓取位姿采用一个七维变量进行表示：{x,y,z,
ɑ
,β,γ,ω}，其中{x,y,z}表示待抓取目标的中心点位置，{
ɑ
,β,γ}表示待抓取目标物体的姿态，ω表示空间机器人机械臂夹持器的张开宽度。为获得机械臂抓取位姿在深度图像上的表示，需要将此七维变量进行低维映射，将抓取位姿转化为在深度图像上的表示。本方法采用倾斜抓取框作为抓取位姿在深度图像上的表示，此方法是机器人抓取研究中广泛使用的方法。以一个由五维变量确定的倾斜抓取框在深度图像上表示机械臂抓取位姿：{x,y,θ,w,h}，其中{x,y}为待抓取目标的中心位置，θ为待抓取目标与深度图像水平方向的夹角，w为机械臂夹持器张开宽度，h为夹持器纵向尺寸在图像坐标系的投影，该参数限制了可抓取目标的最大尺寸，一般设定为固定值。以上述{x,y,θ,w,h}确定的二维有向抓取框表示包含了足够信息可以映射成机器人三维抓取位姿。
[0004]空间机器人面临的太空环境愈发严峻复杂，并且失效卫星碎片及故障卫星通常为非合作目标，这些原因都为空间机器人的抓捕任务增加了难度。面对复杂的太空环境，空间机器人直接对待抓取目标进行位姿检测，存在着检测精度低的问题，往往难以准确获取抓取位姿，进而影响空间机器人机械臂的抓取准确度。在抓取检测过程中首先需要对待抓取目标进行目标检测，通过目标检测获取待抓取目标的大致位置，相当于对其进行预定位，进一步再对目标区域进行位姿检测，可提高抓取检测的速度与精度。常用的目标检测算法包括传统目标检测算法和基于深度学习的目标检测算法。传统的目标检测算法需要在待检测图像上生成候选区域，通常采用滑动窗口的方法遍历图像所有位置，生成可能包含目标物体的候选区域；针对不同的图像数据样本，需要设计不同的特征提取器对候选区域进行特征提取；使用分类器根据所提取的特征对候选区域进行分类和识别；最后对检测结果进行优化。此类目标检测算法需要根据不同样本的数据特点，人工设计特征提取器，依赖已知的经验和先验知识，提取特征信息的质量、完整性直接影响目标检测结果，同时利用滑动窗口
遍历整个图像生成候选区域会产生很大冗余，算法速度较慢，实时性不好。基于深度学习的目标检测算法能够通过对人类脑部神经元感知能力的模仿实现数据特征处理，此类算法通过卷积神经网络自动对图像数据进行特征提取。基于深度学习的目标检测算法可以分为双阶段目标检测算法和单阶段目标检测算法两类。双阶段目标检测算法具有代表性的有R
‑
CNN、Fast
‑
RCNN以及Faster
‑
RCNN算法，此类算法第一阶段需要生成候选区域，第二阶段对候选区域进行目标物体的位置与类别进行预测。单阶段目标检测算法具有代表性的有YOLO系列算法和SSD算法，此类算法不需要得到目标建议框，直接对目标物体进行位置与类别预测。双阶段目标检测算法在检测过程中需要生成大量候选区域，检测精度较高，但检测速度较慢，单阶段目标检测算法检测速度较快但也牺牲了一定的检测精度。
[0005]空间机器人机械臂抓取位姿检测是指针对待抓取目标由空间机器人自主生成一个可靠的抓取位姿，使得机械臂能够成功抓取目标物体。传统的机械臂抓取位姿检测方法主要是基于经验、分析的方法。此类方法非常依赖与待抓取对象相关的先验知识，仅能用于限定的任务以及限定的环境下，不具有泛化性。随着深度学习的兴起，基于深度学习的抓取检测网络逐渐替代传统的机械臂抓取位姿检测，基于卷积神经网络设计抓取位姿检测网络，以图片作为输入，经过该网络处理后直接回归输出抓取位姿在二维图像上的表示，此类网络能够较为准确地检测到待抓取物体的位置，而对抓取角度不敏感，因此检测精度不高。空间机器人在复杂的太空环境下执行抓捕任务，抓捕对象多为非合作目标，结合空间机器人所执行的任务以及工作环境的特点，将目标检测网络与基于深度学习的抓取位姿检测网络相结合可以有效提高抓取位姿检测的检测精度与速度。

技术实现思路

[0006]本专利技术解决的技术问题是：针对复杂背景下空间机器人执行抓捕任务中机械臂抓取位姿检测方法检测速度慢、检测精度不高的问题，提出了一种复杂背景下的机械臂抓取位姿检测方法，该方法将改进的目标检测技术与设计的抓取位姿检测网络进行融合，使空间机器人在复杂背景下可以快速准确检测到待抓取物体的抓取位姿。
[0007]本专利技术的技术解决方案是：一种复杂背景下的机械臂抓取位姿检测方法，步骤如下：(1)利用深度相机获取空间机器人抓取工作场景的深度图像，针对于复杂背景下的抓取位姿检测，首先利用改进的目标检测算法对深度图像进行目标检测，初步得到抓取工作场景中目标物体的位置，以矩形框形式标记目标物体在图像中的位置；(2)利用改进目标检测算法的检测结果，将图像中矩形框标记出的待抓取物体部分映射到目标检测网络的一个卷积层输出上，此映射相当于对图像中矩形框标记下的待抓取物体部分的特征提取，通过映射可获得图像中待抓取物体部分的特征图；(3)利用设计的抓取位姿检测网络，以步骤(2)中提取的特征图作为网络输入，对待抓取物体进行抓取位姿检测，抓取位姿检测结果以一个二维有向矩形框进行表示。
[0008]进一步地，一种复杂背景下的机械臂抓取位姿检测方法是应用于复杂空间背景下非合作目标的抓取位姿检测中，首先利用深度相机采集抓取工作场景的深度图像，利用改进的目标检测算法对深度图像进行检测，将检测到的图像中的目标物体以矩形框的形式标记，对目标物体进行预定位；接着对图像中的目标物体部分进行处理，处理方式为将图像中
矩形框所标记出的目标物体部分映射到目标检测网络的一个卷积层输出，完成对该部分的特征提取；最后将特征提取结果作为抓取位姿检测网络的输入，对目标物体进行抓取位姿检测，检测结果以一个二维有向矩形框表示。
[0009]进一步地，步骤(1)中所述改进的目标检测算法为：以精简后的Darknet
‑
53为改进目标检测网络的主干网络，Darknet
‑
53网络主要是由卷积层和一系列的残差结构组成，残差结构可以提升算法的性能而不增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂背景下的机械臂抓取位姿检测方法，其特征在于，包括以下步骤：(1)利用深度相机获取空间机器人抓取工作场景的深度图像，针对于复杂背景下的抓取位姿检测，首先利用改进的目标检测算法对深度图像进行目标检测，初步得到抓取工作场景中目标物体的位置，以矩形框形式标记目标物体在图像中的位置；(2)利用改进目标检测算法的检测结果，将图像中矩形框标记出的待抓取物体部分映射到目标检测网络的一个卷积层输出上，此映射相当于对图像中矩形框标记下的待抓取物体部分的特征提取，通过映射可获得图像中待抓取物体部分的特征图；(3)利用设计的抓取位姿检测网络，以步骤(2)中提取的特征图作为网络输入，对目标物体进行抓取位姿检测，抓取位姿检测结果以一个二维有向矩形框进行表示。2.根据权利要求1所述的一种复杂背景下的机械臂抓取位姿检测方法，其特征在于，所述的方法是应用于复杂空间背景下非合作目标的抓取位姿检测中，首先利用深度相机采集抓取工作场景的深度图像，利用改进的目标检测算法对深度图像进行检测，将检测到的图像中的目标物体以矩形框的形式标记，对目标物体进行预定位；接着对图像中的目标物体部分进行处理，处理方式为将图像中矩形框所标记出的目标物体部分映射到目标检测网络的一个卷积层输出，完成对该部分的特征提取；最后将特征提取结果作为抓取位姿检测网络的输入，对目标物体进行抓取位姿检测，检测结果以一个二维有向矩形框表示。3.根据权利要求1所述的一种复杂背景下的机械臂抓取位姿检测方法，其特征在于，步骤(1)中所述改进的目标检测算法为：对Darknet
‑
...

【专利技术属性】
技术研发人员：黄成，庞振，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：