基于注意力机制和孪生反卷积的服务机器人抓取检测方法技术

本发明专利技术属于服务机器人技术领域，具体涉及一种基于注意力机制和孪生反卷积的服务机器人抓取检测方法、系统、装置，旨在解决现有基于编码

【技术实现步骤摘要】
基于注意力机制和孪生反卷积的服务机器人抓取检测方法


[0001]本专利技术属于服务机器人
，具体涉及一种基于注意力机制和孪生反卷积的服务机器人抓取检测方法、系统、装置。

技术介绍

[0002]近年来，人工智能和计算机视觉的发展拓宽了服务机器人在日常生活中的应用范围。为了更好的为人类服务，携带机械臂且能够提供抓取等操作功能的服务机器人成为研究的热点。为了实现对目标物体的抓取，通常需要首先基于深度学习的物体检测方法(例如Faster R
‑
CNN)得到目标物体边界框，而后利用抓取检测方法获得目标物体最佳的抓取位置，现已受到广泛关注。
[0003]传统的抓取检测方法一般基于物体的三维模型，采用模型匹配的方式进行抓取检测，其扩展性较差。近年来，基于卷积神经网络的抓取检测方法成为主流，主要包括两类：基于候选
‑
评价的抓取检测方法和基于回归的抓取检测方法。基于候选
‑
评价的抓取检测方法一般将抓取检测分成两个阶段，首先通过采样等方法获得多个候选抓取位置，然后对这些候选抓取位置进行评价并排序，排名最高的候选抓取即作为最佳抓取。该类方法由于需要对每个候选抓取进行评价，较为耗时，且特征可能会重复提取。基于回归的抓取检测方法则直接对整张图像进行分析，实时性好，可以进一步细分为基于编码结构的抓取回归网络和基于编码
‑
解码结构的抓取回归网络。基于编码结构的抓取回归网络通过回归直接预测出最佳抓取位置，但产生的最佳抓取倾向于输出可抓取位置的均值，当存在多个解的情形下，均值可能是一个无效的抓取；而基于编码
‑
解码结构的抓取回归网络通过基于反卷积的解码器对编码器输出的特征图进行上采样，可以预测出每个像素位置所对应的最佳抓取，其中研究人员还在编码器和解码器之间加入了特征精修模块，主要通过对编码器输出进行通道注意力、通道随机混合(Channel Shuffle)操作等处理，为解码器提供更有判别力的特征。基于编码
‑
解码结构的抓取回归网络能够在保证实时性的前提下获得较高的检测精度，但是，它在解码过程中会因反卷积出现卷积结果不均匀叠加的问题，这会导致上采样结果呈现出棋盘格伪影，从而影响抓取检测的性能。如何消除棋盘格伪影的影响以进一步提升抓取检测的性能有待更深入的研究。
[0004]因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。

技术实现思路

[0005]为了解决现有技术中的上述问题，即为了解决现有基于编码
‑
解码结构的抓取回归网络在解码过程中会呈现出棋盘格伪影，从而降低服务机器人抓取检测性能的问题，本专利技术提出了一种基于注意力机制和孪生反卷积的服务机器人抓取检测方法，该方法包括：
[0006]步骤S10，服务机器人通过视觉传感器获取包含目标物体的原始彩色图像和原始深度图像；
[0007]步骤S20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的边界框，并将所述边界框在所述原始深度图像、所述原始彩色图像中的对应区域作为第一深度图像区域、第一彩色图像区域；
[0008]步骤S30，将所述第一深度图像区域、所述第一彩色图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二彩色图像区域；
[0009]步骤S40，将所述第二深度图像区域、所述第二彩色图像区域沿通道方向拼接起来，输入抓取检测卷积神经网络的编码器，得到第一特征图；
[0010]步骤S50，通过所述抓取检测卷积神经网络的特征精修模块对所述第一特征图进行特征精修，得到第二特征图；
[0011]步骤S60，通过所述抓取检测卷积神经网络的解码器对所述第二特征图进行上采样，得到抓取质量特征图、宽度特征图、第一角度特征图、第二角度特征图；
[0012]步骤S70，基于所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；
[0013]其中，所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图中每个像素点的值分别描述了以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、2倍朝向角的余弦值、2倍朝向角的正弦值。
[0014]在一些优选的实施方式中，所述抓取检测卷积神经网络包括编码器、特征精修模块、解码器；
[0015]所述编码器包括三个级联的标准卷积层；
[0016]所述特征精修模块由交叉
‑
幅度注意力、通道注意力模块、通道随机混合操作和标准卷积层串联组成；
[0017]所述解码器包括三个级联的孪生反卷积模块、四个并行的标准卷积；三个级联的孪生反卷积模块与四个并行的标准卷积相连接；
[0018]所述孪生反卷积模块包括两个分支，一个原始分支，一个孪生分支；所述原始分支输入为特征图F
in
，将F
in
的每个通道进行标准反卷积操作，生成特征图F
t
；所述孪生分支输入为所有元素值为1的矩阵，将所有元素值为1的矩阵进行反卷积操作，生成权重调整矩阵M
w
；
[0019]特征图F
t
的每一个通道与矩阵M
w
进行逐元素矩阵除法操作，并将逐元素矩阵除法操作获取的结果经卷积层进行通道维数调整，得到特征图F
out
，作为孪生反卷积模块的输出。
[0020]在一些优选的实施方式中，对所述第一特征图进行特征精修，得到第二特征图，其方法为：
[0021]步骤S501，利用交叉
‑
幅度注意力对所述第一特征图进行处理，得到交叉
‑
幅度注意力特征图；
[0022]步骤S502，将所述交叉
‑
幅度注意力特征图依次经过通道注意力模块、通道随机混合操作和标准卷积层的处理，得到第二特征图。
[0023]在一些优选的实施方式中，利用交叉
‑
幅度注意力对所述第一特征图进行处理，得到交叉
‑
幅度注意力特征图，其方法为：
[0024]对所述第一特征图分别施加沿高度、宽度维度上的平均池化，获得高度和宽度维
度对应的特征图AVG
h
、AVG
w
；
[0025]AVG
h
和AVG
w
通过矩阵乘法生成平均交叉特征图F
avg
；
[0026]对所述第一特征图分别施加沿高度、宽度维度上的最大池化，获得高度和宽度维度对应的特征图MAX
h
、MAX
w
；
[0027]MAX
h
和MAX
w
通过矩阵乘法生成最大交叉特征图F
max
；
[0028]对F
avg
和F...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，该方法包括：步骤S10，服务机器人通过视觉传感器获取包含目标物体的原始彩色图像和原始深度图像；步骤S20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的边界框，并将所述边界框在所述原始深度图像、所述原始彩色图像中的对应区域作为第一深度图像区域、第一彩色图像区域；步骤S30，将所述第一深度图像区域、所述第一彩色图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二彩色图像区域；步骤S40，将所述第二深度图像区域、所述第二彩色图像区域沿通道方向拼接起来，输入抓取检测卷积神经网络的编码器，得到第一特征图；步骤S50，通过所述抓取检测卷积神经网络的特征精修模块对所述第一特征图进行特征精修，得到第二特征图；步骤S60，通过所述抓取检测卷积神经网络的解码器对所述第二特征图进行上采样，得到抓取质量特征图、宽度特征图、第一角度特征图、第二角度特征图；步骤S70，基于所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；其中，所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图中每个像素点的值分别描述了以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、2倍朝向角的余弦值、2倍朝向角的正弦值。2.根据权利要求1所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，所述抓取检测卷积神经网络包括编码器、特征精修模块、解码器；所述编码器包括三个级联的标准卷积层；所述特征精修模块由交叉
‑
幅度注意力、通道注意力模块、通道随机混合操作和标准卷积层串联组成；所述解码器包括三个级联的孪生反卷积模块、四个并行的标准卷积；三个级联的孪生反卷积模块与四个并行的标准卷积相连接；所述孪生反卷积模块包括两个分支，一个原始分支，一个孪生分支；所述原始分支输入为特征图F
in
，将F
in
的每个通道进行标准反卷积操作，生成特征图F
t
；所述孪生分支输入为所有元素值为1的矩阵，将所有元素值为1的矩阵进行反卷积操作，生成权重调整矩阵M
w
；特征图F
t
的每一个通道与矩阵M
w
进行逐元素矩阵除法操作，并将逐元素矩阵除法操作获取的结果经卷积层进行通道维数调整，得到特征图F
out
，作为孪生反卷积模块的输出。3.根据权利要求2所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，对所述第一特征图进行特征精修，得到第二特征图，其方法为：步骤S501，利用交叉
‑
幅度注意力对所述第一特征图进行处理，得到交叉
‑
幅度注意力特征图；步骤S502，将所述交叉
‑
幅度注意力特征图依次经过通道注意力模块、通道随机混合操作和标准卷积层的处理，得到第二特征图。
4.根据权利要求3所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，利用交叉
‑
幅度注意力对所述第一特征图进行处理，得到交叉
‑
幅度注意力特征图，其方法为：对所述第一特征图分别施加沿高度、宽度维度上的平均池化，获得高度和宽度维度对应的特征图AVG
h
、AVG
w
；AVG
h
和AVG
w
通过矩阵乘法生成平均交叉特征图F
avg
；对所述第一特征图分别施加沿高度、宽度维度上的最大池化，获得高度和宽度维度对应的特征图MAX
h
、MAX
w
；MAX
h
和MAX
w
通过矩阵乘法生成最大交叉特征图F
max
；对F
avg
和F
max
执行逐元素矩阵加法，之后依次经过沿通道方向的平均池化、标准卷积、批归一化和ReLU激活函数，进而获得交叉注意力图A
cross
；对所述第一特征图分别施加沿通道维度的最大池化和平均池化，获得通道维度对应的特征图MAX
c
和AVG
c
；MAX
c
和AVG
c
经逐元素矩阵减法后，再依次经过标准卷积、批归一化和ReLU激活函数，获得幅度注意力图A
amp
；将A
cross
和A
amp<...

【专利技术属性】
技术研发人员：李忠辉，曹志强，王硕，任广力，谭民，亢晋立，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：