基于主动感知与交互操作协同的机器人目标搜索方法及机器人仿真平台技术

本发明专利技术公开了一种基于主动感知与交互操作协同的机器人目标搜索方法及机器人仿真平台，方法包括：通过机器人的腕部相机获取场景图像；基于主动视角规划策略调整机器人腕部相机的位姿，直至视角规划执行步数到达限制或目标物体的遮挡比例小于阈值后进入下一步；基于交互操作策略控制机器人的机械臂执行平推或抓取操作，在机械臂执行平推操作后返回获取场景图像；或者，在机械臂执行抓取操作且成功抓取目标物体后结束；或者，在机械臂执行抓取操作且抓取目标物体失败后返回获取场景图像。本发明专利技术协同主动感知与交互操作，环境适应性强，目标抓取成功率高。目标抓取成功率高。目标抓取成功率高。

【技术实现步骤摘要】
基于主动感知与交互操作协同的机器人目标搜索方法及机器人仿真平台


[0001]本专利技术属于机器人感知交互
，具体涉及一种基于主动感知与交互操作协同的机器人目标搜索方法及机器人仿真平台。

技术介绍

[0002]目前在智能机器人研究方面，深度学习技术的兴起使机器人对环境的感知与理解达到了前所未有的新高度，智能机器人利用高层次的计算机视觉模型可对场景进行语义和像素级别的解析，视觉、触觉、听觉等多模态数据的融合更进一步提升了机器人的感知能力，使机器人进行视听导航、灵巧操作、人机交互等复杂的感知操作任务时有良好的表现。同样，基于深度强化学习技术，机器人操作技能的学习方面也取得了极大进展，机器人在桌面整理、零件抓取装配等操作任务中有较好的性能提升。
[0003]尽管深度学习或者深度强化学习使机器人的感知能力与交互操作能力获得了提升，但当机器人面对复杂非结构化的环境时，不同种类的物体互相堆叠遮挡会严重影响机器人的感知精度。机器人会因为单一固定视角的限制(多个目标互相遮挡导致无法识别目标、多个相似物体产生歧义或单一视角无法观测全部场景)很难完成对目标的检测识别、6D姿态估计及后续的感知操作任务。利用机器人主动视觉中的视角规划策略，可以突破单一固定视角的限制，通过控制视觉传感器运动或者主动调整视觉传感器位姿，可提高复杂环境下的目标可见性，提升对目标检测识别的准确率，引导机器人的后续操作。但如何根据任务环境、硬件设施、传感器自身设置及规划策略提高机器人主动视角规划的质量与效率，是目前亟待解决的技术难题。
[0004]在复杂的桌面操作场景中目标往往被堆叠掩藏导致目标不可见，因此仅依靠视角规划并不足以完成任务，非结构化的场景中机器人如何通过环境交互操作解耦空间对的关系从而暴露目标也是技术难题。深度强化学习将深度学习的感知能力与强化学习的决策能力相结合，可以直接根据输入信息控制机器人的行为，赋予了机器人接近人类的思维方式，是机器人获得操作技能的重要方法。机器人的抓取策略目前已有大量的研究工作，但仅依赖抓取一种动作基元对复杂环境的适应能力较差，物体堆叠遮挡的场景往往没有足够的空间供机器人执行抓取操作。其次，复杂的操作环境中，抓取目标的成功率并不高，而现有的方法并没有考虑到机器人如何根据场景动态变化选择最优的抓取点。
[0005]综上所述，现有的技术仅做到机器人主动感知结合单一抓取动作基元或者固定视角下进行多动作基元交互操作，孤立了主动感知与交互操作的过程，忽视了感知与交互操作过程之间的信息交互与反馈。

技术实现思路

[0006]本专利技术的目的之一在于提供一种基于主动感知与交互操作协同的机器人目标搜索方法，协同主动感知与交互操作，环境适应性强，抓取成功率高。
[0007]为实现上述目的，本专利技术所采取的技术方案为：
[0008]一种基于主动感知与交互操作协同的机器人目标搜索方法，该机器人具有可操作的机械臂，并且所述机械臂上安装有腕部相机，所述基于主动感知与交互操作协同的机器人目标搜索方法，包括：
[0009]步骤1、通过机器人的腕部相机获取场景图像；
[0010]步骤2、基于主动视角规划策略调整机器人腕部相机的位姿，直至视角规划执行步数到达限制或目标物体的遮挡比例小于设定阈值后进入下一步；
[0011]步骤3、基于交互操作策略控制机器人的机械臂执行平推或抓取操作，在机械臂执行平推操作后返回步骤1；或者，在机械臂执行抓取操作且抓取目标物体失败后返回步骤1；或者，在机械臂执行抓取操作且成功抓取目标物体后结束。
[0012]以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
[0013]作为优选，所述基于主动视角规划策略调整机器人腕部相机的位姿，直至视角规划执行步数到达限制或目标物体的遮挡比例小于设定阈值后进入下一步，包括：
[0014]利用目标分割网络处理所述场景图像分割出场景中各物体的分割掩膜以及对应类别；
[0015]判断分割出的各物体中是否包含目标物体，若包含目标物体则进入下一小步骤；否则执行步骤3；
[0016]将分割出的分割掩膜成对输入部分补全网络得到目标物体的完整掩膜；
[0017]根据目标物体的完整掩膜及分割得到的分割掩膜计算目标物体的遮挡比例；
[0018]若视角规划执行步数到达限制或目标物体的遮挡比例小于设定阈值，则执行步骤3；否则将目标分割网络的中间层特征以及机器人当前的腕部相机的位姿输入机械臂主动视角规划算法，将机械臂主动视角规划算法的输出发送给机器人用以调整机器人机械臂的腕部相机的姿态，并返回步骤1。
[0019]作为优选，通过自监督学习的方式训练所述部分补全网络，具体训练过程如下：
[0020]生成随机掩膜；
[0021]利用随机掩膜随机遮挡目标可见掩膜得到遮挡掩膜；
[0022]将遮挡掩膜与随机掩膜成对输入部分补全网络，得到部分补全网络预测输出的目标完整掩膜；
[0023]根据目标完整掩膜以及目标可见掩膜计算损失函数并更新网络参数；
[0024]持续训练直至达到训练结束条件。
[0025]作为优选，所述基于交互操作策略控制机器人的机械臂执行平推或抓取操作，包括：
[0026]取腕部相机获取的场景图像，所述场景图像为RGB
‑
D图像；
[0027]利用目标分割网络处理所述RGB
‑
D图像分割出场景中各物体的分割掩膜以及对应类别；
[0028]将RGB
‑
D图像转化为三维空间中的点云信息；
[0029]基于点云信息沿重力的反方向进行正交投影获得RGB、Depth的高度图，基于点云
信息以及分割掩膜沿重力的反方向进行正交投影获得掩膜的高度图；
[0030]对RGB、Depth和掩膜的高度图进行拼接并经过仿射变换旋转后输入交互操作策略网络，将交互操作策略网络的输出发送给机器人，供机器人根据动作价值最大值索引对应的动作基元、动作位置及动作方向控制机械臂动作，所述动作基元为平推或抓取操作。
[0031]作为优选，所述交互操作策略网络包括两个分支，第一个分支为抓取操作分支，包含DenseNet121网络以及GraspNet网络，由DenseNet121网络提取经过仿射变换旋转后的高度图的图像特征，并将图像特征输入GraspNet网络，再由GraspNet网络根据图像特征输出抓取动作的动作价值图；
[0032]第二个分支为平推操作分支，包含DenseNet121网络以及PushNet网络，由DenseNet121网络提取经过仿射变换旋转后的高度图的图像特征，并将图像特征输入PushNet网络，再由PushNet网络根据图像特征输出平推动作的动作价值图；
[0033]所述交互操作策略网络在两个分支后用Argmax函数根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主动感知与交互操作协同的机器人目标搜索方法，该机器人具有可操作的机械臂，并且所述机械臂上安装有腕部相机，其特征在于，所述基于主动感知与交互操作协同的机器人目标搜索方法，包括：步骤1、通过机器人的腕部相机获取场景图像；步骤2、基于主动视角规划策略调整机器人腕部相机的位姿，直至视角规划执行步数到达限制或目标物体的遮挡比例小于设定阈值后进入下一步；步骤3、基于交互操作策略控制机器人的机械臂执行平推或抓取操作，在机械臂执行平推操作后返回步骤1；或者，在机械臂执行抓取操作且抓取目标物体失败后返回步骤1；或者，在机械臂执行抓取操作且成功抓取目标物体后结束。2.如权利要求1所述的基于主动感知与交互操作协同的机器人目标搜索方法，其特征在于，所述基于主动视角规划策略调整机器人腕部相机的位姿，直至视角规划执行步数到达限制或目标物体的遮挡比例小于设定阈值后进入下一步，包括：利用目标分割网络处理所述场景图像分割出场景中各物体的分割掩膜以及对应类别；判断分割出的各物体中是否包含目标物体，若包含目标物体则进入下一小步骤；否则执行步骤3；将分割出的分割掩膜成对输入部分补全网络得到目标物体的完整掩膜；根据目标物体的完整掩膜及分割得到的分割掩膜计算目标物体的遮挡比例；若视角规划执行步数到达限制或目标物体的遮挡比例小于设定阈值，则执行步骤3；否则将目标分割网络的中间层特征以及机器人当前的腕部相机的位姿输入机械臂主动视角规划算法，将机械臂主动视角规划算法的输出发送给机器人用以调整机器人机械臂的腕部相机的姿态，并返回步骤1。3.如权利要求2所述的基于主动感知与交互操作协同的机器人目标搜索方法，其特征在于，通过自监督学习的方式训练所述部分补全网络，具体训练过程如下：生成随机掩膜；利用随机掩膜随机遮挡目标可见掩膜得到遮挡掩膜；将遮挡掩膜与随机掩膜成对输入部分补全网络，得到部分补全网络预测输出的目标完整掩膜；根据目标完整掩膜以及目标可见掩膜计算损失函数并更新网络参数；持续训练直至达到训练结束条件。4.如权利要求1所述的基于主动感知与交互操作协同的机器人目标搜索方法，其特征在于，所述基于交互操作策略控制机器人的机械臂执行平推或抓取操作，包括：取腕部相机获取的场景图像，所述场景图像为RGB
‑
D图像；利用目标分割网络处理所述RGB
‑
D图像分割出场景中各物体的分割掩膜以及对应类别；将RGB
‑
D图像转化为三维空间中的点云信息；基于点云信息沿重力的反方向进行正交投影获得RGB、Depth的高度图，基于点云信息以及分割掩膜沿重力的反方向进行正交投影获得掩膜的高度图；对RGB、Depth和掩膜的高度图进行拼接并经过仿射变换旋转后输入交互操作策略网络，将交互操作策略网络的输出发送给机器人，供机器人根据动作价值最大值索引对应的
动作基元、动作位置及动作方向控制机械臂动作，所述动作基元为平推或抓取操作。5.如权利要求4所述的基于主动感知与交互操作协同的机器人目标搜索方法，其特征在于，所述交互操作策略网络包括两个分支，第一个分支为抓取操作分支，包含DenseNet121网络以及GraspNet网络，由DenseNet121网络提取经过仿射变换旋转后的高度图的图像特征，并将图像特征输入GraspNet网络，再由GraspNet网络根据图像特征输出抓取动作的动作价值图；第二个分支为平推操作分支，包含DenseNet121网络以及PushNet网络，由DenseNet121网络提取经过仿射变换旋转后的高度图的图像特征，并将图像特征输入PushNet网络，再由PushNet网络根据图像特征输出平推动作的动作价值图；所述交互操作策略网络在两个分支后用Argmax函数根据抓取动作的动作价值图和平推动作的动作价值图，得出动作价值最...

【专利技术属性】
技术研发人员：连辉，肖舟旻，徐庶，
申请(专利权)人：中国电子科技南湖研究院，
类型：发明
国别省市：