具有视觉语义感知的机器人虚实交互操作执行系统技术方案

本实用新型专利技术提出了一种具有视觉语义感知的机器人虚实交互操作执行系统，该系统包括：构建组件用于构建真实环境或仿真环境确定相应的神经网络参数模型；视觉语义感知组件用于根据神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取感兴趣区域的目标点位信息；规划组件用于根据目标点位信息对待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；执行组件用于根据抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。该系统可用于机器人系统的快速原型开发，算法测试，精确的室内室外环境仿真，有效可靠的性能评估，以及直观可视化的交互显示。

Robot virtual real interactive operation execution system with visual semantic perception

【技术实现步骤摘要】
具有视觉语义感知的机器人虚实交互操作执行系统
本技术涉及机器人虚实交互操作执行
，特别涉及一种具有视觉语义感知的机器人虚实交互操作执行系统。
技术介绍
相关技术中，对于机器人操作智能的实现主要有两种手段：(1)在虚拟环境下控制仿真机器人，采集虚拟信号，观测状态信息，实现AI算法构建、参数优化、运动学/动力学仿真。但往往在虚拟环境下进行机器人操作仿真训练，仿真情况下的模拟很难全面的反应真实系统的运行状况，造成结果往往不够精确。(2)在真实环境下控制实际机器人，采集实际信号，观测状态信息，构建AI学习决策和视觉识别系统。在真实环境下进行机器人操作训练，存在的问题是工作灵活性差、成本高、硬件装置易损坏、执行频次低。因此，提出了具有视觉语义感知的机器人虚实交互操作执行系统，来加速智能机器人决策和控制系统研究，解决机器人虚实交互和视觉语义感知的问题是十分必要的。
技术实现思路
本技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本技术的目的在于提出一种具有视觉语义感知本文档来自技高网...

【技术保护点】
1.一种具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，包括：/n构建组件，用于构建真实环境或仿真环境确定相应的神经网络参数模型；/n视觉语义感知组件，用于根据所述神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取所述感兴趣区域的目标点位信息；/n规划组件，用于根据所述目标点位信息对所述待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；以及/n执行组件，用于根据所述抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。/n

【技术特征摘要】
1.一种具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，包括：
构建组件，用于构建真实环境或仿真环境确定相应的神经网络参数模型；
视觉语义感知组件，用于根据所述神经网络参数模型确定待抓取物体的感兴趣区域，以计算抓取所述感兴趣区域的目标点位信息；
规划组件，用于根据所述目标点位信息对所述待抓取物体进行避障和轨迹规划，确定抓取执行操作命令；以及
执行组件，用于根据所述抓取执行操作命令控制真实机械臂或仿真机械臂的动作，完成抓取操作命令。


2.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，若选择仿真操作，则所述构建组件通过对环境、视觉相机和机械臂进行仿真，以构建所述仿真环境。


3.根据权利要求1所述的具有视觉语义感知的机器人虚实交互操作执行系统，其特征在于，所述视觉语义感知组件包括：
标注工具，用于对所述待抓取物体标注物体类别，为神经网络训练提供训练集；
视觉神经网络构架，用于训练所述训练集，获得所述感兴趣区域，并用矩形框得到所述感兴趣区域所在...

【专利技术属性】
技术研发人员：刘辛军，叶彦雷，李鹏，谢福贵，于超，
申请(专利权)人：清华大学，烟台清科嘉机器人联合研究院有限公司，
类型：新型
国别省市：北京;11