机器人抓取物体系统、方法及装置制造方法及图纸

本申请公开了机器人抓取物体系统、方法和装置，机器人，以及电子设备。其中，机器人通过图像采集装置采集当前环境图像，并利用物体抓取信息识别模型包括的物体抓取特征抽取子网络从当前环境图像中抽取物体抓取特征；通过模型的物体类别识别子网络，根据物体抓取特征获取当前环境图像中至少一个物体对象的类别；通过模型的位姿参数识别子网络，根据物体抓取特征获取当前环境图像中至少一个物体对象相对相机坐标系下的位姿参数；将相机坐标系下的位姿参数转换为世界坐标系下的位姿参数；根据世界坐标系下的位姿参数和当前环境图像中至少一个物体对象的类别，抓取目标物体对象；这种处理方式，可有效降低机器人硬件成本，提高抓取准确度和效率。

【技术实现步骤摘要】
机器人抓取物体系统、方法及装置
本申请涉及机器人
，具体涉及机器人抓取物体系统，机器人抓取物体方法和装置，物体抓取信息识别模型构建方法和装置，机器人，以及电子设备。
技术介绍
随着服务性移动机器人行业的发展，越来越多的机器人广泛地应用于人们的日常工作和生活当中，例如，餐厅内的送餐机器人，快递递送机器人，工业零部件组装机器人等等。目前，常用的几种机器人抓取物体的方法及其优缺点如下所述。方法一、该方法为运载机器人手臂操控多点映射智能控制方法。该方法具有以下缺点：1)由于需要对机器人手臂上各个关节进行预测，因此复杂度高，操控性不强；2)由于给出的是手臂的姿态，而不是抓取物的姿态，因此对物体的摆放有严格要求，不适合对任意物体的抓取。方法二、该方法为增加特定标示物的方法，通过识别设置于目标物体表面的物体标识，确定目标物体的位置信息和姿态信息，再执行对应的抓取方案。该方法的缺点为：由于目标图片需要包含目标标识，因此目标标识必须设于待抓取的目标物上，不能满足服务性机器人对物体外观的限制要求。方法三、该方法为外加深度传感器本文档来自技高网...

【技术保护点】
1.一种机器人抓取物体系统，其特征在于，包括：/n服务器，用于获取训练数据集，所述训练数据包括:训练用环境图像、所述训练用环境图像中至少一个物体对象的类别、与所述至少一个物体对象相对相机坐标系下的位姿参数间对应关系；从所述训练数据集中学习得到物体抓取信息识别模型，所述模型包括物体抓取特征抽取子网络、物体类别识别子网络和位姿参数识别子网络；将所述模型发送至机器人；/n所述机器人，用于接收所述模型；通过图像采集装置采集当前环境图像；通过所述物体抓取特征抽取子网络从所述当前环境图像中抽取物体抓取特征；通过所述物体类别识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的类别；通过所...

【技术特征摘要】
1.一种机器人抓取物体系统，其特征在于，包括：
服务器，用于获取训练数据集，所述训练数据包括:训练用环境图像、所述训练用环境图像中至少一个物体对象的类别、与所述至少一个物体对象相对相机坐标系下的位姿参数间对应关系；从所述训练数据集中学习得到物体抓取信息识别模型，所述模型包括物体抓取特征抽取子网络、物体类别识别子网络和位姿参数识别子网络；将所述模型发送至机器人；
所述机器人，用于接收所述模型；通过图像采集装置采集当前环境图像；通过所述物体抓取特征抽取子网络从所述当前环境图像中抽取物体抓取特征；通过所述物体类别识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的类别；通过所述位姿参数识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象相对相机坐标系下的位姿参数；将所述相机坐标系下的位姿参数转换为世界坐标系下的位姿参数；根据所述世界坐标系下的位姿参数和所述当前环境图像中至少一个物体对象的类别，抓取目标物体对象。


2.一种机器人抓取物体方法，其特征在于，包括：
通过图像采集装置采集当前环境图像；
通过物体抓取信息识别模型包括的物体抓取特征抽取子网络，从所述当前环境图像中抽取物体抓取特征；
通过所述模型包括的物体类别识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的类别；以及，通过所述模型包括的位姿参数识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象相对相机坐标系下的位姿参数；
将所述相机坐标系下的位姿参数转换为世界坐标系下的位姿参数；
根据所述世界坐标系下的位姿参数和所述当前环境图像中至少一个物体对象的类别，抓取目标物体对象。


3.根据权利要求2所述的方法，其特征在于，还包括：
通过所述模型包括的二维包围盒识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的二维包围盒；和/或，通过所述模型包括的语义掩模识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的语义掩模；
所述根据所述世界坐标系下的位姿参数和所述当前环境图像中至少一个物体对象的类别，并抓取目标物体对象，包括：
根据所述世界坐标系下的位姿参数、所述当前环境图像中至少一个物体对象的类别，以及所述当前环境图像中至少一个物体对象的二维包围盒和/或所述当前环境图像中至少一个物体对象的语义掩模，抓取所述目标物体对象。


4.根据权利要求2所述的方法，其特征在于，所述将所述相机坐标系下的位姿参数转换为世界坐标系下的位姿参数，包括：
确定所述机器人的位置；
根据所述机器人的位置和世界坐标系的原点位置，将所述相机坐标系下的位姿参数转换为世界坐标系下的位姿参数。


5.根据权利要求2所述的方法，其特征在于，还包括：
确定所述目标物体对象的类别；
所述根据所述世界坐标系下的位姿参数和所述当前环境图像中至少一个物体对象的类别，并抓取目标物体对象，包括：
将所述当前环境图像中物体对象类别与所述目标物体对象的类别匹配的物体对象作为所述目标物体对象；
根据所述目标物体对象相应所述世界坐标系下的位姿参数，抓取目标物体对象。


6.根据权利要求5所述的方法，其特征在于，所述确定所述目标物体对象的类别，包括：
接收用户指定的所述目标物体对象的类别。


7.根据权利要求2所述的方法，其特征在于，还包括：
确定所述目标物体对象的存放位置；
通过机器人定位算法和路径规划算法，到达所述存放位置；
所述通过图像采集装置采集当前环境图像，包括：
在到达所述存放位置后，通过所述图像采集装置采集所述当前环境图像。


8.根据权利要求7所述的方法，其特征在于，所述确定所述目标物体对象的存放位置，包括：
接收用户指定的所述存放位置。


9.根据权利要求2所述的方法，其特征在于，所述图像采集装置包括单目彩色摄像机。


10.根据权利要求2所述的方法，其特征在于，还包括：
接收服务器发送的所述模型。


11.一种物体抓取信息识别模型构建方法，其特征在于，包括：
获取训练数据集，所述训练数据包括:训练用环境图像、所述训练用环境图像中至少一个物体对象的类别、与所述至少一个物体对象...

【专利技术属性】
技术研发人员：伊威，李名杨，古鉴，邵柏韬，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY