【技术实现步骤摘要】
本专利技术属于机器人和人工智能。
技术介绍
1、基于点云的6-dof(6-degree of freedom 6自由度)抓取算法在机器人自主智能抓取应用中展现出极大的潜力。然而，在实际应用中，用于抓取的点云通常由单视角深度相机拍摄的深度图转换而成，被成为2.5d点云，仅仅包含残缺的物体单侧表面可见点。同时，在日常中物体表面存在反光的情况也经常存在，常用的深度相机如红外相机和激光雷达会因为反光而丢失目标点云，进一步导致了点云的残缺。残缺点云会导致抓取精度和成功率的大幅降低。因此，通过改善抓取算法提高残缺点云输入下的抓取姿态对于机器人智能抓取尤为关键。
2、现有的算法主要包含两类，第一类为端到端的神经网络，直接将残缺点云输入到网络中生成目标抓取姿态，这类方法的结果会受到残缺点云的严重影响，结果不精准，抓取成功率低；第二类是先通过点云补全方法生成完整的目标点云，再对补全的点云进行抓取的姿态的生成，这类方法要求目标物体必须存在于点云补全的数据集中，抓取的泛化性差，严重限制了抓取的应用范围。
技术实现思路
1、本专利技术是为了解决现有机器人自主智能抓取过程中存在精度低和泛化性差的问题，现提供了一种基于形状特征的机械臂6-dof抓取方法。
2、本专利技术所述基于形状特征的机械臂6-dof抓取姿态生成方法，包括：
3、步骤一、建立点云补全网络和抓取网络；
4、步骤二、在相机输入的深度图中提取原始目标物体点云p，将所述目标物体点云p输入至点云补全网络
5、步骤三、将获得的补全点云pc与原始目标物体点云p拼接生成拼接点云pn；
6、步骤四、将拼接点云pn输入至抓取网络，所述抓取网络对抓取姿态进行预测，获取抓取姿态基参数；
7、所述抓取姿态基参数包括：夹爪夹取朝向基础向量z2和夹爪夹取基线方向基础向量z1、抓取姿态的置信度得分矩阵s和夹爪的夹取宽度矩阵w；
8、所述夹爪夹取朝向基础向量z2和夹爪夹取基线方向基础向量z1、抓取姿态的置信度得分矩阵s和夹爪的夹取宽度矩阵w中的元素一一对应；
9、步骤五、在抓取姿态基参数中，提取置信度得分矩阵s中提取最大值，获取所述最大值对应的夹爪夹取朝向基础向量z2、夹爪夹取基线方向基础向量z1和夹爪的夹取宽度矩阵w中对应的元素，获取最优的抓取姿态参数。
10、进一步地，本专利技术中，步骤一中，点云补全网络采用point completion network，pcn(点云补全网络)、foldingnet(折叠网络)、gridding residual network grnet(网格残余网络)或pointr(点云转换器网络)实现。
11、进一步地，本专利技术中，步骤一中，抓取网络包括：特征映射层、点云编码层和抓取预测层；
12、特征映射层用于将拼接点云pn映射到原始点云数据中，获取包含原始点云和与原始点云所对应的拼接点云的完整形状特征；
13、点云编码层用于利用所述完整形状特征的原始点云数据进行特征聚合、融合、提取后获得以原始点云为基础，完整点云特征为附加的增强点云特征；
14、抓取预测层采用多层感知机对所述增强点云特征进行解码，生成抓取姿态参数。
15、进一步地，本专利技术中，特征映射层包括三个邻域点集获取模块、三个特征提取网络模块和拼接模块；
16、所述三个邻域点集获取模块用于获取以每个点云为中心的三个不同半径球体范围内的点云的集合，并将所述三个不同半径球体范围内的点云的集合分别传输给三个特征提取网络模块，所述三个特征提取网络模块分别进行特征提取，并将提取获得的特征进行拼接，获得拼接点云的完整形状特征，并与原始点云形成对应。
17、进一步地，本专利技术中，点云编码层包括两个点云信息聚合层、一个点云信息提取层和三个点云信息传播层；
18、所述第一个点云信息聚合层将原始点云和与原始点云所对应的拼接点云的完整形状特征进行信息聚合，输出n个降采样点和2n个采样点对应的点云特征；
19、第二个点云信息聚合层将所述n个采样点和2n个采样点的点云特征进行信息聚合，输出n/2个降采样点和n个降采样点对应的点云特征；
20、点云信息提取层将n/4个采样点邻域的点云和n个采样点的点云特征进行信息聚合，获得n/2个采样点的点云特征信息；
21、第一个点云信息传输层将n/4个采样点的点云特征信息与n/4个降采样点和n个降采样点对应的点云特征进行对应融合，再通过神经网络进行学习提取，提取n/4个点的增强特征；
22、第二个点云信息传输层将所述n/4个点的增强特征与第一个点云信息传输层输出的n个降采样点和2n个采样点对应的点云特征进行对应融合，再通过神经网络进行学习提取，提取n个点的增强特征；
23、第二个点云信息传输层所述n个点的增强特征与第一个点云信息聚合层输出的n个降采样点和2n个采样点对应的点云特征进行对应融合，再通过神经网络进行学习提取，提取2n个点的增强特征。
24、进一步地，本专利技术中，抓取预测层包括四个预测模块，所述四个预测模块分别用于预测利用置信度得分矩阵s、夹爪夹取朝向基础向量z2、夹爪夹取基线方向基础向量z1和夹爪的夹取宽度w。
25、进一步地，本专利技术中，预测模块采用多层感知机实现。
26、进一步地，本专利技术中，步骤五中，获取最优的抓取姿态参数的方法为：
27、利用置信度得分矩阵s中最大值对应的夹爪夹取朝向基础向量z2、夹爪夹取基线方向基础向量z1计算抓取的位置和姿态；
28、所述抓取的位置相对值tg为：
29、
30、抓取的姿态的相对值为：
31、
32、其中，||a||＝1，a代表夹爪的朝向向量，||b||＝1，b代表夹爪的夹取基线方向向量；c∈r3是夹爪与物体的接触点的空间坐标；w∈r是夹爪的夹取宽度；d∈r是夹爪坐标系到夹取基线的距离；
33、其中，
34、
35、
36、以机器人夹爪与机械臂连接点为坐标原点go，建立夹爪坐标系，根据夹爪尺寸v，通过抓取网络获取抓取姿态真值vpred:
37、vpred＝vrg+tg
38、本专利技术所述基于形状特征的6-dof抓取方法，利用神经网络，自主将点云补全的结果作为目标物体的大致形状进行特征学习，并利用学习到的形状特征引导抓取训练。不仅提高了残缺点云下机械臂智能抓取的精确性，同时避免了点云补全带来的物体泛化性的限制。定量和定性实验结果表明，该方法生成的抓取结果具有更高的抓取精度，抓取的成功率大幅提升。
本文档来自技高网...【技术保护点】
1.基于形状特征的机械臂6-DoF抓取方法，其特征在于，包括：
2.根据权利要求1所述的基于形状特征的机械臂6-DoF抓取方法，其特征在于，步骤一中，点云补全网络采用点云补全网络、折叠网络、网格残余网络或点云转换器网络实现。
3.根据权利要求1所述的基于形状特征的机械臂6-DoF抓取方法，其特征在于，步骤一中，抓取网络包括：特征映射层、点云编码层和抓取预测层；
4.根据权利要求1所述的基于形状特征的机械臂6-DoF抓取方法，其特征在于，特征映射层包括：三个邻域点集获取模块、三个特征提取网络模块和拼接模块；
5.根据权利要求1、2或3所述的基于形状特征的机械臂6-DoF抓取方法，其特征在于，点云编码层包括两个点云信息聚合层、一个点云信息提取层和三个点云信息传播层；
6.根据权利要求4所述的基于形状特征的机械臂6-DoF抓取方法，其特征在于，n＝512。
7.根据权利要求1、2或3所述的基于形状特征的机械臂6-DoF抓取方法，其特征在于，抓取预测层包括四个预测模块，所述四个预测模块分别用于预测利用置信度得分矩阵S
8.根据权利要求1、2或3所述的基于形状特征的机械臂6-DoF抓取方法，其特征在于，预测模块采用多层感知机实现。
9.根据权利要求1、2或3所述的基于形状特征的机械臂6-DoF抓取方法，其特征在于，步骤五中，获取最优的抓取姿态参数的方法为：
...【技术特征摘要】
1.基于形状特征的机械臂6-dof抓取方法，其特征在于，包括：
2.根据权利要求1所述的基于形状特征的机械臂6-dof抓取方法，其特征在于，步骤一中，点云补全网络采用点云补全网络、折叠网络、网格残余网络或点云转换器网络实现。
3.根据权利要求1所述的基于形状特征的机械臂6-dof抓取方法，其特征在于，步骤一中，抓取网络包括：特征映射层、点云编码层和抓取预测层；
4.根据权利要求1所述的基于形状特征的机械臂6-dof抓取方法，其特征在于，特征映射层包括：三个邻域点集获取模块、三个特征提取网络模块和拼接模块；
5.根据权利要求1、2或3所述的基于形状特征的机械臂6-dof抓取方法，其特征在于，点云编码层包括两个点云信...
【专利技术属性】
技术研发人员：查富生，程耀锋，郭伟，王鹏飞，刘晟凯，张驰，孙立宁，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。