【技术实现步骤摘要】
本专利技术属于数字孪生智能制造领域，具体涉及基于虚实协同学习策略的机器人数字孪生抓取方法及装置。
技术介绍
1、尽管对智能机器人抓取的研究已经进行了几十年，但这仍然是一个具有挑战性的开放问题，尤其是当机器人面对复杂和非结构化的环境时。要实现准确的抓取检测和可靠的抓取执行，首先要根据特定目标物体和周围环境的图像有效地获取准确的抓取信息。
2、现有的机器人智能抓取方法可以分为分析法和经验法两种。分析法通过力学分析方法直接从物体的三维模型中获取合适的抓取姿态，但该方法一般建模复杂度较高，并且通常会建立在有限的假设上，导致计算成本高且泛化性很差。而经验法则主要基于深度学习模型的方法，通过数据集学习特定物体的抓取方式。
3、目前大多数应用于机器人抓取的神经网络都是通过深度学习领域的专家依据专业知识和经验人工设计，耗费了大量的计算资源和时间成本；此外深度学习神经网络的训练通常需要大量带标签的数据集，人工收集需要多台机器人协同工作，成本太高，于是人们倾向于在高精度模拟环境中训练神经网络。如何缩小虚拟与实际机器人抓取场景之间的差距也成为了人们关注的问题。
技术实现思路
1、为解决现有技术的不足，实现降低计算成本、稳定搜索过程、降低人工成本、提高预测精度的目的，本专利技术采用如下的技术方案：
2、一种基于虚实协同学习策略的机器人数字孪生抓取方法，包括如下步骤：
3、步骤s1：构造机器人抓取检测神经网络的搜索空间，松弛化离散的拓扑搜索空间至连续，建立基于
4、步骤s2：搭建虚拟抓取环境，根据虚拟抓取结果生成虚拟数据集，对抓取检测神经网络权重系数进一步优化；
5、步骤s3：分别从机器人真实和虚拟抓取场景中采集rgb-d多通道图像，构建真实域和虚拟域非配对的rgb-d多通道图像数据集，用于领域自适应迁移网络的训练；
6、步骤s4：为了进一步提高抓取检测网络在实际环境中的抓取成功率，需要对训练数据集进行扩充，将训练好的迁移网络部署至机器人抓取虚拟环境中，用于将虚拟图像转变成伪实图像，然后根据抓取结果生成伪实数据集，进一步对抓取检测神经网络权重系数进行优化；
7、步骤s5：将最终训练好的抓取检测神经网络部署在机器人实际抓取环境中，以位于机器人末端深度相机拍摄得到的rgb-d多通道图像作为网络输入，输出最佳抓取，再由上位机控制机器人和机械爪完成对物体的抓取。
8、进一步地，所述步骤s1中的搜索空间，包括一组拓扑计算单元，每个拓扑计算单元是由多个有序节点组成的有向无环图，每个节点保存了其前面所有节点经过各自计算操作后的结果总和，节点之间的有向箭头线表示所有可能的候选神经网络计算操作；神经网络计算操作指两个节点之间采用不同尺寸卷积核的卷积层进行计算的操作；每个拓扑计算单元内的节点按拓扑结构排列，从而扩大了结构搜索空间，避免遗漏掉有用的网络结构。
9、进一步地，步骤s1中松弛化离散的拓扑搜索空间至连续，是将节点之间的每一个候选操作都赋予相应的连续变量α，使特定操作的分类选择放宽到所有候选操作的权重求和，权重为连续变量α经过softmax函数归一化后的值，具体计算公式为：
10、
11、其中，exp表示自然对数，用于归一化；xj表示第j个节点的输出，xi表示前一个节点i的输出，表示第i个节点和第j个节点之间的某个候选操作对应的连续变量，o表示所有候选操作的空间，通过以上松弛化操作，离散结构搜索任务可以简化为学习一系列连续的变量α。
12、进一步地，步骤s1中的单层优化模型，只采用同一个训练集的同一批次数据计算损失函数，从而同时训练神经网络所有权重系数w以及神经网络操作变量α，公式如下：
13、
14、
15、其中，表示采用训练集计算的损失函数；ηt和δt分别表示权重系数以及神经网络操作变量的学习率；和分别表示权重系数以及神经网络操作变量的梯度；t-1表示上一时刻，t表示当前时刻。
16、进一步地，所述步骤s1中，在优化完成后，对每两个节点之间神经网络的操作变量α进行排序，挑选最大α值所对应的操作来组成离散的卷积神经网络，并用训练集重新训练权重系数w，得到具有最优结构和最优权重系数的抓取检测神经网络。
17、进一步地，所述步骤s2包括如下步骤：
18、步骤s21：在虚拟环境中导入机器人以及待抓取物体的三维模型；
19、步骤s22：在虚拟机器人的抓取视野中随机放置一个三维物体，然后将基于opengl方法获得的虚拟rgb-d多通道图像作为抓取检测网络的输入，计算得到一组候选抓取；
20、步骤s23：根据候选抓取进行虚拟机器人的抓取规划并执行，得到能否抓取物体的正、负标签；如果虚拟机器人能将物体举起一定距离并保持一段时间，则认为该候选抓取为正标签，否则为负标签；
21、步骤s24：将所有正标签和其对应的虚拟rgb-d多通道图像作为虚拟数据集，对抓取检测网络权重系数进一步优化。
22、进一步地，所述步骤s3中，领域自适应迁移网络包含两个生成器grs和gsr以及两个判别器ds和dr，grs负责将真实rgb-d多通道图像转变为虚拟rgb-d多通道图像，gsr则负责将虚拟rgb-d多通道转变为真实rgb-d多通道图像，判别器则用于对转换后的图像进行判别。
23、进一步地，所述步骤s4包括如下步骤：
24、步骤s41：在虚拟机器人的抓取视野中随机放置一个三维物体，通过领域自适应迁移网络将基于opengl方法获得的虚拟rgb-d多通道图像转变成伪实rgb-d多通道图像，然后输入到抓取检测神经网络中，计算得到一组候选抓取；
25、步骤s42：根据候选抓取进行虚拟机器人的抓取规划和执行，得到能否抓取物体的正、负标签；如果虚拟机器人能将物体举起一定距离并保持一段时间，则认为该候选抓取为正标签，否则为负标签；
26、步骤s43：将所有正标签和其对应的伪实rgb-d多通道图像作为伪实数据集，进一步对抓取检测神经网络的权重系数进行更新优化。
27、进一步地，所述步骤s5中的实际抓取环境包括物理机器人、夹爪、深度相机，夹爪垂直于抓取平面，通过深度相机获取rgb-d多通道图像，并输入部署于上位机的最终优化好的抓取检测神经网络，基于输出的抓取操作，由上位机控制机器人和夹爪完成物体抓取。
28、一种基于虚实协同学习策略的机器人数字孪生抓取装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的一种基于虚实协同学习策略的机器人数字孪生抓取方法。
29、本专利技术本文档来自技高网...
【技术保护点】
1.一种基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于包括如下步骤：
2.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：所述步骤S1中的搜索空间，包括一组拓扑计算单元，每个拓扑计算单元是由多个有序节点组成的有向无环图，每个节点保存了其前面所有节点经过各自计算操作后的结果总和，节点之间的有向箭头线表示所有可能的候选神经网络计算操作；神经网络计算操作指两个节点之间采用不同尺寸卷积核的卷积层进行计算的操作；每个拓扑计算单元内的节点按拓扑结构排列。
3.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：步骤S1中松弛化离散的拓扑搜索空间至连续，是将节点之间的每一个候选操作都赋予相应的连续变量α，使特定操作的分类选择放宽到所有候选操作的权重求和，权重为连续变量α经过归一化后的值，具体计算公式为：
4.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：步骤S1中的单层优化模型，只采用同一个训练集的同一批次数据计算损失函数，从而同时训练神经网络所有权重系数w以及
5.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：所述步骤S1中，在优化完成后，对每两个节点之间神经网络的操作变量α进行排序，挑选最大α值所对应的操作来组成离散的卷积神经网络，并用训练集重新训练权重系数w，得到具有最优结构和最优权重系数的抓取检测神经网络。
6.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：所述步骤S2包括如下步骤：
7.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：所述步骤S3中，领域自适应迁移网络包含两个生成器GRS和GSR以及两个判别器DS和DR，GRS负责将真实多通道图像转变为虚拟多通道图像，GSR则负责将虚拟多通道转变为真实多通道图像，判别器则用于对转换后的图像进行判别。
8.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：所述步骤S4包括如下步骤：
9.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：所述步骤S5中的实际抓取环境包括物理机器人、夹爪、深度相机，夹爪垂直于抓取平面，通过深度相机获取多通道图像，并输入部署于上位机的最终优化好的抓取检测神经网络，基于输出的抓取操作，由上位机控制机器人和夹爪完成物体抓取。
10.一种基于虚实协同学习策略的机器人数字孪生抓取装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-9中任一项所述的一种基于虚实协同学习策略的机器人数字孪生抓取方法。
...【技术特征摘要】
1.一种基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于包括如下步骤：
2.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：所述步骤s1中的搜索空间，包括一组拓扑计算单元，每个拓扑计算单元是由多个有序节点组成的有向无环图，每个节点保存了其前面所有节点经过各自计算操作后的结果总和，节点之间的有向箭头线表示所有可能的候选神经网络计算操作；神经网络计算操作指两个节点之间采用不同尺寸卷积核的卷积层进行计算的操作；每个拓扑计算单元内的节点按拓扑结构排列。
3.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：步骤s1中松弛化离散的拓扑搜索空间至连续，是将节点之间的每一个候选操作都赋予相应的连续变量α，使特定操作的分类选择放宽到所有候选操作的权重求和，权重为连续变量α经过归一化后的值，具体计算公式为：
4.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：步骤s1中的单层优化模型，只采用同一个训练集的同一批次数据计算损失函数，从而同时训练神经网络所有权重系数w以及神经网络操作变量α，公式如下：
5.根据权利要求1所述的基于虚实协同学习策略的机器人数字孪生抓取方法，其特征在于：所述步骤s1中，在优化完成后，对每两个节点之间神经网络的操作变量α进行排序，挑选最大α值所对应的操作来组成离散的卷...
【专利技术属性】
技术研发人员：胡伟飞，焦清，方健豪，张桐舟，赵峰，鄢继铨，谭建荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。