【技术实现步骤摘要】
本专利技术涉及机器人领域，特别涉及一种机器人抓取方法、电子设备及存储介质。
技术介绍
1、多模态神经网络的发展目前处于快速发展阶段，得益于深度学习和大数据的发展。多模态神经网络在计算机视觉、自然语言处理、语音识别等领域取得了显著的成果。
2、在人形机器人抓取建模中，研究者们也提出了利用多模态神经网络来提高多模态信息的融合和表达能力。通常，在对人形机器人抓取行为进行模型构建时，多模态的预测模型所采用的输入为图像和文本数据，由于模态数较少，因而限制了模型预测的性能。
技术实现思路
1、本专利技术实施方式的目的在于提供一种机器人抓取方法、电子设备及存储介质，通过在对机器人抓取行为进行建模时，引入包含当前时刻实际关节状态在内的多模态输入数据作为模型输入对预测模型进行训练，提高了预测模型在预测下一时刻的预测关节状态的性能，进而有效提高机器人抓取行为的准确性。
2、为解决上述技术问题，本专利技术的实施方式提供了一种机器人抓取方法，包括：
3、获取抓取动作的文本指令，在利用穿戴设备模拟机器人各关节执行抓取动作的过程中，记各时刻的实际关节状态、以机器人视角拍摄的观察图像和实际手部末端位置；
4、针对每相邻两个时刻，将前一时刻的所述实际关节状态、所述观察图像和所述文本指令输入至预测模型中，得到后一时刻的预测关节状态；
5、基于所述后一时刻的预测关节状态和实际关节状态之间的损失，和/或基于利用所述后一时刻的预测关节状态所预测得到的所述后一时刻
6、利用所述训练好的预测模型对执行抓取动作的机器人在每相邻两个时刻执行如下处理，直到所述抓取动作完成：对前一时刻的实际关节状态、以机器人视角拍摄的观察图像，以及所述抓取动作对应的文本指令进行预测，得到后一时刻的预测关节状态；控制机器人的各关节运动到所述后一时刻的预测关节状态；如此类推，直到所述文本指令对应的抓取行为被执行完成。
7、本专利技术的实施方式还提供了一种电子设备，包括：
8、至少一个处理器；以及，
9、与所述至少一个处理器通信连接的存储器；其中，
10、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的机器人抓取方法。
11、本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的机器人抓取方法。
12、本专利技术实施方式相对于现有技术而言，通过获取抓取动作的文本指令，在利用穿戴设备模拟机器人各关节执行抓取动作的过程中，记录各时刻的实际关节状态、以机器人视角拍摄的观察图像和实际手部末端位置；针对每相邻两个时刻，将前一时刻的实际关节状态、观察图像和文本指令输入至预测模型中，得到后一时刻的预测关节状态；基于后一时刻的预测关节状态和实际关节状态之间的损失，和/或基于利用后一时刻的预测关节状态所预测得到的后一时刻的预测手部末端位置与后一时刻的实际手部末端位置之间的损失，对预测模型进行训练，得到训练好的预测模型；利用训练好的预测模型对执行抓取动作的机器人在每相邻两个时刻执行如下处理，直到抓取动作完成：对前一时刻的实际关节状态、以机器人视角拍摄的观察图像，以及抓取动作对应的文本指令进行预测，得到后一时刻的预测关节状态；控制机器人的各关节运动到后一时刻的预测关节状态。本方案通过在构建预测模型对机器人前一时刻的多模态数据进行预测得到下一时刻的机器人关节状态时，在预测模型的输入数据中引入了前一时刻的实际关节状态，其与前一时刻的观察图像和文本指令构成预测模型的多模态输入数据，从而对机器人关节状态赋予更好的数据表达，以提高预测模型在预测下一时刻的关节状态的性能，进而有效提高预测模型预测机器人抓取行为的准确性。
本文档来自技高网...【技术保护点】
1.一种机器人抓取方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述预测模型包括：关节特征网络、图像特征网络、文本特征网络和特征融合网络；
3.根据权利要求2所述的方法，其特征在于，所述关节特征网络包括：关节子网络和末端子网络；
4.根据权利要求3所述的方法，其特征在于，还包括：
5.根据权利要求4所述的方法，其特征在于，利用所述后一时刻的预测关节状态预测得到所述后一时刻的预测手部末端位置，包括：
6.根据权利要求1所述的方法，其特征在于，所述后一时刻的预测关节状态和实际关节状态之间的损失采用交叉熵算法计算得到。
7.根据权利要求1所述的方法，其特征在于，所述后一时刻的预测手部末端位置与所述后一时刻的实际手部末端位置之间的损失采用均方误差算法计算得到。
8.根据权利要求4所述的方法，其特征在于，所述前一时刻的预测手部末端位置与所述前一时刻的实际手部末端位置之间的损失采用均方误差算法计算得到。
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存
...【技术特征摘要】
1.一种机器人抓取方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述预测模型包括：关节特征网络、图像特征网络、文本特征网络和特征融合网络；
3.根据权利要求2所述的方法，其特征在于，所述关节特征网络包括：关节子网络和末端子网络；
4.根据权利要求3所述的方法，其特征在于，还包括：
5.根据权利要求4所述的方法，其特征在于，利用所述后一时刻的预测关节状态预测得到所述后一时刻的预测手部末端位置，包括：
6.根据权利要求1所述的方法，其特征在于，所述后一时刻的预测关节状态和...
【专利技术属性】
技术研发人员：农宇轩，罗大钦，周明才，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。