【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种动作预测模型的训练方法和动作预测方法。
技术介绍
1、机器人世界模型是机器人理解和预测周围环境的关键工具，对于指导机器人在执行任务时的决策和规划发挥着核心作用。
2、目前，自回归模型被广泛用于直接输出机器人的动作规划。然而，这种方式在执行速度和执行准确度之间存在固有的矛盾。具体来说，自回归模型由于串行输出动作token而效率受限，导致主流设计方案只能输出单一时刻的动作规划，这造成了当规划的动作接近当前时间点时，虽然能够保持较高的准确度，但执行速度慢；而规划的动作远离当前时间点时，执行速度虽快，但准确度降低。尤其是在需要机器人的机械臂和夹爪精确协调的动作中，这一问题尤为突出。
技术实现思路
1、有鉴于此，本申请提供了一种动作预测模型的训练方法和动作预测方法，以优化机器人动作的执行速度和执行准确度。
2、本申请提供了如下方案：
3、第一方面，提供了一种动作预测模型的训练方法，包括：
4、获取包括多个训练样本的训练数据；所述训练样本至少包括：机器人在第一时间点接收的指令、采集的图像和动作状态，以及在第二时间点执行的动作，所述第二时间点为自所述第一时间点起经过预设时间间隔后的未来时间点；
5、识别所述第一时间点和所述第二时间点之间是否存在预设类型的关键动作；
6、基于所述训练数据，训练动作预测模型；所述训练包括：将在所述第一时间点接收的指令、采集的图像和动作状态输入所述动作预测模型，
7、可选地，所述动作状态包括：所述机器人的机械臂的动作状态和夹爪的开合状态；
8、所述预设类型的关键动作包括：夹爪开启动作或夹爪闭合动作。
9、可选地，识别所述第一时间点和所述第二时间点之间是否存在预设类型的关键动作包括：
10、利用所述第一时间点和所述第二时间点之间所述机器人的夹爪开合程度，识别所述第一时间点和所述第二时间点之间是否存在夹爪开启动作或夹爪闭合动作。
11、可选地，所述利用所述第一时间点和所述第二时间点之间所述机器人的夹爪开合程度，识别所述第一时间点和所述第二时间点之间是否存在夹爪开启动作或夹爪闭合动作，包括：
12、对所述训练数据进行预处理，提取所述第一时间点的夹爪动作值和所述第二时间点的夹爪动作值；
13、当所述第一时间点的夹爪动作值小于闭合阈值，且所述第二时间点的夹爪动作值大于所述闭合阈值时，确定所述第一时间点和所述第二时间点之间存在夹爪闭合动作；
14、当所述第一时间点的夹爪动作值大于开启阈值，且所述第二时间点的夹爪动作值小于所述开启阈值时，确定所述第一时间点和所述第二时间点之间存在夹爪开启动作；
15、否则，确定所述第一时间点和所述第二时间点之间不存在夹爪开启动作或夹爪闭合动作。
16、可选地，所述动作预测模型基于多模态的自回归模型实现。
17、第二方面，提供了一种动作预测方法，包括：
18、获取输入数据，所述输入数据包括机器人在第一时间点接收的指令、采集的图像和动作状态；
19、将所述输入数据输入动作预测模型，获取所述动作预测模型根据所述输入数据预测得到的动作；
20、所述动作预测模型是利用如上述第一方面中任一项所述的方法预先训练得到的。
21、可选地，所述方法还包括：
22、根据所述预测得到的动作，控制所述机器人执行相应的动作。
23、第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面或第二方面中任一项所述的方法的步骤。
24、第四方面，提供了一种电子设备，包括：
25、一个或多个处理器；以及
26、与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面或第二方面中任一项所述的方法的步骤。
27、第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面或第二方面中任一项所述方法的步骤。
28、本申请实施例通过识别第一时间点和第二时间点之间是否存在关键动作，实现了动作预测模型训练过程中预测目标的智能切换，当存在关键动作时，动作预测模型以该关键动作作为预测目标，当不存在关键动作时，以第二时间点的动作作为预测目标。这一方式优化了动作预测模型的训练过程，有效提高了机器人动作的执行速度和准确性，增强了机器人在复杂任务中的协调性和效率。
本文档来自技高网...【技术保护点】
1.一种动作预测模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述动作状态包括：所述机器人的机械臂的动作状态和夹爪的开合状态；
3.根据权利要求2所述的方法，其特征在于，识别所述第一时间点和所述第二时间点之间是否存在预设类型的关键动作包括：
4.根据权利要求3所述的方法，其特征在于，所述利用所述第一时间点和所述第二时间点之间所述机器人的夹爪开合程度，识别所述第一时间点和所述第二时间点之间是否存在夹爪开启动作或夹爪闭合动作，包括：
5.根据权利要求1所述的方法，其特征在于，所述动作预测模型基于多模态的自回归模型实现。
6.一种动作预测方法，其特征在于，包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
9.一种电子设备，其特征在于，包括：
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序
...【技术特征摘要】
1.一种动作预测模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述动作状态包括：所述机器人的机械臂的动作状态和夹爪的开合状态；
3.根据权利要求2所述的方法，其特征在于，识别所述第一时间点和所述第二时间点之间是否存在预设类型的关键动作包括：
4.根据权利要求3所述的方法，其特征在于，所述利用所述第一时间点和所述第二时间点之间所述机器人的夹爪开合程度，识别所述第一时间点和所述第二时间点之间是否存在夹爪开启动作或夹爪闭合动作，包括：
5.根据权利...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海智元新创技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。