机器人的任务规划方法技术

本申请公开了一种机器人的任务规划方法

【技术实现步骤摘要】
机器人的任务规划方法、装置、设备及存储介质


[0001]本申请涉及智能机器人控制
，尤其涉及一种机器人的任务规划方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着机器人技术的发展，机器人已经能够替代人们完成许多脏累
、
危险
、
粗重或反复无聊的工作
。
其被广泛应用于制造业
、
建筑业
、
石油钻探
、
矿石开采
、
太空探索
、
水下探索
、
毒害物质清理
、
搜救
、
医学以及军事领域等，对人们的声场生活起到了重要的作用
。
[0003]在机器人执行任务时，在获得输入指令后，对指令任务进行分析和拆解，制定和规划完成指令任务所需的具体步骤，进而通过逐步执行任务序列子任务的方式来完成输入的指令任务
。
具体地，在进行任务拆分时，所使用的方法包括：经典数学方法
、
基于数据库的方法以及模型推理方法，但是都存在有各自的问题，如对于复杂任务和任务的识别和理解不准确及没有准确的理解机器人所处的环境，进而导致在进行任务拆分和规划时不准确
。

技术实现思路

[0004]本申请实施例的目的是提供一种机器人的任务规划方法
、
装置
、
电子设备及存储介质，以解决相关技术中因识别和理解不准确而导致任务拆分和规划不合理和不准确的技术问题
。
[0005]第一方面，本申请实施例提供了一种机器人的任务规划方法，包括：
[0006]接收输入的指令信息，并获取机器人当前采集到的多模态状态数据；
[0007]根据所述多模态状态数据对所述指令信息进行任务分解和规划，得到所述指令信息对应的待执行任务序列；
[0008]控制所述机器人执行所述待执行任务序列中的第一任务，得到执行所述第一任务时的第一执行结果；
[0009]在根据所述第一执行结果确定所述第一任务执行失败的情况下，对所述待执行任务序列进行重新规划得到重新规划后的待执行任务，并控制所述机器人基于重新规划后的待执行任务序列进行任务执行
。
[0010]第二方面，本申请实施例提供了一种机器人的任务规划装置，包括：
[0011]信息获取模块，用于接收输入的指令信息，并获取机器人当前采集到的多模态状态数据；
[0012]分解规划模块，用于根据所述多模态状态数据对所述指令信息进行任务分解和规划，得到所述指令信息对应的待执行任务序列；
[0013]任务执行模块，用于控制所述机器人执行所述待执行任务序列中的第一任务，得到执行所述第一任务时的第一执行结果；
[0014]监控更新模块，用于在根据所述第一执行结果确定所述第一任务执行失败的情况下，对所述待执行任务序列进行重新规划得到重新规划后的待执行任务，并控制所述机器
是“至少部分地基于”。
术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。
其他术语的相关定义将在下文描述中给出
。
[0029]在相关技术中，在机器人执行任务时，通过对所接收到的指令任务进行分析和拆解，制定和规划完成指令任务所需的具体步骤，进而通过逐步执行任务序列子任务的方式来完成输入的指令任务
。
而在进行任务拆分时，所使用的方法，如经典数学方法
、
基于数据库的方法以及模型推理方法，都存在有各自的问题，进而导致任务拆分和规划的不准确
。
[0030]为了解决相关技术中存在的技术问题，本申请实施例提供了一种机器人的任务规划方法，请参见图1，图1是本申请实施例提供的机器人的任务规划方法的一种流程示意图，该方法包括步骤
101
至步骤
104。
[0031]步骤
101
，接收输入的指令信息，并获取机器人当前采集到的多模态状态数据
。
[0032]在一实施例中，在对机器人进行任务规划时，首先接收包含有相关的任务信息的指令信息，同时获取机器人当前所采集到的多模态状态数据，进而在进行任务规划时，利用机器人当前感知到的多模态状态数据，准确的完成任务拆分和规划
。
[0033]示例性地，为了使得机器人可以采集和获取到当前的多模态状态数据，可以预先在机器人上设置有多模态传感器，包括但不限于有视觉传感器
、3D
传感器
、
激光传感器和位置传感器，进而在进行任务规划和任务执行的过程中，基于所才加到的多模态状态数据进行规划和执行，使得任务规划更加准确和及时
。
另外，为了能够基于多模态状态数据进行处理，进行任务分解和规划的模型是基于多模态大语言模型
(Multimodal Large Language Model
，
MLLM)
所构建得到的，进而在基于多模态状态数据进行处理时，更加智能的完成任务的分解和规划
。
[0034]步骤
102
，根据多模态状态数据对指令信息进行任务分解和规划，得到指令信息对应的待执行任务序列
。
[0035]在一实施例中，在获取到指令信息和多模态状态数据之后，将会进行任务的分解和规划，具体地，利用多模态状态数据对指令信息进行任务分解和规划，进而得到指令信息所对应的待执行任务序列，其中，待执行任务序列中包含有若干个任务
。
[0036]示例性地，对于所接收到的指令信息，可以是语音信息，也可以是文本信息，而在利用多模态大语言模型对指令信息进行处理时，输入的是文本类信息，因此，在接收到指令信息之后，可以对指令信息进行格式转换，具体地，在指令信息为语音信息时，将其转换为对应的文本信息
。
[0037]进一步地，在完成对指令信息的任务分解和规划得到待执行任务序列之后，此时可以控制机器人通过执行待执行任务序列中所包含的任务，以达到用户需求
。
而为了提高机器人任务执行的效率和准确性，在得到待执行任务序列之后，将会进行相应的检查和审核处理，保证待执行任务序列的正确
。
具体地，参照图2，图2是本申请实施例提供的对待执行任务序列进行判断的步骤的一种流程示意图，其中，该步骤包括步骤
201
至步骤
203。
[0038]步骤
201
，对待执行任务序列进行格式识别，并确定待执行任务序列中每一个任务的任务格式是否为标准格式；
[0039]步骤
202
，在确定待执行任务序列中每一个任务的任务格式均为标准格式的情况下，根据指令信息确定待执行任务序列是否正确；
[0040]步骤
2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种机器人的任务规划方法，其特征在于，包括：接收输入的指令信息，并获取机器人当前采集到的多模态状态数据；根据所述多模态状态数据对所述指令信息进行任务分解和规划，得到所述指令信息对应的待执行任务序列；控制所述机器人执行所述待执行任务序列中的第一任务，得到执行所述第一任务时的第一执行结果；在根据所述第一执行结果确定所述第一任务执行失败的情况下，对所述待执行任务序列进行重新规划得到重新规划后的待执行任务，并控制所述机器人基于重新规划后的待执行任务序列进行任务执行
。2.
如权利要求1所述的方法，其特征在于，所述根据所述指令信息和所述多模态状态数据进行任务分解和规划，得到所述指令信息对应的待执行任务序列之后，还包括：对所述待执行任务序列进行格式识别，并确定所述待执行任务序列中每一个任务的任务格式是否为标准格式；在确定所述待执行任务序列中每一个任务的任务格式均为标准格式的情况下，根据所述指令信息确定所述待执行任务序列是否正确；在确定所述待执行任务序列中存在一个任务的任务格式非标准格式的情况下，确定所述待执行任务序列错误，并执行步骤：根据所述多模态状态数据对所述指令信息进行任务分解和规划，得到所述指令信息对应的待执行任务序列
。3.
如权利要求2所述的方法，其特征在于，所述根据所述指令信息确定所述待执行任务序列是否正确，包括：对所述指令信息进行语义识别，得到对应的语义信息；根据所述语义信息确定所述待执行任务序列是否完整，并根据是否完整确定所述待执行任务序列是否正确；在确定完整的情况下，确定所述待执行任务序列正确；在确定不完整的情况下，确定所述待执行任务序列错误
。4.
如权利要求1所述的方法，其特征在于，所述控制所述机器人执行所述待执行任务序列中的第一任务，得到执行所述第一任务时的第一执行结果，包括：在确定所述待执行任务序列正确的情况下，按照时序在所述待执行任务序列中获取第一任务；控制所述机器人执行所述第一任务，并在执行完成时获取执行所述第一任务时的第一执行结果
。5.
如权利要求1所述的方法，其特征在于，所述在根据所述第一执行结果确定所述第一任务执行失败的情况下，对所述待执行任务序列进行重新规划得到重新规划后的待执行任务，包括：在根据所述第一执行结果确定所述第一任务执行失败的情况下，确定所述第一任务是否为所述待执行任务序列中的第一个任...

【专利技术属性】
技术研发人员：陈明，唐成戬，
申请(专利权)人：OPPO，
类型：发明
国别省市：