一种基于多模态知识图谱的低层级机器人任务规划方法技术

本发明专利技术公开了一种基于多模态知识图谱的低层级机器人任务规划方法，结合多模态知识图谱将高层级动作序列进一步分解为低层级动作序列，该方法包括：高层级的任务规划和结合多模态知识图谱的低层级的任务规划。本发明专利技术通过构建具有更强的知识表达能力的多模态图谱，对机器人任务规划中难以描述的操作细节使用图文结合的表示方法，将高层级任务进一步分解，从而更好地解决复杂任务下的规划问题，进而提升机器人任务执行的成功率。升机器人任务执行的成功率。升机器人任务执行的成功率。

【技术实现步骤摘要】
一种基于多模态知识图谱的低层级机器人任务规划方法


[0001]本专利技术属于机器人
，具体涉及一种基于多模态知识图谱的低层级机器人任务规划方法。

技术介绍

[0002]机器人任务规划是机器人领域的重要研究方向之一，低层级任务规划是将复杂任务分解成若干个机器人可以直接执行的操作层面的原子任务，并生成机器人可执行的操作序列。
[0003]目前大多采用硬件编码或者通过逻辑描述语言的方式去预定义好机器人执行任务过程的动作和状态，这类方法灵活性上具有局限性，无法应对复杂或者难以描述的任务动作。
[0004]有研究工作将知识图谱中语义知识应用在任务规划中，然而机器人在执行任务时，所感知及处理的信息是多模态的，对于低层级任务分解仅仅只结合文本的语义知识显然不够，需充分利用环境、机器人本体、常识等多模态知识，进而更细粒度的对低层级任务进行规划分解。

技术实现思路

[0005]为克服上述问题，本专利技术提供一种基于多模态知识图谱的低层级任务规划方法。通过结合被执行对象的多模态图谱中的知识来丰富对象及其操作的细节知识，从而实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态知识图谱的低层级机器人任务规划方法，其特征在于，包括以下步骤：步骤一，高层级的任务规划：对任务进行粗粒度分解，生成高层级动作执行序列。步骤二，低层级的任务规划：若步骤一生成的高层级动作序列中存在操作对象，则查询多模态知识图谱，进一步将该执行序列分解，形成可直接操作的低层级的动作执行序列。其中，所述多模态知识图谱通过如下方法构建：(a)收集包含物体对象、环境、机器人本体相关的多模态知识，包括文本、图片、视频；(b)从视频中提取机器人位姿参数，操作轨迹和抓取点图像，并将所述抓取点图像中的抓取点高亮突出处理；(c)采用三元组的表示形式，将实体节点对应的属性节点以图片、文字、视频等形式存储，从多个模态来表示一个实体信息，构建多模态的知识图谱。2.根据权利要求1所述的方法，其特征在于，所述步骤一，高层级的任务规划具体为：编写任务描述文件，根据所要执行的任务匹配对应的描述文件，将描述文件输入对应的规划器生成粗粒度的任务规划结果。3.根据权利要求1所述的方法，其特征在于，所述步骤(c)中，物体对象的属性节点包括：物体对象的特征、抓取点、操作轨迹、向量表示、位姿、环境信息等。其中，抓取点中存储有抓取点图像、抓取点高亮突出处理的抓取点图像、和抓取点高亮突出处理的抓取点图像的向量；所...

【专利技术属性】
技术研发人员：徐泽民，宋伟，朱世强，杨彦韬，任杰，袭向明，周元海，
申请(专利权)人：之江实验室，
类型：发明
国别省市：