智能机器人的多模态输入数据处理方法及机器人操作系统技术方案

本发明专利技术公开了一种智能机器人的多模态输入数据处理方法及机器人操作系统，智能机器人安装有机器人操作系统，该处理方法包括：用户意图获取步骤，接收并解析用户的多模态输入数据，获取用户意图；应用确定步骤，确定与所述用户意图匹配的应用；应用执行意图获取步骤，获取所述多模态输入数据所包含的该应用执行意图；执行指令生成步骤，以所述应用执行意图与机器人操作系统的当前应用状态值，匹配生成执行指令；多模态输出步骤，根据该执行指令进行多模态输出。本发明专利技术能够在机器人接收到用户的多模态输入数据后，快速的调用相应的模块执行指令相关操作，避免对指令的漏执行和不必要的遍历匹配过程。

【技术实现步骤摘要】

本专利技术涉及智能机器人领域，尤其涉及一种智能机器人的多模态输入数据处理方法及机器人操作系统。
技术介绍
随着智能机器人产品的逐渐普及，更多的智能机器人走进家庭，成为孩子的玩伴和大人的管家。在现有技术中，智能机器人在接收到用户的多模态输入数据后，操作系统将遍历匹配所有应用指令来处理接收到多模态输入数据，这钟操作方式命中率太低、时间长，导致智能机器人对于多模态输入数据的处理速度有限。因此，为了在机器人接收到用户的多模态输入数据后，能够快速的调用相应的模块执行指令相关操作，避免对指令的漏执行和不必要的遍历匹配过程，亟需提供一种针对多模态数据进行处理的方法，以提高用户体验。
技术实现思路
本专利技术所要解决的技术问题之一是需要提供一种在机器人接收到用户的多模态输入数据后，能够快速的调用相应的模块执行指令相关操作，避免对指令的漏执行和不必要的遍历匹配过程的方案。为了解决上述技术问题，本申请的实施例首先提供了一种智能机器人的多模态输入数据处理方法，所述智能机器人安装有机器人操作系统，该处理方法包括：用户意图获取步骤，接收并解析用户的多模态输入数据，获取用户意图；应用确定步骤，确定与所述用户意图匹配的应用；应用执行意图获取步骤，获取所述多模态输入数据所包含的该应用执行意图；执行指令生成步骤，以所述应用执行意图与机器人操作系统的当前应用状态值，匹配生成执行指令；多模态输出步骤，根据该执行指令进行多模态输出。优选地，在所述执行指令生成步骤中，进一步包括：第一匹配步骤，分别与系统操作和动作命令进行匹配，判断所述系统操作和动作命令是否能够生成与所述应用执行意图相应的执行命令，若匹配成功则生成执行指令，否则，执行第二匹配步骤；第二匹配步骤，根据所述当前应用状态值查找当前应用所在的应用处理类，并判断该应用处理类是否能够生成与所述应用执行意图相应的执行命令。优选地，若第二匹配步骤失败，则执行第三匹配步骤；第三匹配步骤，按照权值顺序遍历匹配各应用处理类是否能够生成与所述应用执行意图相应的执行命令。优选地，若第三匹配步骤失败，则启动对话应用处理所述多模态输入数据。优选地，所述应用状态值包括应用秘钥APP Key和应用执行状态Operate State。另一方面，还提供了一种用于处理多模态输入数据的机器人操作系统，包括：用户意图获取单元，其配置为接收并解析用户的多模态输入数据，获取用户意图；应用确定单元，其配置为确定与所述用户意图匹配的应用；应用执行意图获取单元，其配置为获取所述多模态输入数据所包含的该应用执行意图；执行指令生成单元，其配置为以所述应用执行意图与机器人操作系统的当前应用状态值，匹配生成执行指令；多模态输出单元，其配置为根据该执行指令进行多模态输出。优选地，所述执行指令生成单元进一步包括：第一匹配子单元，其配置为分别与系统操作和动作命令进行匹配，判断所述系统操作和动作命令是否能够生成与所述应用执行意图相应的执行命令，若匹配成功则生成执行指令，否则，启动第二匹配子单元；第二匹配子单元，其配置为根据所述当前应用状态值查找当前应用所在的应用处理类，并判断该应用处理类是否能够生成与所述应用执行意图相应的执行命令。优选地，所述执行指令生成单元还包括：第三匹配子单元，其配置为在第二匹配子单元匹配失败时启动，按照权值顺序遍历匹配各应用处理类是否能够生成与所述应用执行意图相应的执行命令。优选地，还包括：对话应用启动单元，其配置为在第三匹配子单元匹配失败时启动对话应用处理所述多模态输入数据。优选地，所述应用状态值包括应用秘钥APP Key和应用执行状态Operate State。与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：本专利技术实施例通过利用机器人操作系统接收并解析用户的多模态输入数据，获取用户意图，确定与用户意图匹配的应用以及获取多模态输入数据所包含的该应用执行意图，并以应用执行意图与机器人操作系统的当前应用状态值，匹配生成执行指令，最后根据该执行指令进行多模态输出，能够在机器人接收到用户的多模态输入数据后，快速的调用相应的模块执行指令相关操作，避免对指令的漏执行和不必要的遍历匹配过程。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术的技术方案而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。附图说明附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。图1为根据本专利技术实施例的用于处理多模态输入数据的机器人操作系统100的结构框图。图2为根据本专利技术实施例的执行指令生成单元140的结构框图。图3为根据本专利技术实施例的智能机器人的多模态输入数据处理方法的流程示意图。图4为根据本专利技术实施例的多模态输入数据处理方法的具体示例流程图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。(实施例)图1为根据本专利技术实施例的用于处理多模态输入数据的机器人操作系统100的结构框图，下面参考图1来说明该机器人操作系统100的各个结构和功能。如图1所示，本实施例的用于处理多模态输入数据的机器人操作系统100主要包括：用户意图获取单元110、应用确定单元120、应用执行意图获取单元130、执行指令生成单元140和多模态输出单元150。用户意图获取单元110，其配置为接收并解析用户的多模态输入数据，获取用户意图。需要说明的是，多模态输入数据主要包括音频数据资源、视频数据资源、图像数据资源以及用于使机器人能够输出一定动作或执行软件或硬件的程序指令资源。多模态输入数据的组合比较复杂，户意图获取单元110对多模态输入数据进行分析得到可靠或是有意义的结果，确定多模态信息发出者的真实意图。举例而言，当用户向机器人发出语音信息“请跳舞”时，机器人通过音频采集的声音数据中识别出了语音指令“请跳舞”。用户意图获取单元110对上述语音指令的多模态输入数据进行预处理，例如，将语音信息转换成文字信息，在预处理后，通过对这些语音指令输入数据的综合分析，推断出该使用者想要机器人跳舞的用户意图。应用确定单元120，其与用户意图获取单元110连接，该应用确定单元120配置为确定与用户意图匹配的应用。在用户意图获取单元110获取用户意图之后，应用确定单元120查询与该用户意图对应的应用。在一个例子中，预先设定好一个应用配置数据库，在该数据库中关联存储了用户意图和应用程序，即以列表的形式将用户意图和应用程序关联存储，一对一或多对一的存储。例如，在用户意图包括有“跳舞”内容时，对应的应用程序为跳舞应用，因此应用确定单元120能够从应用配置数据库中本文档来自技高网...

【技术保护点】
一种智能机器人的多模态输入数据处理方法，其特征在于，所述智能机器人安装有机器人操作系统，该处理方法包括：用户意图获取步骤，接收并解析用户的多模态输入数据，获取用户意图；应用确定步骤，确定与所述用户意图匹配的应用；应用执行意图获取步骤，获取所述多模态输入数据所包含的该应用执行意图；执行指令生成步骤，以所述应用执行意图与机器人操作系统的当前应用状态值，匹配生成执行指令；多模态输出步骤，根据该执行指令进行多模态输出。

【技术特征摘要】
1.一种智能机器人的多模态输入数据处理方法，其特征在于，所述智能机器人安装有机器人操作系统，该处理方法包括：用户意图获取步骤，接收并解析用户的多模态输入数据，获取用户意图；应用确定步骤，确定与所述用户意图匹配的应用；应用执行意图获取步骤，获取所述多模态输入数据所包含的该应用执行意图；执行指令生成步骤，以所述应用执行意图与机器人操作系统的当前应用状态值，匹配生成执行指令；多模态输出步骤，根据该执行指令进行多模态输出。2.根据权利要求1所述的多模态输入数据处理方法，其特征在于，在所述执行指令生成步骤中，进一步包括：第一匹配步骤，分别与系统操作和动作命令进行匹配，判断所述系统操作和动作命令是否能够生成与所述应用执行意图相应的执行命令，若匹配成功则生成执行指令，否则，执行第二匹配步骤；第二匹配步骤，根据所述当前应用状态值查找当前应用所在的应用处理类，并判断该应用处理类是否能够生成与所述应用执行意图相应的执行命令。3.根据权利要求2所述的多模态输入数据处理方法，其特征在于，若第二匹配步骤失败，则执行第三匹配步骤；第三匹配步骤，按照权值顺序遍历匹配各应用处理类是否能够生成与所述应用执行意图相应的执行命令。4.根据权利要求3所述的多模态输入数据处理方法，其特征在于，若第三匹配步骤失败，则启动对话应用处理所述多模态输入数据。5.根据权利要求1～4中任一项所述的多模态输入数据处理方法，其特征在于，所述应用状态值包括应用秘钥APP Key和应用执行状态Operate State。6.一种用于处理多模态输入...

【专利技术属性】
技术研发人员：匡亚明，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11