与智能机器人的应用程序有关的多模态交互方法及系统技术方案

本发明专利技术公开了一种与智能机器人的应用程序有关的多模态交互方法及系统。其中，该方法包括：接收用户的多模态输入指令，对所述多模态输入指令分析，基于分析结果进行用户意图的筛选和匹配，所述用户意图包括与应用程序有关的操作表达；生成并向用户输出多模态意图确认信息，以获取针对目标应用程序的操作指令。根据本发明专利技术方法，能够使机器人在用户以语音或动作发出模糊指令时，通过输出意图确认信息的方式来获取准确的指令，执行与指令对应的应用程序操作，提高了机器人的智能性和拟人性。

【技术实现步骤摘要】
与智能机器人的应用程序有关的多模态交互方法及系统
本专利技术涉及智能机器人领域，尤其涉及一种与智能机器人的应用程序有关的多模态交互方法及系统，
技术介绍
随着智能机器人产品的逐渐普及，更多的智能机器人走进家庭，成为孩子的玩伴和大人的管家。在现有技术中，考虑到智能机器人的使用便利性，某些智能机器人不包括键盘、鼠标和触控屏等硬件输入设备，用户下达命令给机器人时，往往是通过语言或动作等方式来实现。但是，由于用户的语言和动作的不确定性，这些语言和动作会存在多种含义，机器人在接收到采用上述方式下达的用户指令时，无法明确用户真实目的，执行的指令往往与用户的意图不相匹配。因此，现有的机器人的智能性和拟人性较差，无法准确地执行与用户真实意图相关的指令，降低了用户体验性。因此，亟需提供一种能够使智能机器人准确执行用户真实意图的指令、提高智能机器人的智能性和拟人性的解决方案。
技术实现思路
本专利技术所要解决的技术问题之一是需要提供一种使智能机器人准确执行用户真实意图的指令、提高智能机器人的智能性和拟人性的解决方案。为了解决上述技术问题，本申请的实施例首先提供了一种与智能机器人的应用程序有关的多模态交互方法，该方法包括：接收用户的多模态输入指令，对所述多模态输入指令分析，基于分析结果进行用户意图的筛选和匹配，所述用户意图包括与应用程序有关的操作表达；生成并向用户输出多模态意图确认信息，以获取针对目标应用程序的操作指令。在一个实施例中，所述智能机器人安装有机器人操作系统，所述应用程序运行在机器人操作系统中。在一个实施例中，该方法还包括：获取用户响应所述多模态意图确认信息的反馈信息，根据所述反馈信息启停所述目标应用程序。在一个实施例中，在存在多个用户意图时，根据用户的习惯信息、上下文信息和/或场景信息对多个用户意图进行评分，以生成多模态意图确认信息。在一个实施例中，若存在两个以上的评分超过设定阈值的用户意图，则生成与这些用户意图相关的用户意图选择模式的多模态意图确认信息；否则，生成与用户意图相关的用户意图判定模式的多模态意图确认信息。本专利技术实施例还提供了一种与智能机器人的应用程序有关的多模态交互系统，该多模态交互系统包括：多模态输入指令分析模块，其用于接收用户的多模态输入指令，对所述多模态输入指令分析；用户意图筛选匹配模块，其用于基于分析结果进行用户意图的筛选和匹配，所述用户意图包括与应用程序有关的操作表达；目标应用程序获取模块，其用于生成并向用户输出多模态意图确认信息，以获取针对目标应用程序的操作指令。在一个实施例中，所述智能机器人安装有机器人操作系统，所述应用程序运行在机器人操作系统中。在一个实施例中，该多模态交互系统还包括：应用程序操作模块，其用于获取用户响应所述多模态意图确认信息的反馈信息，根据所述反馈信息启停所述目标应用程序。在一个实施例中，所述用户意图筛选匹配模块，其进一步用于在存在多个用户意图时，根据用户的习惯信息、上下文信息和/或场景信息对多个用户意图进行评分，以生成多模态意图确认信息。在一个实施例中，所述目标应用程序获取模块，其进一步用于在存在两个以上的评分超过设定阈值的用户意图时，则生成与这些用户意图相关的用户意图选择模式的多模态意图确认信息；否则，生成与用户意图相关的用户意图判定模式的多模态意图确认信息。与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：本专利技术的实施例提供了一种与智能机器人的应用程序有关的多模态交互方法，智能机器人在接收了用户的多模态输入指令后，对多模态输入指令进行分析，然后基于分析结果进行用户意图的筛选和匹配，生成并向用户输出多模态意图确认信息，根据用户反馈的确认信息以获取针对目标应用程序的操作指令。由此，在用户以语音或动作发出模糊指令时，机器人能够通过输出意图确认信息的方式来获取准确的指令，执行与指令对应的应用程序操作，提高了机器人的智能性和拟人性。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术的技术方案而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。附图说明附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。图1为本申请实施例一的与智能机器人的应用程序有关的多模态交互方法的流程示意图。图2为本申请实施例二的与智能机器人的应用程序有关的多模态交互方法的流程示意图。图3为本申请实施例三的与智能机器人的应用程序有关的多模态交互系统的结构示意图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。在现有的智能机器人中，大多数机器人是通过语音识别或动作识别的方式来执行用户下达的命令，但是这种命令执行方式与通过键盘或触控屏获取命令并执行命令的方式相比，语音和动作含义的模糊性和多样性导致机器人在识别命令的准确度上存在问题，往往最后执行的应用程序的操作并不是用户的真实意图，给用户带来非常不好的体验，机器人的智能性和拟人性还有待提高。本专利技术实施例提供了解决上述问题的方案，在智能机器人接收到用户的多模态输入指令后会先进行指令分析和用户意图的匹配和筛选。本专利技术实施例为了防止筛选出的指令信息准确度低的问题，智能机器人本身具有主动询问的功能，针对匹配得到的模糊意图生成有关的确认信息输出给用户，以获取具体操作指令。通过上面的技术方案，能够使机器人更好地完成与用户真实意图匹配的指令，使机器人更加智能。需要说明的是，本例中的智能机器人安装有机器人操作系统，该系统配置较高能够更好地实现机器人的各个功能，这些应用程序也都是在机器人操作系统中运行的。进一步，机器人获取用户针对确认信息反馈的信息，然后基于反馈信息来启停对应的目标应用程序。需要说明的是，除了开启和暂停目标应用程序以外，还可以包括对应用程序进行处理的其他操作。另外，在对用户意图进行匹配和筛选时，优先根据用户的习惯、用户与机器人对话时的上下文信息和场景信息中的至少一方面对筛选出的多个用户意图进行评分，然后将评分超过预定阈值的用户意图确定出来，这样的评分方式能够将较为准确的用户意图进一步筛选出来，为后面生成用户意图确认信息做好基础。根据评分超过预定阈值的用户意图数量来生成不同模式的确认信息，例如“你要查天气还是要查航班？”、“你是否要查天气？”。实施例一图1为根据本专利技术实施例一的与智能机器人的应用程序有关的多模态交互方法的流程示意图，该多模态交互方法优选由机器人操作系统的环境中执行，其中涉及到的应用程序运行在该智能机器人操作系统中。下面参考图1来说明本专利技术实施例的各个步骤，该实施例的方法主要包括以下步骤。在步骤S1本文档来自技高网...

【技术保护点】
一种与智能机器人的应用程序有关的多模态交互方法，该方法包括：接收用户的多模态输入指令，对所述多模态输入指令分析，基于分析结果进行用户意图的筛选和匹配，所述用户意图包括与应用程序有关的操作表达；生成并向用户输出多模态意图确认信息，以获取针对目标应用程序的操作指令。

【技术特征摘要】
1.一种与智能机器人的应用程序有关的多模态交互方法，该方法包括：接收用户的多模态输入指令，对所述多模态输入指令分析，基于分析结果进行用户意图的筛选和匹配，所述用户意图包括与应用程序有关的操作表达；生成并向用户输出多模态意图确认信息，以获取针对目标应用程序的操作指令。2.根据权利要求1所述的多模态交互方法，其特征在于，所述智能机器人安装有机器人操作系统，所述应用程序运行在机器人操作系统中。3.根据权利要求1或2所述的多模态交互方法，其特征在于，该方法还包括：获取用户响应所述多模态意图确认信息的反馈信息，根据所述反馈信息启停所述目标应用程序。4.根据权利要求1～3中任一项所述的多模态交互方法，其特征在于，在存在多个用户意图时，根据用户的习惯信息、上下文信息和/或场景信息对多个用户意图进行评分，以生成多模态意图确认信息。5.根据权利要求4所述的多模态交互方法，其特征在于，若存在两个以上的评分超过设定阈值的用户意图，则生成与这些用户意图相关的用户意图选择模式的多模态意图确认信息；否则，生成与用户意图相关的用户意图判定模式的多模态意图确认信息。6.一种与智能机器人的应用程序有关的多模态交互系统，该多模态交互系统包括：多模态输入指令分析模块，其用于...

【专利技术属性】
技术研发人员：郭家，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11