应用于智能机器人的多模态输出方法和装置制造方法及图纸

本发明专利技术公开了一种应用于智能机器人的多模态输出方法及装置。该方法包括：接收多模态输入信息；对所述多模态输入信息进行解析，并根据解析结果生成与之对应的语音文本信息；提取所述语音文本信息中的特定词汇，并生成与所述特定词汇相匹配的动作指令；以及根据所述语音文本信息和动作指令完成语音输出和智能机器人的动作输出。本发明专利技术能够提高机器人的智能化和拟人化，提高用户与机器人交流的交互体验。

【技术实现步骤摘要】

本专利技术涉及智能机器人领域，尤其涉及一种应用于智能机器人的多模态输出方法和装置。
技术介绍
随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。目前市面上的机器人，在与用户进行聊天时产生的动作往往是与语言表达的意思并不相关的固定模式动作或是随机动作，带来了一定程度上的趣味性，但是，这种设置在机器人内部系统处理中仅是将语音系统和动作系统进行简单的叠加处理，语音输出和动作输出并不匹配，导致机器人的智能性和拟人性较差。这导致用户在与机器人聊天的过程中，会很快因为无意义的重复而感到厌烦，从而失去继续聊天交互的兴趣。因此，亟需提供一种能够提高机器人智能性和拟人性的解决方案。
技术实现思路
本专利技术所要解决的技术问题之一是需要提供一种在提高智能机器人的智能性和拟人性的技术方案。为了解决上述技术问题，本申请的实施例首先提供了一种应用于智能机器人的多模态输出方法，该方法包括：接收多模态输入信息；对所述多模态输入信息进行解析，并根据解析结果生成与之对应的语音文本信息；提取所述语音文本信息中的特定词汇，并生成与所述特定词汇相匹配的动作指令；以及根据所述语音文本信息和动作指令完成语音输出和智能机器人的动作输出。优选地，所述特定词汇为如下之一或组合：设定名词、设定动词和设定形容词。优选地，当提取到多个特定词汇时，按照所述多个特定词汇匹配的动作指令对应的优先级和权重，输出一个或多个动作指令。优选地，一个动作指令对应一个或多个特定词汇。优选地，动作在对应词汇的语音输出时刻输出，实现动作输出与语音输出相匹配。根据本专利技术另一方面，还提供了一种应用于智能机器人的多模态输出装置，该装置包括：模态信息接收模块，其设置为接收多模态输入信息；文本信息生成模块，其设置为对所述多模态输入信息进行解析，并根据解析结果生成与之对应的语音文本信息；动作指令生成模块，其设置为提取所述语音文本信息中的特定词汇，并生成与所述特定词汇相匹配的动作指令；以及多模态输出模块，其设置为根据所述语音文本信息和动作指令完成语音输出和智能机器人的动作输出。优选地，所述特定词汇为如下之一或组合：设定名词、设定动词和设定形容词。优选地，所述动作指令生成模块进一步设置为当提取到多个特定词汇时，按照所述多个特定词汇匹配的动作指令对应的优先级和权重，输出一个或多个动作指令。优选地，一个动作指令对应一个或多个特定词汇。优选地，所述多模态输出模块进一步设置为在对应词汇的语音输出时刻执行所述动作输出，实现动作输出与语音输出相匹配。与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：在本专利技术实施例，通过对接收到的多模态输入信息进行解析，根据解析结果生成与之对应的语音文本信息，在获取语音文本信息后提取语音文本信息中的特定词汇，并生成与特定词汇相匹配的动作指令，这样在通过二次信息数据解析后，能够输出与语音信息相协同的智能机器人的动作输出，从而能够提高机器人的智能性和拟人性，满足用户与机器人交互的需求。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术的技术方案而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。附图说明附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。图1为涉及本专利技术的应用于智能机器人的多模态输出方法的示例一的流程示意图。图2为涉及本专利技术的应用于智能机器人的多模态输出方法的示例二的流程示意图。图3为涉及本专利技术的应用于智能机器人的多模态输出装置300的示例的结构框图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。随着智能机器人产品的普及，越来越多的家庭和商家都需要机器人为其服务。现有技术中，机器人在与用户进行聊天时会做出一些有趣的动作以使用户感到趣味性。然而，这些动作一般与输出的语音并无相关性，导致机器人的智能性和拟人性较差。而且，在随机触发的模式下，动作输出与语音输出的内容很不相关，且输出的时间也存在差异性。本专利技术的应用于智能机器人的多模态输出方法，主要为了提高机器人的智能性和拟人性，实现语音输出与动作输出的协调。通过对接收到的多模态输入信息进行一次解析，就可以根据解析结果判断是否存在与该解析结果对应的语音文本信息。再对语音文本信息进行二次解析，判断该语义文本信息中是否存在特定词汇。在存在具有特定词汇时，按照设定好的规则，查找到与该特定词汇对应的动作，然后完成语音和动作的协同输出。在机器人通过执行上述操作完成多模态输出，一般只需占用一个线程来处理，没有占用较多资源。而且，语音和动作的协同输出提高了用户体验值。本专利技术的实施例中，“特定词汇”可以是设定的名词、设定的动词和设定的形容词以及这些词汇的组合，还可以是特定的片段短语，例如“你真厉害”、“你真棒”、“我好开心”等，并非仅仅是一个词语。由于在一句完整句中，一般会包含多种词性的词汇，在提取出多个特定词汇时，机器人则会查找到与每个特定词汇对应的动作指令，然后识别这些动作指令对应的优先级和权重，再根据优先级和权重输出一个或多个彼此没有冲突的动作指令。而且，在查找每个特定词汇对应的动作指令时会发现一个动作指令可能对应多个特定词汇，例如“抱着”、“小宝宝”这两个特定词汇都会对应一个“抱”的动作指令，为了实现动作输出与语音输出相匹配，则选择在某一词汇的语音输出时刻执行动作输出。实施例一图1为涉及本专利技术的应用于智能机器人的多模态输出方法的示例一的流程示意图，该实施例的方法主要包括以下步骤。在步骤S110中，机器人接收多模态输入信息。具体地，在用户与机器人进行交互的过程中，机器人可以通过视频采集单元、语音采集单元、人机交互单元等来接收多模态输入信息。其中，视频采集单元可以采用RGBD摄像头来构成，语音采集单元需要提供完整的语音录制和播放功能，人机交互单元可以为一个触摸输入显示屏，用户通过该显示屏输入多模态信息。需要说明的是，多模态输入信息主要包括音频数据、视频数据、图像数据以及用于使机器人能够输出一定动作或执行软件或硬件的程序指令。多模态输入数据的组合比较复杂，通过对多模态输入数据进行分析能够得到可靠或是有意义的结果，确定多模态数据发出者的真实意图。例如，在用户与机器人进行语音交互时，用户向机器人发出语音信息，未知语音信号经麦克风、话筒之本文档来自技高网...

【技术保护点】
一种应用于智能机器人的多模态输出方法，该方法包括：接收多模态输入信息；对所述多模态输入信息进行解析，并根据解析结果生成与之对应的语音文本信息；提取所述语音文本信息中的特定词汇，并生成与所述特定词汇相匹配的动作指令；以及根据所述语音文本信息和动作指令完成语音输出和智能机器人的动作输出。

【技术特征摘要】
1.一种应用于智能机器人的多模态输出方法，该方法包括：接收多模态输入信息；对所述多模态输入信息进行解析，并根据解析结果生成与之对应的语音文本信息；提取所述语音文本信息中的特定词汇，并生成与所述特定词汇相匹配的动作指令；以及根据所述语音文本信息和动作指令完成语音输出和智能机器人的动作输出。2.根据权利要求1所述的多模态输出方法，其特征在于，所述特定词汇为如下之一或组合：设定名词、设定动词和设定形容词。3.根据权利要求1或2所述的多模态输出方法，其特征在于，当提取到多个特定词汇时，按照所述多个特定词汇匹配的动作指令对应的优先级和权重，输出一个或多个动作指令。4.根据权利要求1所述的多模态输出方法，其特征在于，一个动作指令对应一个或多个特定词汇。5.根据权利要求1～4中任一项所述的多模态输出方法，其特征在于，动作在对应词汇的语音输出时刻输出，实现动作输出与语音输出相匹配。6.一种应用于智能机器人的多模态输出装置，该装置包括：多模态信息接收模块，其设置为接收多...

【专利技术属性】
技术研发人员：石琰，郭家，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11