一种多模态交互机器人及交互方法技术

本申请提供一种多模态交互机器人及交互方法，所述交互方法包括：实时获取语音信息；识别所述语音信息中的命名实体及命名实体的预取量数据；当预存实体列表中有所述命名实体时，依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据比值计算实取量数据。实时记录预取量数据以及实取量数据形成历史数据，当语音信息的信息发布人员想要命令机器人取一定量的物品时，厨房交互机器人可以通过历史数据中实取量与预取量的比值以及通过语音识别到的语音信息的信息发布人员想要获取的预取量计算出实取量，使得语音信息的信息发布人员能够在对物品进行处理后得到预取量的最终命名实体，从而提高了服务机器人的人机交互体验。机交互体验。机交互体验。

【技术实现步骤摘要】
一种多模态交互机器人及交互方法


[0001]本申请涉及厨房交互机器人
，尤其是涉及权利一种多模态交互机器人及交互方法。

技术介绍

[0002]近年来，随着科学技术的不断进步，人工智能和机器人技术飞速发展，极大促进了服务机器人的发展，提高了人们的生活水平。最常见的家庭机器人就可以通过语音识别、图像识别等与家庭成员进行服务交互。
[0003]然而目前服务机器人的人机交互方式还处于初步发展的阶段，机器人经常性的答非所问，或者对交互指令的执行不当，导致服务机器人对于人们的服务体检欠佳，特别是对于厨房服务机器人而言，在这方面体现尤为明显。
[0004]如使用人员在做饭时需要用到100g菜花，而厨房服务机器人得到的语音指令是“取100g菜花”，则厨房服务机器人只会取100g菜花，但是厨房服务机器人所取的100g菜花在处理过后的量是小于100g的，这就有悖使用人员最初取100g能够直接使用的菜花的目的，降低了厨房服务机器人的使用体验。

技术实现思路

[0005]为了提高厨房服务机器人的人机交互体验，本申请目的是提供权利一种多模态交互机器人及交互方法。
[0006]本申请的上述申请目的是通过以下技术方案得以实现的：第一方面，本申请提供权利一种多模态交互机器人交互方法，其特征在于，所述交互方法包括：厨房交互机器人实时获取语音信息；厨房交互机器人识别所述语音信息中的命名实体及命名实体的预取量数据；当预存实体列表中有所述命名实体时，厨房交互机器人依据所述预取量数据、命名实体以在厨房交互机器人存储的历史数据中预取量数据和实取量数据比值计算实取量数据。
[0007]通过采用上述技术方案，实时记录预取量数据以及实取量数据形成历史数据，当语音信息的信息发布人员想要命令机器人取一定量的物品时，机器人可以通过历史数据中实取量与预取量的比值以及通过语音识别到的语音信息的信息发布人员想要获取的预取量计算出实取量，使得语音信息的信息发布人员能够在对物品进行处理后得到预取量的最终命名实体，从而提高了服务机器人的人机交互体验。
[0008]在一个优选的示例中，所述交互方法还包括：厨房交互机器人在获取所述语音信息时，获取关联模态信息；厨房交互机器人识别所述关联模态信息中的关联数据；当所述关联模态信息中有关联数据时，所述实取量数据与所述预取量数据相等；反之则依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据关系计算实取
量数据。
[0009]通过采用上述技术方案，关联数据的获取和识别可以提供厨房交互机器人两种不同的取材方式，进一步的提高了厨房交互机器人的交互体验。
[0010]在一个优选的示例中，所述关联模态信息为肢体图像信息，所述关联数据为从所述肢体图像信息中识别的特征肢体信息。
[0011]在一个优选的示例中，当预存实体列表中有所述命名实体时：厨房交互机器人获取实体图像信息；厨房交互机器人识别所述实体图像信息中的实体新鲜度数据；厨房交互机器人依据所述预取量数据、命名实体、实体新鲜度数据以及历史数据中预取量数据和实取量数据比值计算所述实取量数据。
[0012]通过采用上述技术方案，在获取实体时，加入了对实体新鲜度数据的参考，从而进一步的提高了对实取量数据计算的准确性，提高了厨房交互机器人的交互体验。
[0013]在一个优选的示例中，所述交互方法还包括：识别所述获取语音信息中预存指令，当识别到所述语音信息中同时存在预存指令以及命名实体时，将所述命名实体名称存入所述预存实体列表。
[0014]通过采用上述技术方案，语音信息的信息发布人员可以随时通过语音指令的方式在预存实体列表中添加新的实体，提高了厨房交互机器人使用的便利性。
[0015]第二方面，本申请还提供权利一种多模态交互机器人，所述机器人包括：语音获取模块，用于实时获取语音信息；语音识别模块，用于识别所述语音信息中的命名实体及命名实体的预取量数据；以及实体计算模块，用于在预存实体列表中有所述命名实体时，依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据比值计算实取量数据。
[0016]在一个优选的示例中，所述机器人还包括：关联模态获取模块，用于在获取所述语音信息时，实时获取关联模态信息；关联模态识别模块，用于识别所述关联模态信息中的关联数据；所述实体计算模块计算所述实取量数据的方式为：在所述关联模态信息中有关联数据时，所述实取量数据与所述预取量数据相等；反之则依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据关系计算实取量数据。
[0017]在一个优选的示例中，所述关联模态信息为肢体图像信息，所述关联数据为从所述肢体图像信息中识别的特征肢体信息。
[0018]在一个优选的示例中，所述实体计算模块包括：判断单元，用于判断预存实体列表中是否存在所述命名实体，并在预存实体列表中有所述命名实体时输出取材启动指令；实体图像获取单元，用于响应取材启动指令获取实体图像信息；实体图像识别单元，用于识别所述实体图像信息中的实体新鲜度数据；实取量计算单元，用于依据所述预取量数据、命名实体、实体新鲜度数据以及历史数据中预取量数据和实取量数据比值计算所述实取量数据。
[0019]在一个优选的示例中，所述语音识别模块识用于别所述获取语音信息中的预存指令、命名实体及命名实体的预取量数据，并在识别到所述语音信息中同时存在预存指令以
及命名实体时，将所述命名实体名称存入所述预存实体列表。
[0020]综上所述，本申请包括以下至少一种有益技术效果：1、厨房交互机器人在服务过程中，可以通过语音识别和图像识别多种方式提供计算实取量的计算数据依据，提高了厨房交互机器人实取量的计算精准度；2、由于关联模态识别模块的设置，提供了厨房交互机器人多种取材计算方式，提高了交厨房交互机器人的交互体验。
附图说明
[0021]图1是本申请中多模态交互方法流程图。
[0022]图2是本申请中实取量数据计算方法流程图。
[0023]图3是本申请中多模态厨房交互机器人系统框图。
[0024]图4是本申请中实体计算模块的系统框图。
具体实施方式
[0025]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0026]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
[0027]交互服务机器人作为一种服务型机器人已经愈普及，其普遍通过语音识别或图像识别的方式，利用大数据计算识别指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态交互机器人交互方法，其特征在于，所述交互方法包括：厨房交互机器人实时获取语音信息；厨房交互机器人识别所述语音信息中的命名实体及命名实体的预取量数据；当预存实体列表中有所述命名实体时，厨房交互机器人依据所述预取量数据、命名实体以在厨房交互机器人存储的历史数据中预取量数据和实取量数据比值计算实取量数据。2.根据权利要求1所述的一种多模态交互机器人交互方法，其特征在于，所述交互方法还包括：厨房交互机器人在获取所述语音信息时，获取关联模态信息；厨房交互机器人识别所述关联模态信息中的关联数据；当所述关联模态信息中有关联数据时，所述实取量数据与所述预取量数据相等；反之则依据所述预取量数据、命名实体以在历史数据中预取量数据和实取量数据关系计算实取量数据。3.根据权利要求2所述的一种多模态交互机器人交互方法，其特征在于，所述关联模态信息为肢体图像信息，所述关联数据为从所述肢体图像信息中识别的特征肢体信息。4.根据权利要求1所述的一种多模态交互机器人交互方法，其特征在于，当预存实体列表中有所述命名实体时：厨房交互机器人获取实体图像信息；厨房交互机器人识别所述实体图像信息中的实体新鲜度数据；厨房交互机器人依据所述预取量数据、命名实体、实体新鲜度数据以及历史数据中预取量数据和实取量数据比值计算所述实取量数据。5.根据权利要求1所述的一种多模态厨房交互机器人交互方法，其特征在于，所述交互方法还包括：识别所述获取语音信息中预存指令，当识别到所述语音信息中同时存在预存指令以及命名实体时，将所述命名实体名称存入所述预存实体列表。6.一种多模态交互机器人，其特征在于，所述机器人包括：语音获取模块，用于实时获取语音信息；语音识别模块，用于识别所述语音信...

【专利技术属性】
技术研发人员：刘玲玲，
申请(专利权)人：刘玲玲，
类型：发明
国别省市：