基于智能机器人视觉记忆的多模态交互方法、装置和系统制造方法及图纸

本发明专利技术公开了一种基于智能机器人视觉记忆的多模态交互方法、装置和智能机器人操作系统，该方法包括：采集用户的人脸图像；生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。本发明专利技术能够提升机器人识别用户的能力，从而提高用户使用机器人的兴趣。

【技术实现步骤摘要】

本专利技术涉及智能机器人领域，尤其涉及一种基于智能机器人视觉记忆的多模态交互方法、装置和系统。
技术介绍
随着智能机器人产品的逐渐普及，在未来，家庭或商家都会对机器人有着越来越多的需求。在与机器人进行交互时，机器人多数情况下面临的用户对象不唯一，不同的用户与同一机器人进行交互会产生不同的个性化的交互数据，若每一次与用户进行交互时都要重新记忆用户的信息，则会增加机器人的内部处理负担和降低用户的体验感。因此，亟需提供一种能够提升机器人识别用户的能力，从而提高用户使用机器人的兴趣的解决方案。
技术实现思路
本专利技术所要解决的技术问题之一是需要提供一种能够提升机器人识别用户的能力的解决方案。为了解决上述技术问题，本申请的实施例首先提供了一种基于智能机器人视觉记忆的多模态交互方法，该方法包括：采集用户的人脸图像；生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。优选地，当相似度大于设定阈值时，确定所述用户与预先存储的样本用户匹配，调用与所述样本用户关联的记忆信息作为所述用户的记忆信息。优选地，在计算所述人脸数组与预先存储的各样本数组的相似度的步骤中，将所述人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将所述人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到所述人脸数组与各样本数组的相似度。优选地，还包括：在相似度匹配失败时，输出询问该用户名称的多模态输出数据，并获取用户的名称，调用与该用户的名称对应的记忆信息，结合记忆信息生成多模态交互数据并输出。根据本专利技术另一方面，还提供了一种基于智能机器人视觉记忆的多模态交互装置，该装置包括：人脸图像采集单元，其采集用户的人脸图像；相似度计算单元，其生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；多模态输出单元，其根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。优选地，所述多模态输出单元进一步执行如下操作：当相似度大于设定阈值时，确定所述用户与预先存储的样本用户匹配，调用与所述样本用户关联的记忆信息作为所述用户的记忆信息。优选地，所述相似度计算单元进一步执行如下操作：将所述人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将所述人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到所述人脸数组与各样本数组的相似度。优选地，所述多模态输出单元进一步执行如下操作：在相似度匹配失败时，输出询问该用户名称的多模态输出数据，并获取用户的名称，调用与该用户的名称对应的记忆信息，结合记忆信息生成多模态交互数据并输出。根据本专利技术另一方面，还提供了一种智能机器人操作系统，所述智能机器人操作系统安装于该智能机器人中，智能机器人操作系统该执行上述基于智能机器人视觉记忆的多模态交互方法。优选地，通过应用程序APP的形式执行上述基于智能机器人视觉记忆的多模态交互方法，所述应用程序APP装载于所述智能机器人操作系统中。与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：本专利技术实施例对采集到的用户的人脸图像进行处理，生成与人脸图像对应的人脸数组，并计算人脸数组与预先存储的各样本数组的相似度，并根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出，从而提升了智能机器人识别用户的能力，提高用户使用机器人的兴趣和意愿。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术的技术方案而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。附图说明附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。图1是根据本专利技术第一实施例的基于智能机器人视觉记忆的多模态交互装置的结构框图。图2是图1所示的基于智能机器人视觉记忆的多模态交互装置执行操作的流程示意图。图3是根据本专利技术第二实施例的基于智能机器人视觉记忆的多模态交互装置的结构框图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。第一实施例图1是根据本专利技术第一实施例的基于智能机器人视觉记忆的多模态交互装置的结构框图。如图1所示，本申请实施例的多模态交互装置100，主要包括：人脸图像采集单元110、相似度计算单元120和多模态输出单元130。人脸图像采集单元110，其采集用户的人脸图像。具体地，在每一次用户与智能机器人开始进行交互之前，人脸图像采集单元110通过利用机器人的摄像头获取包含人脸在内的图像信息。由于获取的图像信息中一般会包括除所需的人脸信息之外的其他物品，因此需要对该图像信息进行预处理和图像分割获取仅有人脸存在的人脸图像。相似度计算单元120，其与人脸图像采集单元110相连，生成与人脸图像对应的人脸数组，并计算人脸数组与预先存储的各样本数组的相似度。需要说明的是，该多模态交互装置100每次与不同的用户进行多模态交互时，都将获取该用户的人脸图像，并将人脸图像转换成与之对应的数组，然后将生成的数组作为主键与该用户对应的多模态交互信息相关联，最后将这些内容作为样本数据预先存储到机器人记忆模块中。也就是说，在机器人记忆模块中预先存储有样本数组和多模态交互信息相互对应的内容。将获取的人脸图像转换成具有大小和方向的向量，具体是数据类型为浮点(float)型的二维数组，并将该二维数组(样本数组)与该用户的多模态交互数据进行关联存储。这样，机器人完成了对不同用户信息的学习。接下来，在获取了经过预处理的人脸图像信息后，也采用与获取样本数组相同的方式将人脸图像转换成人脸数组，然后，相似度计算单元120通过计算向量的偏移量即人脸数组与各个样本数组之间的偏移量来计算两个float型数组的相似度。具体地，在一个优选例子中，相似度计算单元120将人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到人脸数组与各样本数组的本文档来自技高网...

【技术保护点】
一种基于智能机器人视觉记忆的多模态交互方法，该方法包括：采集用户的人脸图像；生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。

【技术特征摘要】
1.一种基于智能机器人视觉记忆的多模态交互方法，该方法包括：采集用户的人脸图像；生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；根据相似度判断所述用户是否为之前记忆的用户，在确定为之前记忆的用户时调取与所述用户对应的记忆信息，结合记忆信息生成多模态交互数据并输出。2.根据权利要求1所述的多模态交互方法，其特征在于，当相似度大于设定阈值时，确定所述用户与预先存储的样本用户匹配，调用与所述样本用户关联的记忆信息作为所述用户的记忆信息。3.根据权利要求1或2所述的多模态交互方法，其特征在于，在计算所述人脸数组与预先存储的各样本数组的相似度的步骤中，将所述人脸数组与各样本数组相同位置的元素相乘并累加得到第一数值、将所述人脸数组的每个元素平方并累加得到第二数值、将各样本数组的每个元素平方并累加得到第三数值；将第一数值与第二数值的开方以及第三数值的开方进行比值计算得到所述人脸数组与各样本数组的相似度。4.根据权利要求1所述的多模态交互方法，其特征在于，还包括：在相似度匹配失败时，输出询问该用户名称的多模态输出数据，并获取用户的名称，调用与该用户的名称对应的记忆信息，结合记忆信息生成多模态交互数据并输出。5.一种基于智能机器人视觉记忆的多模态交互装置，该装置包括：人脸图像采集单元，其采集用户的人脸图像；相似度计算单元，其生成与所述人脸图像对应的人脸数组，并计算所述人脸数组与预先存储的各样本数组的相似度；多模态输出单元，其根据相似度判断所述用...

【专利技术属性】
技术研发人员：王成丞，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京;11