基于物品识别的智能体交互方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了基于物品识别的智能体交互方法、装置、设备及存储介质。所述方法包括：获取物品图像；对所述物品图像进行目标检测，以得到检测结果；对所述检测结果进行物品类型识别，以得到物品识别结果；根据所述物品识别结果注入智能体，以得到注入智能体的物品，使得用户与注入智能体的物品进行交互。通过实施本发明专利技术实施例的方法可实现物品真正站在物品的视角与用户进行交互。在物品的视角与用户进行交互。在物品的视角与用户进行交互。

【技术实现步骤摘要】
基于物品识别的智能体交互方法、装置、设备及存储介质


[0001]本专利技术涉及AR技术，更具体地说是指基于物品识别的智能体交互方法、装置、设备及存储介质。

技术介绍

[0002]在动画电影中，物品能记得你们共同参与过的活动、你的喜好，在你犹豫不决的时候给你建议，在你难过的时候用它们的方式宽慰你。在现实生活中，要实现这个功能，则需要解决两个关键问题，一是如何借助现有硬件，识别现实中的物品并与之交互；二是如何让物品真正站在物品的视角与人们进行开放域对话，即不局限在特定的专业领域的对话，现有的物品可参与到实际生活中的例子为客服机器人等交互智能体。
[0003]目前常见的交互智能体如客服机器人一般直接嵌入手机应用、网页中与用户交互。客服机器人通常采用知识图谱、基于意图识别的自然语言处理技术等方式实现，这让客服机器人在限定知识范围内能做出应答，而超出限定知识范围后无法应答，也就是无法进行开放域对话。
[0004]因此，有必要设计一种新的方法，实现物品真正站在物品的视角与用户进行交互。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提供基于物品识别的智能体交互方法、装置、设备及存储介质。
[0006]为实现上述目的，本专利技术采用以下技术方案：基于物品识别的智能体交互方法，包括：获取物品图像；对所述物品图像进行目标检测，以得到检测结果；对所述检测结果进行物品类型识别，以得到物品识别结果；根据所述物品识别结果注入智能体，以得到注入智能体的物品，使得用户与注入智能体的物品进行交互。
[0007]其进一步技术方案为：所述对所述物品图像进行目标检测，以得到检测结果，包括：采用目标检测模型对所述物品图像进行目标检测，以得到检测结果。
[0008]其进一步技术方案为：所述目标检测模型是以YOLOV5模型为基础，通过模型剪枝、通道剪枝、减少Anchor的方式，结合非极大值抑制算法实现的。
[0009]其进一步技术方案为：所述对所述检测结果进行物品类型识别，以得到物品识别结果，包括：对所述检测结果进行物品视觉特征提取，以得到提取结果；根据所述提取结果进行特征检索，以得到检索结果；根据所述检索结果确定物品类型，以得到物品识别结果。
[0010]其进一步技术方案为：所述对所述检测结果进行物品视觉特征提取，以得到提取结果，包括：对所述检测结果采用基于MobileNetv2的识别网络进行物品特征提取，以得到提取结果。
[0011]其进一步技术方案为：所述根据所述提取结果进行特征检索，以得到检索结果，包括：通过开源的FAISS框架建立特征检索引擎，并选择乘积量化优化索引，检索与所述提取结果相似的目标物品，以得到检索结果。
[0012]其进一步技术方案为：所述根据所述检索结果确定物品类型，以得到物品识别结果，包括：筛选符合要求的检索结果，以得到筛选结果；对所述筛选结果采用非极大值抑制算法消除边界框，以得到物品识别结果。
[0013]本专利技术还提供了基于物品识别的智能体交互装置，包括：图像获取单元，用于获取物品图像；目标检测单元，用于对所述物品图像进行目标检测，以得到检测结果；识别单元，用于对所述检测结果进行物品类型识别，以得到物品识别结果；注入单元，用于根据所述物品识别结果注入智能体，以得到注入智能体的物品，使得用户与注入智能体的物品进行交互。
[0014]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0015]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
[0016]本专利技术与现有技术相比的有益效果是：本专利技术通过对物品图像进行目标检测和物品类型识别，根据识别所得的类型注入智能体，以使得物品具备智能体的功能，实现物品真正站在物品的视角与用户进行交互。
[0017]下面结合附图和具体实施例对本专利技术作进一步描述。
附图说明
[0018]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例提供的基于物品识别的智能体交互方法的应用场景示意图；图2为本专利技术实施例提供的基于物品识别的智能体交互方法的流程示意图；图3为本专利技术实施例提供的基于物品识别的智能体交互方法的子流程示意图；图4为本专利技术实施例提供的基于物品识别的智能体交互方法的子流程示意图；图5为本专利技术实施例提供的目标检测模型的流程示意图；图6为本专利技术实施例提供的基于物品识别的智能体交互装置的示意性框图；图7为本专利技术实施例提供的基于物品识别的智能体交互装置的识别单元的示意性框图；
图8为本专利技术实施例提供的基于物品识别的智能体交互装置的确定子单元的示意性框图；图9为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0022]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0023]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0024]请参阅图1和图2，图1为本专利技术实施例提供的基于物品识别的智能体交互方法的应用场景示意图。图2为本专利技术实施例提供的基于物品识别的智能体交互方法的示意性流程图。该基于物品识别的智能体交互方法应用于服务器中。该服务器与终端进行数据交互，通过终端拍摄物品的图像，对图像进行物品检测和类型识别，根据识别的类型注入对应的智能体，从而实现物品真正站在物品的视角与用户进行交互。
[0025]图2是本专利技术实施例提供的基于物品识别的智能体交互方法的流程示意图。如图2所示，该方法包括以下步骤S110至S140。
[0026]S110、获取物品图像。
[0027]在本实施例中，物品图像是指使用终端或者带有摄像头的设备拍摄需要进行交互的物品所形成的图像。
[0028]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于物品识别的智能体交互方法，其特征在于，包括：获取物品图像；对所述物品图像进行目标检测，以得到检测结果；对所述检测结果进行物品类型识别，以得到物品识别结果；根据所述物品识别结果注入智能体，以得到注入智能体的物品，使得用户与注入智能体的物品进行交互。2.根据权利要求1所述的基于物品识别的智能体交互方法，其特征在于，所述对所述物品图像进行目标检测，以得到检测结果，包括：采用目标检测模型对所述物品图像进行目标检测，以得到检测结果。3.根据权利要求2所述的基于物品识别的智能体交互方法，其特征在于，所述目标检测模型是以YOLOV5模型为基础，通过模型剪枝、通道剪枝、减少Anchor的方式，结合非极大值抑制算法实现的。4.根据权利要求1所述的基于物品识别的智能体交互方法，其特征在于，所述对所述检测结果进行物品类型识别，以得到物品识别结果，包括：对所述检测结果进行物品视觉特征提取，以得到提取结果；根据所述提取结果进行特征检索，以得到检索结果；根据所述检索结果确定物品类型，以得到物品识别结果。5.根据权利要求4所述的基于物品识别的智能体交互方法，其特征在于，所述对所述检测结果进行物品视觉特征提取，以得到提取结果，包括：对所述检测结果采用基于MobileNetv2的识别网络进行物品特征提取，以得到提取结果。...

【专利技术属性】
技术研发人员：陈阳，石翔飞，舒会，顾宇鑫，鲍方毅，
申请(专利权)人：杭州心识宇宙科技有限公司，
类型：发明
国别省市：