一种知识增强的多服务机器人物体类别识别方法及系统技术方案

本发明专利技术属于服务机器人视觉场景识别技术领域，提供了一种知识增强的多服务机器人物体类别识别方法及系统。其中，知识增强的多服务机器人物体类别识别方法获取机器人运行的场景图片，提取场景图片中的视觉信息特征图，得到场景图片中目标检测框及其物体类别的初步预测结果，并将所述视觉信息特征图转换成场景信息向量；选取预先构建的知识图谱中的信任目标标签节点，基于转换的场景信息向量及目标检测框信息组成匹配向量，计算所述匹配向量与以所述信任目标标签节点为起始的边的相似度，根据相似度大小确定出所述场景图片中物体类别的查询预测结果；将所述场景图片中物体类别的查询预测结果与初步预测结果进行融合，得到最终的物体类别识别结果。终的物体类别识别结果。终的物体类别识别结果。

【技术实现步骤摘要】
一种知识增强的多服务机器人物体类别识别方法及系统


[0001]本专利技术属于服务机器人视觉场景识别
，尤其涉及一种知识增强的多服务机器人物体类别识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]服务机器人对于改善人们的日常生活具有重要的意义，目前已经广泛应用于养老、教育救援、监护等工作。服务机器人的工作离不开机器人对周围环境的感知与理解，其中视觉信号是机器人进行环境感知的重要来源，充分利用视觉信息有助于提高目标分类的准确度、提升下游任务的准确性和可靠度。
[0004]目前广泛使用的服务机器人物体识别算法中，存在以下两个问题：1)缺乏对先验知识的积累：由于目前的视觉模型大多通过离线训练方式得到，无法随着机器人运行而动态更新；2)目前多服务器机器人之间无法共享所积累的先验常识。

技术实现思路

[0005]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种知识增强的多服务机器人物体类别识别方法及系统，其在现有的视觉识别算法基础上，以知识图谱作为经验存储和经验共享的平台，将机器人在运行过程中置信度高的物体识别内容积累至数据库中，按周期补充至视觉信息图谱，以解决先验知识积累问题。同时，通过存储图谱的图数据库为多服务器人同时提供服务，以实现对物体识别知识的共享。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]本专利技术的第一个方面提供一种知识增强的多服务机器人物体类别识别方法。
[0008]一种知识增强的多服务机器人物体类别识别方法，其包括：
[0009]获取机器人运行的场景图片，提取所述场景图片中的视觉信息特征图，得到所述场景图片中目标检测框及其物体类别的初步预测结果，并将所述视觉信息特征图转换成场景信息向量。
[0010]基于上述物体类别的初步预测结果，选取预先构建的知识图谱中的信任目标标签节点，基于转换的场景信息向量及目标检测框信息组成匹配向量计算匹配向量与以所述信任目标标签节点为起始的边的相似度，根据相似度大小确定出所述场景图片中物体类别的查询预测结果；
[0011]将所述场景图片中物体类别的查询预测结果与初步预测结果进行融合，得到最终的物体类别识别结果。
[0012]作为一种实施方式，计算所述场景图片中物体类别的初步预测结果的分类置信度，保存初步结果的分类置信度高于设定阈值的物体类别目标框，并更新知识图谱。
[0013]作为一种实施方式，在更新知识图谱的过程中，更新后的知识图谱中对应有向边
的向量值为：第一向量值与第二向量值的加权累加和；
[0014]所述第一向量值为原知识图谱中对应有向边的向量值，其权重为预设更新速度调节因子；第二向量值为所述场景图片中物体类别的初步预测结果所对应的场景信息向量值，其权重为1与预设更新速度调节因子的差。
[0015]作为一种实施方式，识别知识图谱由有向边和节点组成，其中节点表示所识别的物体标签值，有向边的起点为确定性高的物体，终点为推测的物体。
[0016]作为一种实施方式，最终的物体类别识别结果为：所述场景图片中物体类别的查询预测结果和初步预测结果的加权累加和。
[0017]作为一种实施方式，将所述视觉信息特征图通过全连接层转换成场景信息向量。
[0018]作为一种实施方式，所述相似度以余弦相似度来表征。
[0019]本专利技术的第二个方面提供一种知识增强的多服务机器人物体类别识别系统。
[0020]一种知识增强的多服务机器人物体类别识别系统，其包括：
[0021]初步预测模块，其用于获取机器人运行的场景图片，提取所述场景图片中的视觉信息特征图，得到所述场景图片中目标检测框及其物体类别的初步预测结果，并将所述视觉信息特征图转换成场景信息向量；
[0022]查询预测模块，其用于基于上述物体类别的初步预测结果，选取预先构建的知识图谱中的信任目标标签节点，基于转换的场景信息向量及目标检测框信息组成匹配向量，计算所述匹配向量与以所述信任目标标签节点为起始的边的相似度，根据相似度大小确定出所述场景图片中物体类别的查询预测结果；
[0023]预测融合模块，其用于将所述场景图片中物体类别的查询预测结果与初步预测结果进行融合，得到最终的物体类别识别结果。
[0024]本专利技术的第三个方面提供一种计算机可读存储介质。
[0025]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的知识增强的多服务机器人物体类别识别方法中的步骤。
[0026]本专利技术的第四个方面提供一种电子设备。
[0027]一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的知识增强的多服务机器人物体类别识别方法中的步骤。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]本专利技术以知识图谱作为经验存储和经验共享的平台，将机器人在运行过程中置信度高的物体识别内容积累至数据库中，按周期补充至视觉信息图谱，以解决先验知识积累问题。同时，通过图谱接口为多服务器人同时提供服务，以实现对物体识别知识的共享。
[0030]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0031]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0032]图1是本专利技术实施例的物体识别知识图谱结构示意图；
[0033]图2是本专利技术实施例的知识增强的多服务机器人物体类别识别原理图；
[0034]图3是本专利技术实施例的机器人在运行时流程框图。
具体实施方式
[0035]下面结合附图与实施例对本专利技术作进一步说明。
[0036]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0037]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0038]实施例一
[0039]根据图2和图3，本实施例提供了一种知识增强的多服务机器人物体类别识别方法，其包括：
[0040]步骤1：获取机器人运行的场景图片，提取所述场景图片中的视觉信息特征图，得到所述场景图片中目标检测框及其物体类别的初步预测结果，并将所述视觉信息特征图转换成场景信息向量。
[0041]在步骤1中，可采用视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种知识增强的多服务机器人物体类别识别方法，其特征在于，包括：获取机器人运行的场景图片，提取所述场景图片中的视觉信息特征图，得到所述场景图片中目标检测框及其物体类别的初步预测结果，并将所述视觉信息特征图转换成场景信息向量；基于上述物体类别的初步预测结果，选取预先构建的知识图谱中的信任目标标签节点，基于转换的场景信息向量及目标检测框信息组成匹配向量，计算所述匹配向量与以所述信任目标标签节点为起始的边的相似度，根据相似度大小确定出所述场景图片中物体类别的查询预测结果；将所述场景图片中物体类别的查询预测结果与初步预测结果进行融合，得到最终的物体类别识别结果。2.如权利要求1所述的知识增强的多服务机器人物体类别识别方法，其特征在于，计算所述场景图片中物体类别的初步预测结果的分类置信度，保存初步结果的分类置信度高于设定阈值的物体类别目标框，并更新知识图谱。3.如权利要求2所述的知识增强的多服务机器人物体类别识别方法，其特征在于，在更新知识图谱的过程中，更新后的知识图谱中对应有向边的向量值为：第一向量值与第二向量值的加权累加和；所述第一向量值为原知识图谱中对应有向边的向量值，其权重为预设更新速度调节因子；第二向量值为所述场景图片中物体类别的初步预测结果所对应的场景信息向量值，其权重为1与预设更新速度调节因子的差。4.如权利要求1或3所述的知识增强的多服务机器人物体类别识别方法，其特征在于，识别知识图谱由有向边和节点组成，其中节点表示所识别的物体标签值，有向边的起点为确定性高的物体，终点为推测的物体。5.如权利要求1所述的知识增强的多服务机器人物体类别识别方法，其特...

【专利技术属性】
技术研发人员：周风余，陈建业，王国祥，范崇峰，刘进，尹磊，孙正辉，王哲，高鹤，
申请(专利权)人：山东芯辰人工智能科技有限公司山东正晨科技股份有限公司，
类型：发明
国别省市：