【技术实现步骤摘要】
手持物体识别方法及装置
本申请涉及物体识别领域，尤其涉及一种手持物体识别方法及装置。
技术介绍
近几年，随着深度学习、认知计算等人工智能技术的发展及在诸多领域的应用，人工智能逐渐使我们的工作生活变得更加智能化。智能机器人领域在人工智能大发展的浪潮中也实现了质的飞跃，其逐渐被应用于教育、安防、医疗和服务业等各个行业，并且越来越智能化地影响工业和服务业的发展，也潜移默化地提升了大众的生活水平。对于服务型智能机器人而言，其在操作运行过程中，离不开视觉功能的支持。智能机器人在人机交互过程中，各种各样的物体扮演着非常重要的角色，智能机器人往往需要通过检测场景中相关的物体来增强对场景的理解，进而实现辅助机器人即时定位和地图构建(simultaneouslocalizationandmapping，SLAM)、导航、运动控制，智能教育等功能。而一个完整的学习到应用的过程需要在交互的环境下进行。随着自然语言处理与理解技术的发展，机器人可以在与人的语音交互中解析语言，从而获取物体的概念以及属性等相关信息。在智能机器人学习了不同种类的物...
【技术保护点】
1.一种手持物体识别方法，其特征在于，包括：/n获取待识别图像中一个或多个检测对象中每个检测对象的位置信息，并获取所述每个检测对象的第一标签，所述每个检测对象的位置信息为该检测对象在所述待识别图像中的位置信息，所述检测对象的第一标签用于指示所述检测对象的类型，所述检测对象的类型用于表征所述检测对象的手持关系；/n根据所述每个检测对象的第一标签从所述一个或多个检测对象中获取所述手持物体，并从所述一个或多个检测对象的位置信息获取所述手持物体的位置信息；/n根据所述手持物体的位置信息对所述待识别图像中所述手持物体进行识别，以得到所述手持物体的识别结果。/n
【技术特征摘要】
1.一种手持物体识别方法，其特征在于，包括：
获取待识别图像中一个或多个检测对象中每个检测对象的位置信息，并获取所述每个检测对象的第一标签，所述每个检测对象的位置信息为该检测对象在所述待识别图像中的位置信息，所述检测对象的第一标签用于指示所述检测对象的类型，所述检测对象的类型用于表征所述检测对象的手持关系；
根据所述每个检测对象的第一标签从所述一个或多个检测对象中获取所述手持物体，并从所述一个或多个检测对象的位置信息获取所述手持物体的位置信息；
根据所述手持物体的位置信息对所述待识别图像中所述手持物体进行识别，以得到所述手持物体的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述第一标签包括子类标签，所述子类标签用于指示所述检测对象的第一类型，所述获取所述每个检测对象的第一标签，包括：
在获取所述待识别图像的第一特征向量后，对所述待识别图像的第一特征向量进行第一卷积操作，以得到所述待识别图像的第二特征向量；
对所述待识别图像的第二特征向量进行第一全连接操作，以得到所述每个检测对象的第一标签，其中，所述第一类型包括手持状态下的物体和非手持状态下的物体。
3.根据权利要求2所述的方法，其特征在于，所述第一类型还包括持有物体的手和未持有物体的手。
4.根据权利要求3所述的方法，其特征在于，所述第一标签还包括超类标签，所述超类标签用于指示所述检测对象的第二类型，所述第一类型为所述第二类型的子类，所述获取所述每个检测对象的第一标签还包括：
在获取所述待识别图像的第一特征向量后，对所述第一特征向量进行第二卷积操作，以得到所述待识别图像的第三特征向量；
将所述第二特征向量和所述第三特征向量进行融合操作，以得到所述待识别图像的第四特征向量；
对所述第四特征向量进行第三卷积操作，以得到所述待识别图像的第五特征向量；
对所述第五特征向量进行第二全连接操作，以得到所述每个检测对象的超类标签；其中，第二类型包括手和物体。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取所述待识别图像中一个或多个检测对象中每个检测对象的位置信息，包括：
在获取待识别图像的第一特征向量后，根据所述待识别图像的第一特征向量对所述待识别图像中一个或多个检测对象进行边框回归操作，以得到所述一个或多个检测对象中每个检测对象的位置信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述手持物体的位置信息对所述待识别图像中所述手持物体进行识别，以得到所述手持物体的识别结果，包括：
根据所述手持物体的位置信息从所述待识别图像中裁剪出包含所述手持物体的图像块，所述图像块为所述待识别图像的一部分；
对所述图像块中的所述手持物体进行特征提取，以得到所述手持物体的第一特征向量；
根据所述手持物体的第一特征向量确定所述手持物体的参考标签及第一置信度，所述第一置信度为所述手持物体的标签为所述参考标签的概率；
根据所述手持物体的参考标签和第一置信度获取所述手持物体的识别结果。
7.根据权利要求6所述的方法，其特征在于，所述识别结果包括所述手持物体的标签或者第二标签，所述第二标签用于指示未识别所述手持物体，增量特征库中包括S个特征向量及与S个特征向量中每个特征向量对应的标签，所述S为大于或者等于0的整数，所述根据所述手持物体的参考标签和第一置信度获取所述手持物体的识别结果，包括：
当所述第一置信度高于预设置信度时，将所述手持物体的参考标签确定为所述手持物体的标签；
当所述第一置信度不高于所述预设置信度时，根据所述手持物体的第一特征向量和所述S个特征向量获取S个第二置信度，所述S个第二置信度与所述S个特征向量一一对应，所述S个特征向量中第j个特征向量所对应的第二置信度用于表征所述手持物体的标签为所述第j个特征向量对应的标签的概率；
若所述S个第二置信度均低于所述预设置信度，则将所述第二标签确定为所述手持物体的标签；若S个第二置信度中存在高于所述预设置信度的置信度，则将目标特征向量对应的标签确定为所述手持物体的标签，所述目标特征向量为所述高于所述预设置信度中的最高置信度对应的特征向量。
8.根据权利要求7所述的方法，其特征在于，所述S个特征向量中每个特征向量包括k个子特征向量，所述根据所述手持物体的第一特征向量和所述S个特征向量获取S个第二置信度，包括：
对于所述S个特征向量中的任一特征向量A，根据所述手持物体的第一特征向量和所述特征向量A的k个子特征向量计算得到k个第三置信度；所述第三置信度用于表征所述手持物体的标签为所述特征向量A对应的标签的概率；
根据所述k个第三置信度计算得到所述特征向量A对应的第二置信度。
9.根据权利要求7或8所述的方法，其特征在于，所述根据所述手持物体的第一特征向量确定所述手持物体的识别结果后，所述方法还包括：
向用户展示所述手持物体的识别结果。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
接收所述用户的第一信息，所述第一信息包括所述手持物体的第三标签；
将所述手持物体的第三标签和所述手持物体的第一特征向量保存至所述增量识别库中。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：
接收所述用户的第二信息，所述第二信息用于指示所述用户翻转所述手持物体，且所述第二信息包括所述手持物体的第三标签；
获取所述手持物体的多帧第一图像，所述多帧第一图像为所述手持物体不同角度的图像；
根据所述多帧第一图像获取所述手持物体的多个第三特征向量；所述多个第三特征向量与所述多帧第一图像一一对应；
根据聚类算法对所述多个第三特征向量进行聚类，以得到k个子特征向量；
将所述手持物体的第三标签和第二特征向量保存至所述增量识别库中，其中，所述第二特征向量是根据k个子特征向量得到的，或者所述第二特征向量包括所述k个子特征向量。
12.一种手持物体识别方法，其特征在于，包括：
获取待识别图像中一个或多个检测对象中每个检测对象的位置信息，并获取所述每个检测对象的第一标签，所述每个检测对象的位置信息为该检测对象在所述待识别图像中的位置信息，所述检测对象的第一标签用于指示所述检测对象的类型，所述检测对象的类型用于表征所述检测对象的手持关系；
根据所述每个检测对象的第一标签从所述一个或多个检测对象中获取所述手持物体，并从所述一个或多个检测对象的位置信息获取所述手持物体的位置信息；
根据所述手持物体的位置信息从所述待识别图像中裁剪出包含所述手持物体的图像块，所述图像块为所述待识别图像的一部分；
向物体识别服务器发送物体识别请求，所述物体识别请求携带有所述图像块；
接收所述物体识别服务器的响应消息，所述响应消息携带有所述手持物体的识别结果。
13.根据权利要求12所述的方法，其特征在于，所述第一标签包括子类标签，所述子类标签用于指示所述检测对象的第一类型，所述获取所述每个检测对象的第一标签，包括：
在获取所述待识别图像的第一特征向量后，对所述待识别图像的第一特征向量进行第一卷积操作，以得到所述待识别图像的第二特征向量；
对所述待识别图像的第二特征向量进行第一全连接操作，以得到所述每个检测对象的第一标签，其中，所述第一类型包括手持状态下的物体和非手持状态下的物体。
14.根据权利要求13所述的方法，其特征在于，所述第一类型还包括持有物体的手和未持有物体的手。
15.根据权利要求14所述的方法，其特征在于，所述第一标签还包括超类标签，所述超类标签用于指示所述检测对象的第二类型，所述第一类型为所述第二类型的子类，所述获取所述每个检测对象的第一标签，还包括：
在获取所述待识别图像的第一特征向量后，对所述第一特征向量进行第二卷积操作，以得到所述待识别图像的第三特征向量；
将所述第二特征向量和所述第三特征向量进行融合操作，以得到所述待识别图像的第四特征向量；
对所述第四特征向量进行第三卷积操作，以得到所述待识别图像的第五特征向量；
对所述第五特征向量进行第二全连接操作，以得到所述每个检测对象的超类标签；其中，第二类型包括手和物体。
16.根据权利要求12-15任一项所述的方法，其特征在于，所述获取所述待识别图像中一个或多个检测对象中每个检测对象的位置信息，包括：
在获取所述待识别图像的第一特征向量后，根据所述待识别图像的第一特征向量对所述待识别图像中一个或多个检测对象进行边框回归操作，以得到所述一个或多个检测对象中每个检测对象的位置信息。
17.根据权利要求12-16任一项所述的方法，其特征在于，所述接收所述物体识别服务器的响应消息之后，所述方法还包括：
向用户展示所述手持物体的识别结果。
18.根据权利要求17所述的方法，其特征在于，所述方法还包括：
接收所述用户的第一信息，所述第一信息包括所述手持物体的第三标签；
向所述物体识别服务器发送第一消息，所述第一消息携带有所述手持物体的第三标签，所述第一消息用于指示所述物体识别服务器将所述手持物体的第三标签和所述手持物体的第一特征向量保存至所述增量识别库中。
19.根据权利要求17所述的方法，其特征在于，所述方法还包括：
接收所述用户的第二信息，所述第二信息用于指示所述用户翻转所述手持物体，且所述第二信息包括所述手持物体的第三标签；
获取所述手持物体的多帧第一图像，所述多帧第一图像为所述手持物体不同角度的图像；
向所述物体识别服务器发送第二消息，所述第二消息携带有所述手持物体的第三标签和所述多帧第一图像，所述第二消息用于指示所述物体识别服务器根据所述多帧第一图像获取所述手持物体的第二特征向量，并将所述手持物体的第三标签和所述手持物体的第二特征向量保存至所述增量识别库中。
20.一种手持物体识别方法，其特征在于，包括：
接收手持物体识别装置发送的物体识别请求，所述物体识别请求携带有包括手持物体的图像块；
对所述图像块中的所述手持物体进行特征提取，以得到所述手持物体的第一特征向量；
根据所述手持物体的第一特征向量确定所述手持物体的参考标签及第一置信度，所述第一置信度为所述手持物体的标签为所述参考标签的概率；
根据所述手持物体的参考标签和第一置信度获取所述手持物体的识别结果；
向所述手持物体识别装置发送用于响应所述物体识别请求的响应消息，所述响应消息携带有所述手持物体的识别结果。
21.根据权利要求20所述的方法，其特征在于，所述识别结果包括所述手持物体的标签或者第二标签，所述第二标签用于指示未识别所述手持物体，增量特征库中包括S个特征向量及与S个特征向量中每个特征向量对应的标签，所述S为大于或者等于0的整数，所述根据所述手持物体的参考标签和第一置信度获取所述手持物体的识别结果，包括：
当所述第一置信度高于预设置信度时，将所述手持物体的参考标签确定为所述手持物体的标签；
当所述第一置信度不高于所述预设置信度时，根据所述手持物体的第一特征向量和所述S个特征向量获取S个第二置信度，所述S个第二置信度与所述S个特征向量一一对应，所述S个特征向量中第j个特征向量所对应的第二置信度用于表征所述手持物体的标签为所述第j个特征向量对应的标签的概率；
若所述S个第二置信度均低于所述预设置信度，则将所述第二标签确定为所述手持物体的标签；若S个第二置信度中存在高于所述预设置信度的置信度，则将目标特征向量对应的标签确定为所述手持物体的标签，所述目标特征向量为所述高于所述预设置信度中的最高置信度对应的特征向量。
22.根据权利要求21所述的方法，其特征在于，所述S个特征向量中每个特征向量包括k个子特征向量，所述根据所述手持物体的第一特征向量和所述S个特征向量获取S个第二置信度，包括：
对于所述S个特征向量中的任一特征向量A，根据所述手持物体的第一特征向量和所述特征向量A的k个子特征向量计算得到k个第三置信度；所述第三置信度用于表征所述手持物体的标签为所述特征向量A对应的标签的概率；
根据所述k个第三置信度计算得到所述特征向量A对应的第二置信度。
23.根据权利要求20-22任一项所述的方法，其特征在于，所述方法还包括：
接收所述手持物体识别装置发送的第一消息，所述第一消息携带有所述手持物体的第三标签，
将所述手持物体的第三标签和所述手持物体的第一特征向量保存至所述增量识别库中。
24.根据权利要求20-22任一项所述的方法，其特征在于，所述方法还包括：
接收所述手持物体识别装置发送的第二消息，所述第二消息携带有所述手持物体的第三标签和多帧第一图像，所述多帧第一图像为所述手持物体不同角度的图像，
根据所述多帧第一图像获取所述手持物体的多个第三特征向量；所述多个第三特征向量与所述多帧第一图像一一对应；
根据聚类算法对所述多个第三特征向量进行聚类，以得到k个子特征向量；
将所述手持物体的第三标签和第二特征向量保存至所述增量识别库中，其中，所述第二特征向量是根据k个子特征向量得到的，或者所述第二特征向量包括所述k个子特征向量。
25.一种手持物体识别装置，其特征在于，包括：
获取单元，用于获取待识别图像中一个或多个检测对象中每个检测对象的位置信息，并获取所述每个检测对象的第一标签，所述每个检测对象的位置信息为该检测对象在所述待识别图像中的位置信息，所述检测对象的第一标签用于指示所述检测对象的类型，所述检测对象的类型用于表征所述检测对象的手持关系；
所述获取单元，还用于根据所述每个检测对象的第一标签从所述一个或多个检测对象中获取所述手持物体，并从所述一个或多个检测对象的位置信息获取所述手持物体的位置信息；
识别单元，用于根据所述手持物体的位置信息对所述待识别图像中所述手持物体进行识别，以得到所述手持物体的识别结果。
26.根据权利要求25所述的装置，其特征在于，所述第一标签包括子类标签，所述子类标签用于指示所述检测对象的第一类型，在所述获取所述每个检测对象的第一标签的方面，所述获取单元具体用于：
在获取所述待识别图像的第一特征向量后，对所述待识别图像的第一特征向量进行第一卷积操作...
【专利技术属性】
技术研发人员：郝磊，岳俊，许松岑，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。