物品识别方法、装置、设备及计算机可读存储介质制造方法及图纸

一种物品识别方法、装置、设备及计算机可读存储介质。该方法包括：通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定一组待识别物品中包含的物品的类别、以及该组待识别物品中包含的每一类别的物品的数量信息，每个物品包含与每个物品的类别对应的短距离无线通信标签；对采集的该组待识别物品的图像进行识别，得到该组待识别物品的图像识别结果，图像识别结果包括该组待识别物品中的每个物品的类别识别结果；基于数量信息和图像识别结果，确定该组待识别物品的物品识别结果。结果。结果。

【技术实现步骤摘要】
【国外来华专利技术】物品识别方法、装置、设备及计算机可读存储介质
[0001]相关申请的交叉引用
[0002]本申请要求在2021年9月22日提交新加坡知识产权局、申请号为10202110505W的新加坡专利申请的优先权，其全部内容通过引用结合在本申请中。


[0003]本公开涉及图像处理技术，尤其涉及一种物品识别方法、装置、设备及计算机可读存储介质。

技术介绍

[0004]图像识别已经广泛应用于机器人、自动驾驶等多种领域。短距离无线通信，例如，射频识别技术，主要应用于门禁、智能货架、物联网等领域。无论是图像识别，还是短距离无线通信，对物品进行智能识别的过程中，均存在一定缺陷。

技术实现思路

[0005]本公开实施例提供一种物品识别方法、装置、设备及计算机可读存储介质，能够提高识别结果的准确度和涵盖度。
[0006]本公开实施例的技术方案是这样实现的：
[0007]本公开实施例提供一种物品识别方法，包括：通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定所述一组待识别物品中包含的物品的类别、以及所述一组待识别物品中包含的每一类别的物品的数量信息，其中，所述每个物品包含与每个物品的类别对应的短距离无线通信标签；对采集的所述一组待识别物品的图像进行识别，得到所述一组待识别物品的图像识别结果，所述图像识别结果包括所述一组待识别物品中的每个物品的类别识别结果；基于所述数量信息和所述图像识别结果，确定所述一组待识别物品的物品识别结果。
[0008]上述方法中，所述通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定所述一组待识别物品中包含的物品的类别、以及所述一组待识别物品中包含的每一类别的物品的数量信息，包括：通过预先架设在所述场景区域中的第一通信组件，与所述场景区域中的所述一组待识别物品中的每个待识别物品的第二通信组件进行短距离无线通信，获取每个物品的第二通信组件中存储的物品标识；基于所述物品标识和预先存储的物品标识与物品类别的预设对应关系，确定所述一组待识别物品所包含的物品的类别；以及所述一组待识别物品中包含的每一类别的物品的数量信息。
[0009]上述方法中，所述基于所述数量信息和所述图像识别结果，确定所述一组待识别物品的物品识别结果，包括：基于所述图像识别结果和预设置信阈值，从所述一组待识别物品的所述图像识别结果中，确定待匹配图像识别结果和已匹配图像识别结果；根据所述已匹配图像识别结果，确定每一类别的物品的已匹配物品的数量信息；基于所述已匹配物品的数量信息和所述每一类别的物品的数量信息，确定所述每一类别的待匹配物品的数量信
息；根据所述每一类别的待匹配物品的数量信息和所述待匹配图像识别结果，进行匹配校验，以确定二次识别结果；根据所述已匹配图像识别结果和所述二次识别结果，确定所述物品识别结果。
[0010]上述方法中，所述每个物品的类别识别结果包括：所述每个物品分别属于k个类别中的每个类别的概率；k为大于等于1的整数；所述已匹配图像识别结果包括：所述一组待识别物品中的已匹配物品的类别识别结果，所述已匹配物品包括：k个所述概率中的最大概率大于所述预设置信度阈值的物品；所述待匹配图像识别结果包括：所述一组待识别物品中的待匹配物品的类别识别结果，所述待匹配物品包括：k个所述概率中的最大概率小于等于所述预设置信度阈值的物品。
[0011]上述方法中，所述根据所述每一类别的待匹配物品的数量信息和所述待匹配图像识别结果，进行匹配校验，以确定二次识别结果，包括：构建每一类别的物品元素集合，所述物品元素集合中的物品元素的总数量信息为对应类别的所述待匹配物品的数量信息；根据所述每个物品分别属于所述k个类别中每个类别的概率，确定每个待匹配物品的候选类别；对于每个待匹配物品，构建带权二分图，其中，所述带权二分图以所述待匹配物品为第一节点、以各所述候选类别的物品元素集合中的各物品元素为第二节点，与每一个第二节点对应的候选类别的概率为连接所述第一节点与所述每一个第二节点的边对应的权重，所述每一个第二节点对应的候选类别是所述每一个第二节点代表的物品元素所属的物品元素集合对应的类别；基于所述带权二分图进行最大二分图匹配，得到每个待匹配物品的类别，作为所述二次识别结果。
[0012]上述方法中，所述根据所述每一类别的待匹配物品的数量信息和所述待匹配图像识别结果，进行匹配校验，以确定二次识别结果，还包括：针对每个待匹配物品，在基于所述带权二分图进行最大二分图匹配的结果为所述待匹配物品与各所述物品元素均未匹配成功的情况下，将所述待匹配物品的概率最大的候选类别作为所述待匹配物品的二次识别结果。
[0013]上述方法中，所述根据所述已匹配图像识别结果和所述二次识别结果确定所述物品识别结果，包括：对所述已匹配图像识别结果中的已匹配物品的类别识别结果，以及所述待匹配物品的二次识别结果进行融合，得到所述物品识别结果。
[0014]本公开实施例提供一种物品识别装置，包括：通信单元，用于通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定所述一组待识别物品中包含的物品的类别，以及所述一组待识别物品中包含的每一类别的物品的数量信息，其中，所述每个物品包含与每个物品的类别对应的短距离无线通信标签；识别单元，用于对采集的所述一组待识别物品的图像进行识别，得到所述一组待识别物品的图像识别结果，所述图像识别结果包括所述一组待识别物品中的每个物品的类别识别结果；确定单元，用于基于所述数量信息和所述图像识别结果，确定所述一组待识别物品的物品识别结果。
[0015]上述装置中，所述通信单元，还用于通过预先架设在所述场景区域中的第一通信组件，与所述场景区域中的所述一组待识别物品中的每个待识别物品的第二通信组件进行短距离无线通信，获取每个物品的第二通信组件中存储的物品标识；基于所述物品标识和预先存储的物品标识与物品类别的预设对应关系，确定所述一组待识别物品所包含的物品的类别；以及所述一组待识别物品中包含的每一类别的物品的数量信息。
[0016]上述装置中，所述确定单元，还用于基于所述图像识别结果和预设置信阈值，从所述一组待识别物品的所述图像识别结果中，确定待匹配图像识别结果和已匹配图像识别结果；根据所述已匹配图像识别结果，确定每一类别的物品的已匹配物品的数量信息；基于所述已匹配物品的数量信息和所述每一类别的物品的数量信息，确定所述每一类别的待匹配物品的数量信息；根据所述每一类别的待匹配物品的数量信息和所述待匹配图像识别结果，进行匹配校验，以确定二次识别结果；根据所述已匹配图像识别结果和所述二次识别结果，确定所述物品识别结果。
[0017]上述装置中，所述每个物品的类别识别结果包括：所述每个物品分别属于k个类别中的每个类别的概率；k为大于等于1的整数；所述已匹配图像识别结果包括：所述一组待识别物品中的已匹配物品的类别识别结果，所述已匹配物品包括：k个所述概率中的最大概率大于所述预设置信度阈值的物品；所述待匹配图像识别结果包括：所述一组待识别物品中的待匹配物品的类别识本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种物品识别方法，包括：通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定所述一组待识别物品中包含的物品的类别、以及所述一组待识别物品中包含的每一类别的物品的数量信息，其中，所述每个物品包含与每个物品的类别对应的短距离无线通信标签；对采集的所述一组待识别物品的图像进行识别，得到所述一组待识别物品的图像识别结果，所述图像识别结果包括所述一组待识别物品中的每个物品的类别识别结果；基于所述数量信息和所述图像识别结果，确定所述一组待识别物品的物品识别结果。2.根据权利要求1所述的方法，其中，所述通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定所述一组待识别物品中包含的物品的类别、以及所述一组待识别物品中包含的每一类别的物品的数量信息，包括：通过预先架设在所述场景区域中的第一通信组件，与所述场景区域中的所述一组待识别物品中的每个待识别物品的第二通信组件进行短距离无线通信，获取每个物品的第二通信组件中存储的物品标识；基于所述物品标识和预先存储的物品标识与物品类别的预设对应关系，确定所述一组待识别物品所包含的物品的类别，以及所述一组待识别物品中包含的每一类别的物品的数量信息。3.根据权利要求1或2所述的方法，其中，所述基于所述数量信息和所述图像识别结果，确定所述一组待识别物品的物品识别结果，包括：基于所述图像识别结果和预设置信阈值，从所述一组待识别物品的所述图像识别结果中，确定待匹配图像识别结果和已匹配图像识别结果；根据所述已匹配图像识别结果，确定每一类别的物品的已匹配物品的数量信息；基于所述已匹配物品的数量信息和所述每一类别的物品的数量信息，确定所述每一类别的待匹配物品的数量信息；根据所述每一类别的待匹配物品的数量信息和所述待匹配图像识别结果，进行匹配校验，以确定二次识别结果；根据所述已匹配图像识别结果和所述二次识别结果，确定所述物品识别结果。4.根据权利要求3所述的方法，其中，所述每个物品的类别识别结果包括：所述每个物品分别属于k个类别中的每个类别的概率；k为大于等于1的整数；所述已匹配图像识别结果包括：所述一组待识别物品中的已匹配物品的类别识别结果，所述已匹配物品包括：k个所述概率中的最大概率大于所述预设置信度阈值的物品；所述待匹配图像识别结果包括：所述一组待识别物品中的待匹配物品的类别识别结果，所述待匹配物品包括：k个所述概率中的最大概率小于等于所述预设置信度阈值的物品。5.根据权利要求4所述的方法，其中，所述根据所述每一类别的待匹配物品的数量信息和所述待匹配图像识别结果，进行匹配校验，以确定二次识别结果，包括：构建每一类别的物品元素集合，所述物品元素集合中的物品元素的总数量信息为对应类别的所述待匹配物品的数量信息；根据所述每个物品分别属于k个类别中每个类别的概率，确定每个待匹配物品的候选类别；
对于每个待匹配物品，构建带权二分图，其中，所述带权二分图以所述待匹配物品为第一节点、以各所述候选类别的物品元素集合中的各物品元素为第二节点，与每一个第二节点对应的候选类别的概率为连接所述第一节点与所述每一个第二节点的边对应的权重，所述每一个第二节点对应的候选类别是所述每一个第二节点代表的物品元素所属的物品元素集合对应的类别；基于所述带权二分图进行最大二分图匹配，得到每个待匹配物品的类别，作为所述二次识别结果。6.根据权利要求5所述的方法，其中，所述根据所述每一类别的待匹配物品的数量信息和所述待匹配图像识别结果，进行匹配校验，以确定二次识别结果，还包括：针对每个待匹配物品，在基于所述带权二分图进行最大二分图匹配的结果为所述待匹配物品与各所述物品元素均未匹配成功的情况下，将所述待匹配物品的概率最大的候选类别作为所述待匹配物品的二次识别结果。7.根据权利要求4所述的方法，其中，所述根据所述已匹配图像识别结果和所述二次识别结果确定所述物品识别结果，包括：对所述已匹配图像识别结果中的已匹配物品的类别识别结果，以及所述待匹配物品的二次识别结果进行融合，得到所述物品识别结果。8.一种物品识别装置，包括：通信单元，用于通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定所述一组待识别物品中包含的物品的类别，以及所述一组待识别物品中包含的每一类别的物品的数量信息，其中，所述每个物品包含与每个物品的类别对应的短距离无线通信标签；识别单元，用于对采集的所述一组待识别物品的图像进行识别，得到所述一组待识别物品的图像识别结果，所述图像识别结果包括所述一组待识别物品中的每个物品的类别识别结果；确定单元，用于基于所述数量信息和所述图像识别结果，确定所述一组待识别物品的物品识别结果。9.一种电子设备，其中，包括存储器和处理器，其中，所述存储器用于存储可执行计算机程序；其中，所述处理器在执行所述存储器中存储的可执行计算机程序时配置为：通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定所述一组待识别物品中包含的物品的类别、以及所述一组待识别物品中包含的每一类别的物品的数量信息，其中，所述每个物品包含与每个物品的类别对应的短距离无线通信标签；对采集的所述一组待识别物品的图像进行识别，得到所述一组待识别物品的图像识别结果，所述图像识别结果包括所述一组待识别物品中的每个物品的类别识别结果；基于所述数量信息和所述图像识别结果，确定所述一组待识别物品的物品识别结果。10.根据权利要求9所述的电子设备，其中，在通过与场景区域中的一组待识别物品中每个物品进行短距离无线通信，确定所述一组待识别物品中包含的物品的类别、以及所述一组待识别物品中包含的每一类别的物品的数量信息时，所述处理器配置为：通过预先架设在所述场景区域中的第一通信组件，与所述场景区域中的所述一组待识
别物品中的每个待识别物品的第二通信组件进行短距离无线通信，获取每个物品的第二通信组件中存储的物品标识；基于所述物品标识和预先存储的物品标识与物品类别的预设对应关系，确定所述一组待识别物品所包含的物品的类别，以及所述一组待识别物品中包含的每一类别的物品的数量信息。11.根据权利要求9或10所述的电子设备，其中，在基于所述数量信息和所述图像识别结...

【专利技术属性】
技术研发人员：牛达明，
申请(专利权)人：商汤国际私人有限公司，
类型：发明
国别省市：