物品识别方法及系统、电子设备技术方案

本发明专利技术公开了一种物品识别方法及系统、电子设备。其中，该方法包括：通过图像捕获装置获取物品的多帧图像；对物品的多帧图像进行处理，以获得每帧图像中物品的位置信息和类别信息；通过信息捕获装置获取物品的辅助信息；将位置信息与辅助信息进行多模态融合，获得融合结果；根据类别信息和融合结果，确定物品的识别结果。本发明专利技术解决了相关技术中在识别物品时，识别精度低的技术问题。

【技术实现步骤摘要】
物品识别方法及系统、电子设备
本专利技术涉及信息处理
，具体而言，涉及一种物品识别方法及系统、电子设备。
技术介绍
在相关技术中，智能货柜是新零售行业发展的一个重要方向，在识别物品时，目前主要有两种解决方案，一种是传统的RFID(RadioFrequencyIdentification，无线射频识别)技术方案，另一种是基于视觉识别的静态识别。对于第一种，基于RFID电子标签的解决方案，需要为不同类别的物品制定不同的RFID电子标签，通过无线电信号识别电子标签中的数据以达到物品识别与统计目的，其成本高昂，一方面RFID电子标签的成本高，另一方面推向市场后对成千上万的物品粘贴标签的人力成本太高；而且对金属、液体类物品的识别准确度不足；标签容易被人为撕下，导致货损率较高；而对于第二种，基于视觉识别的静态识别方案，需要在货柜的每层顶部安装相机，开门前和关门后各拍摄一张图像，然后通过视觉识别技术自动识别物品种类和数量，最后通过对比得出最后的结果，空间利用率低，因为相机要距离下层隔板要有较高的高度，否则难以拍到全貌，识别精度容易受到物品遮挡影响，物品不能堆叠摆放。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种物品识别方法及系统、电子设备，以至少解决相关技术中在识别物品时，识别精度低的技术问题。根据本专利技术实施例的一个方面，提供了一种物品识别方法，包括：通过图像捕获装置获取物品的多帧图像；对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息；通过信息捕获装置获取所述物品的辅助信息；将所述位置信息与所述辅助信息进行多模态融合，获得融合结果；根据所述类别信息和所述融合结果，确定所述物品的识别结果。进一步地，对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息包括：对所述物品的每帧图像进行图像预处理；确定进行图像预处理后的每帧图像中的物品检测框和所述类别信息，其中，在所述物品检测框中包括至少一种物品；根据所述物品检测框确定所述物品的位置信息。进一步地，所述方法还包括：对所述物品检测框进行非极大值抑制。进一步地，所述方法还包括：通过图像捕获装置获取目标部位的多帧图像；对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果。进一步地，根据所述每帧图像中所述目标部位的位置信息和判别结果、所述物品的所述类别信息和所述融合结果，确定所述物品的识别结果。进一步地，对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果包括：对所述目标部位的每帧图像进行图像预处理，以增强用户的目标部位的图像轮廓；选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域；提取所述部位候选区域中的特征信息，得到多个部位特征；通过预先训练的分类器识别所述多个部位特征，以得到每帧图像中所述目标部位的位置信息及判别结果。进一步地，选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域，包括：通过子窗口扫描每帧图像，以确定每帧图像中可能出现用户的目标部位的部位候选区域。进一步地，所述方法还包括：对所述物品进行细粒度分类。进一步地，所述信息捕获装置包括下述至少之一：深度相机、读卡器、重力装置、气味传感器。进一步地，在所述信息捕获装置为所述深度相机时，通过所述深度相机获取所述物品的深度图像，所述物品的辅助信息包括深度信息。进一步地，将所述位置信息与所述辅助信息进行多模态融合，获得融合结果包括：获取所述图像捕获装置和所述深度相机的镜头参数和位置参数；根据所述深度相机的镜头参数、所述深度信息和所述物品在所述深度图像中的位置，获得所述物品在所述深度相机坐标系中的位置；根据所述图像捕获装置和所述深度的位置参数，以所述深度相机的坐标系为基准，标定出所述图像捕获装置相对于所述深度相机的相对位置关系；基于所述镜头参数、所述物品在所述深度图像中的位置、所述深度信息和所述相对位置关系，确定所述物品在所述深度图像中的位置对应到所述物品在所述图像捕获装置获取的图像中的映射位置信息；将所述位置信息和所述映射位置信息进行比对，获得所述融合结果。进一步地，通过图像捕获装置获取物品的多帧图像包括：开启所述图像捕获装置以获取所述物品的视频；从所述视频中截取所述物品的多帧图像。进一步地，所述方法还包括：根据所述融合结果，确定物品的跟踪轨迹；对所述跟踪轨迹进行分类，得到轨迹分类结果，其中，所述轨迹分类结果对应于物品的移动结果；根据所述轨迹分类结果，确定物品拿取结果和物品放回结果；根据物品拿取结果和物品放回结果，更新物品管理列表。进一步地，根据所述融合结果，确定物品的跟踪轨迹包括：根据所述融合结果，获得所述物品的位置信息和所述物品的移动趋势；根据所述物品当前的检测框与预测的候选框之间的重合相似度和特征相似度，判断当前检测结果与上一帧检测结果的匹配度，得到物品的跟踪轨迹，其中，所述预测的候选框在上一帧所述物品的位置信息基础上根据所述物品的移动趋势获得，所述跟踪轨迹包括：在每个时间节点上物品的位置、物品种类、物品移动的时间戳。进一步地，对所述跟踪轨迹进行分类，得到轨迹分类结果的步骤，包括：从所述跟踪轨迹中提取物品移动长度；结合预先训练的分类决策树模型和所述物品移动长度，对对所述跟踪轨迹进行分类，得到轨迹分类结果。进一步地，根据所述轨迹分类结果，确定物品拿取结果或物品放回结果的步骤，包括：获取所述图像捕获装置、或者所述图像捕获装置与所述信息捕获装置结合在同一时刻的轨迹分类结果；根据所述图像捕获装置、或者所述图像捕获装置和所述信息捕获装置结合在同一时刻的轨迹分类结果，建立基于分类规则库的分类判别方案；依据所述分类判别方案和所述轨迹分类结果，确定物品拿取结果或物品放回结果。进一步地，所述方法还包括：获取物品价格表，其中，所述物品价格表中包含每种物品的价格；依据物品拿取结果和物品放回结果，确定被拿取的物品和物品数量；根据被拿取的物品和物品数量，以及每种物品的价格，确定物品结算总价。进一步地，所述方法应用于新零售场景，所述新零售场景至少包括：无人售货商店、智能货柜。根据本专利技术实施例的另一方面，还提供了一种物品识别系统，所包括：图像捕获装置，用于获取物品的多帧图像；信息捕获装置，用于获取所述物品的辅助信息；服务器，用于对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息，并将所述位置信息与所述辅助信息进行多模态融合，获得融合结果，再根据所述类别信息和所述融合结果，确定所述物品的识别结果。进一步地，所述图像捕获装置还用于获取目标部位的多帧图像。进一步地，所述服务器，还用于对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果，并根据所述每帧图像中所述目标部位的位置信息和判别结果、所述类别信息和所述融合结果，确定所述物品的识别结果。进一步地，还包括：物品存储装置，所述图像本文档来自技高网...

【技术保护点】
1.一种物品识别方法，其特征在于，包括：/n通过图像捕获装置获取物品的多帧图像；/n对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息；/n通过信息捕获装置获取所述物品的辅助信息；/n将所述位置信息与所述辅助信息进行多模态融合，获得融合结果；/n根据所述类别信息和所述融合结果，确定所述物品的识别结果。/n

【技术特征摘要】
1.一种物品识别方法，其特征在于，包括：
通过图像捕获装置获取物品的多帧图像；
对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息；
通过信息捕获装置获取所述物品的辅助信息；
将所述位置信息与所述辅助信息进行多模态融合，获得融合结果；
根据所述类别信息和所述融合结果，确定所述物品的识别结果。


2.根据权利要求1所述的方法，其特征在于，对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息包括：
对所述物品的每帧图像进行图像预处理；
确定进行图像预处理后的每帧图像中的物品检测框和所述类别信息，其中，在所述物品检测框中包括至少一种物品；
根据所述物品检测框确定所述物品的位置信息。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对所述物品检测框进行非极大值抑制。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过图像捕获装置获取目标部位的多帧图像；
对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果。


5.根据权利要求4所述的方法，其特征在于，根据所述每帧图像中所述目标部位的位置信息和判别结果、所述物品的所述类别信息和所述融合结果，确定所述物品的识别结果。


6.根据权利要求4所述的方法，其特征在于，对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果包括：
对所述目标部位的每帧图像进行图像预处理，以增强用户的目标部位的图像轮廓；
选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域；
提取所述部位候选区域中的特征信息，得到多个部位特征；
通过预先训练的分类器识别所述多个部位特征，以得到每帧图像中所述目标部位的位置信息及判别结果。


7.根据权利要求6所述的方法，其特征在于，选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域，包括：
通过子窗口扫描每帧图像，以确定每帧图像中可能出现用户的目标部位的部位候选区域。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述物品进行细粒度分类。


9.根据权利要求1所述的方法，其特征在于，所述信息捕获装置包括下述至少之一：深度相机、读卡器、重力装置、气味传感器。


10.根据权利要求9所述的方法，其特征在于，在所述信息捕获装置为所述深度相机时，通过所述深度相机获取所述物品的深度图像，所述物品的辅助信息包括深度信息。


11.根据权利要求10所述的方法，其特征在于，将所述位置信息与所述辅助信息进行多模态融合，获得融合结果包括：
获取所述图像捕获装置和所述深度相机的镜头参数和位置参数；
根据所述深度相机的镜头参数、所述深度信息和所述物品在所述深度图像中的位置，获得所述物品在所述深度相机坐标系中的位置；
根据所述图像捕获装置和所述深度的位置参数，以所述深度相机的坐标系为基准，标定出所述图像捕获装置相对于所述深度相机的相对位置关系；
基于所述镜头参数、所述物品在所述深度图像中的位置、所述深度信息和所述相对位置关系，确定所述物品在所述深度图像中的位置对应到所述物品在所述图像捕获装置获取的图像中的映射位置信息；
将所述位置信息和所述映射位置信息进行比对，获得所述融合结果。


12.根据权利要求1所述的方法，其特征在于，通过图像捕获装置获取物品的多帧图像包括：
开启所述图像捕获装置以获取所述物品的视频；
从所述视频中截取所述物品的多帧图像。


13.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：邹文财，欧阳高，岳泊暄，王进，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：浙江;33