物品识别方法及系统、电子设备技术方案

本发明专利技术公开了一种物品识别方法及系统、电子设备。其中，该方法包括：通过图像捕获装置获取物品的多帧图像；对物品的多帧图像进行处理，以获得每帧图像中物品的位置信息和类别信息；通过信息捕获装置获取物品的辅助信息；将位置信息与辅助信息进行多模态融合，获得融合结果；根据类别信息和融合结果，确定物品的识别结果。本发明专利技术解决了相关技术中在识别物品时，识别精度低的技术问题。

【技术实现步骤摘要】
物品识别方法及系统、电子设备
本专利技术涉及信息处理
，具体而言，涉及一种物品识别方法及系统、电子设备。
技术介绍
在相关技术中，智能货柜是新零售行业发展的一个重要方向，在识别物品时，目前主要有两种解决方案，一种是传统的RFID(RadioFrequencyIdentification，无线射频识别)技术方案，另一种是基于视觉识别的静态识别。对于第一种，基于RFID电子标签的解决方案，需要为不同类别的物品制定不同的RFID电子标签，通过无线电信号识别电子标签中的数据以达到物品识别与统计目的，其成本高昂，一方面RFID电子标签的成本高，另一方面推向市场后对成千上万的物品粘贴标签的人力成本太高；而且对金属、液体类物品的识别准确度不足；标签容易被人为撕下，导致货损率较高；而对于第二种，基于视觉识别的静态识别方案，需要在货柜的每层顶部安装相机，开门前和关门后各拍摄一张图像，然后通过视觉识别技术自动识别物品种类和数量，最后通过对比得出最后的结果，空间利用率低，因为相机要距离下层隔板要有较高的高度，否则难以拍到全貌，识别精度容易受到物品遮挡影响，物品本文档来自技高网...

【技术保护点】
1.一种物品识别方法，其特征在于，包括：/n通过图像捕获装置获取物品的多帧图像；/n对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息；/n通过信息捕获装置获取所述物品的辅助信息；/n将所述位置信息与所述辅助信息进行多模态融合，获得融合结果；/n根据所述类别信息和所述融合结果，确定所述物品的识别结果。/n

【技术特征摘要】
1.一种物品识别方法，其特征在于，包括：
通过图像捕获装置获取物品的多帧图像；
对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息；
通过信息捕获装置获取所述物品的辅助信息；
将所述位置信息与所述辅助信息进行多模态融合，获得融合结果；
根据所述类别信息和所述融合结果，确定所述物品的识别结果。


2.根据权利要求1所述的方法，其特征在于，对所述物品的多帧图像进行处理，以获得每帧图像中所述物品的位置信息和类别信息包括：
对所述物品的每帧图像进行图像预处理；
确定进行图像预处理后的每帧图像中的物品检测框和所述类别信息，其中，在所述物品检测框中包括至少一种物品；
根据所述物品检测框确定所述物品的位置信息。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对所述物品检测框进行非极大值抑制。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过图像捕获装置获取目标部位的多帧图像；
对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果。


5.根据权利要求4所述的方法，其特征在于，根据所述每帧图像中所述目标部位的位置信息和判别结果、所述物品的所述类别信息和所述融合结果，确定所述物品的识别结果。


6.根据权利要求4所述的方法，其特征在于，对所述目标部位的多帧图像进行处理，以获得每帧图像中所述目标部位的位置信息和判别结果包括：
对所述目标部位的每帧图像进行图像预处理，以增强用户的目标部位的图像轮廓；
选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域；
提取所述部位候选区域中的特征信息，得到多个部位特征；
通过预先训练的分类器识别所述多个部位特征，以得到每帧图像中所述目标部位的位置信息及判别结果。


7.根据权利要求6所述的方法，其特征在于，选取进行图像预处理后的每帧图像中出现用户的目标部位的部位候选区域，包括：
通过子窗口扫描每帧图像，以确定每帧图像中可能出现用户的目标部位的部位候选区域。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述物品进行细粒度分类。


9.根据权利要求1所述的方法，其特征在于，所述信息捕获装置包括下述至少之一：深度相机、读卡器、重力装置、气味传感器。


10.根据权利要求9所述的方法，其特征在于，在所述信息捕获装置为所述深度相机时，通过所述深度相机获取所述物品的深度图像，所述物品的辅助信息包括深度信息。


11.根据权利要求10所述的方法，其特征在于，将所述位置信息与所述辅助信息进行多模态融合，获得融合结果包括：
获取所述图像捕获装置和所述深度相机的镜头参数和位置参数；
根据所述深度相机的镜头参数、所述深度信息和所述物品在所述深度图像中的位置，获得所述物品在所述深度相机坐标系中的位置；
根据所述图像捕获装置和所述深度的位置参数，以所述深度相机的坐标系为基准，标定出所述图像捕获装置相对于所述深度相机的相对位置关系；
基于所述镜头参数、所述物品在所述深度图像中的位置、所述深度信息和所述相对位置关系，确定所述物品在所述深度图像中的位置对应到所述物品在所述图像捕获装置获取的图像中的映射位置信息；
将所述位置信息和所述映射位置信息进行比对，获得所述融合结果。


12.根据权利要求1所述的方法，其特征在于，通过图像捕获装置获取物品的多帧图像包括：
开启所述图像捕获装置以获取所述物品的视频；
从所述视频中截取所述物品的多帧图像。


13.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：邹文财，欧阳高，岳泊暄，王进，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：浙江;33