一种货柜场景下基于多层级分类的商品动态视觉识别方法技术

本发明专利技术提供了一种货柜场景下基于多层级分类的商品动态视觉识别方法，包括：S1、根据货柜中的商品的特性，对每件商品设置多层级标签；S2、获取商品的跟踪视频，对视频进行预处理；S3、使用目标检测网络对每一帧图像进行物体检测，定位商品出现的位置，并对商品进行第一级标签的分类；S4、结合光流检测和逻辑推理，对商品进行轨迹跟踪，获得商品的轨迹；S5、使用残差分类网络对商品进行第二级标签及以下的细粒度分类；S6、使用投票策略得到每条商品轨迹的最后一级标签，最终得到商品在货柜中的进出记录。本发明专利技术能够更有效地提取视觉识别信息，从而实现对货柜商品精准及高效的识别。从而实现对货柜商品精准及高效的识别。从而实现对货柜商品精准及高效的识别。

【技术实现步骤摘要】
一种货柜场景下基于多层级分类的商品动态视觉识别方法


[0001]本专利技术涉及深度学习算法领域，具体涉及一种货柜场景下基于多层级分类的商品动态视觉识别方法。

技术介绍

[0002]在无人零售场景下，如何更好地识别商品信息，从而实现交易自动化，一直是一个受到广泛关注的课题。
[0003]现阶段货柜场景下的商品识别方法主要有：RFID识别技术、重力监测感应算法、静态商品识别算法和动态识别算法。
[0004]RFID识别技术具体指为每个商品贴上标签，通过与硬件设施之间进行无线数据传输，利用输入的无线标签信息从而实现商品识别。重力监测感应算法的输入主要是重量变化以及商品的位置信息，通过对这些信息和记录的重力信息等匹配来对商品的品类进行推导。静态商品识别算法依托于神经网络，通过对输入图像的检测识别获取图像区域内商品数目的变化信息，从而推理得到用户购物清单。
[0005]然而，现有的商品识别技术容易受到商品的品类、商品的位置信息等等干扰，从而导致其在实际场景下有一定的局限性。具体来说，RFID技术不适合金属包装商品，这就导致其对于大多数主流的商品不能进行有效的识别，同时，为商品添加RFID标志需要消耗大量人力成本，比起对数据集的标注需要更大的精力。而对于重力检测技术，由于重力相似的情况十分常见，仅使用重力信息的变化作为特征不足够挖掘出在实际场景中丰富的商品信息。
[0006]静态视觉识别算法不能获取丰富的视频信息，无法对商品进行高效的跟踪，在实际应用场景下可能出现错检，漏检等问题。
[0007]而目前存在的动态视觉识别算法一般是使用跟踪基于检测的策略，但是由于存在海量商品类别的实际情况，这些算法在分类这个核心问题上表现不佳，容易导致最后结果出错。

技术实现思路

[0008]本专利技术的目的在于，针对现有技术中存在的缺陷，提供一种货柜场景下基于多层级分类的商品动态视觉识别方法，更有效地提取视觉识别信息，从而实现对货柜商品精准及高效的识别。
[0009]为实现上述目的，本专利技术采用以下技术方案：
[0010]一种货柜场景下基于多层级分类的商品动态视觉识别方法，包括：
[0011]S1、根据货柜中的商品的特性，对每件商品设置多层级标签；通过所述多层级标签对商品进行由粗到细的分类；所述多层级标签包括至少三级，其中第一级标签根据商品的包装形态划分，第二级标签根据商品的体积大小划分，第三级标签及以下根据更细粒度的特征划分，直至最后一级标签为商品的具体信息；
[0012]S2、获取商品的跟踪视频，对视频进行预处理：对视频进行抽帧后，使用分割算法对每一帧图像进行分割，剔除无效区域；
[0013]S3、使用目标检测网络对每一帧图像进行物体检测，定位商品出现的位置，并对商品进行第一级标签的分类；
[0014]S4、结合光流检测和逻辑推理，对商品进行轨迹跟踪，获得商品的轨迹；
[0015]S5、使用残差分类网络对商品进行第二级标签及以下的细粒度分类；
[0016]S6、使用投票策略得到每条商品轨迹的最后一级标签，最终得到商品在货柜中的进出记录。
[0017]进一步地，所述多层级标签包括三级，其中第一级标签根据商品的包装形态划分，第二级标签根据商品的体积大小划分，第三级标签为商品的具体信息。
[0018]进一步地，所述S3中，目标检测网络完成物体检测后在每一帧图像上标示检测框；
[0019]所述S4具体包括：基于逻辑对每一帧图像出现的商品进行跟踪；遍历每一帧图像，利用光流信息预测商品的移动轨迹，得到预测轨迹后通过IOU计算将候选的检测框匹配到对应的轨迹上。
[0020]进一步地，在S5中，所述残差分类网络中具有与第一级标签数量相同且对应的分类器；残差分类网络根据输入样本的第一级标签，使用对应的分类器进行第二级标签及以下的细粒度分类。
[0021]进一步地，所述残差分类网络的训练策略为共享骨干网络策略：残差分类网络中的每个分类器共享骨干网络，不同一级标签的训练样本迭代输入网络进行分类。
[0022]进一步地，所述残差分类网络的训练策略为多层级分类策略：每个层级的标签共同训练，然后各个层级损失加权在一起。
[0023]进一步地，所述残差分类网络的训练策略为类别不平衡处理策略。
[0024]本专利技术提供的一种货柜场景下基于多层级分类的商品动态视觉识别方法，能够更有效地提取视觉识别信息，从而实现对货柜商品精准及高效的识别。本专利技术对商品进行多层级分类，然后在物体检测时仅同时进行第一层级标签的粗粒度分类，其余的细粒度分类通过残差分类网络实现；通过以上方式，本专利技术能够更加精准、高效地完成对视频图像中商品的检测和计数任务，从而实现无人货柜场景的交易自动化。
附图说明
[0025]图1是本专利技术提供的一种货柜场景下基于多层级分类的商品动态视觉识别方法的流程图。
[0026]图2是本专利技术中的多层级标签的架构示意图。
具体实施方式
[0027]下面将结合附图和具体的实施例对本专利技术的技术方案进行详细说明。
[0028]如图1所示，本专利技术提供的一种货柜场景下基于多层级分类的商品动态视觉识别方法，包括：
[0029]S1、根据货柜中的商品的特性，对每件商品设置多层级标签；通过所述多层级标签对商品进行由粗到细的分类；所述多层级标签包括至少三级，其中第一级标签根据商品的
包装形态划分，第二级标签根据商品的体积大小划分，第三级标签及以下根据更细粒度的特征划分，直至最后一级标签为商品的具体信息；
[0030]具体地，如图2所示，在本实施例中，所述多层级标签包括三级，其中第一级标签根据商品的包装形态划分，例如将第一级标签划分为瓶装商品、罐装商品、盒装商品以及无规则形态零食商品等4种。第二级标签根据商品的体积大小划分，例如可以将第一级标签为瓶装商品的第二级标签划分为中支装和小支装2种。第三级标签则为商品的具体信息，例如具体的某品牌饮料的某种口味。通过多层级标签对商品进行由粗粒度到细粒度的分类。
[0031]S2、获取商品的跟踪视频，对视频进行预处理：对视频进行抽帧后，使用分割算法对每一帧图像进行分割，剔除无效区域。
[0032]由于在跟踪商品的过程中存在大量与目标无关的区域，这些区域可能对进一步的检测和分类产生一定的干扰，所以使用分割算法对每一帧进行分割，剔除一些无效区域，保证进一步处理的准确性。
[0033]S3、使用目标检测网络对每一帧图像进行物体检测，定位商品出现的位置，并对商品进行第一级标签的分类。
[0034]在实际场景中存在大量的商品类别，如果使用传统的目标检测策略，需要为每种类别的物体设置特征提取框，这样会导致学习难度过大，检测效果急剧下降。在本专利技术中，进行物体检测的同时仅进行第一级标签的物体分类。第一级标签仅进行形态层面的粗粒度分类，降低了检测的要求。如此将细致的识别分类与检测工作解耦，能高效跟踪视频中的物体信息，并降低分类难度。通过这种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货柜场景下基于多层级分类的商品动态视觉识别方法，其特征在于，包括：S1、根据货柜中的商品的特性，对每件商品设置多层级标签；通过所述多层级标签对商品进行由粗到细的分类；所述多层级标签包括至少三级，其中第一级标签根据商品的包装形态划分，第二级标签根据商品的体积大小划分，第三级标签及以下根据更细粒度的特征划分，直至最后一级标签为商品的具体信息；S2、获取商品的跟踪视频，对视频进行预处理：对视频进行抽帧后，使用分割算法对每一帧图像进行分割，剔除无效区域；S3、使用目标检测网络对每一帧图像进行物体检测，定位商品出现的位置，并对商品进行第一级标签的分类；S4、结合光流检测和逻辑推理，对商品进行轨迹跟踪，获得商品的轨迹；S5、使用残差分类网络对商品进行第二级标签及以下的细粒度分类；S6、使用投票策略得到每条商品轨迹的最后一级标签，最终得到商品在货柜中的进出记录。2.根据权利要求1所述的商品动态视觉识别方法，其特征在于，所述多层级标签包括三级，其中第一级标签根据商品的包装形态划分，第二级标签根据商品的体积大小划分，第三级标签为商品的具体信息。3.根据...

【专利技术属性】
技术研发人员：吴博文，何子健，龚科，陈添水，
申请(专利权)人：拓元广州智慧科技有限公司，
类型：发明
国别省市：