本发明专利技术公开了一种基于陈列照片比对的商品销量识别方法，涉及图像处理领域，采用具有相同网络结构和模型参数的主干网络，分别提取前后两张陈列照片的独立特征图并进行特征融合，再通过检测网络输出减少/增加的商品位置和类别，从而计算商品的销量和补货量。本发明专利技术通过将前后两张陈列照片的独立特征图融合，使得网络具备直接检测前后两张图差异部分的能力，即使在两张图的商品种类和数量完全一致的情况下，也能准确识别减少的商品(销量)、仅被移动的商品、以及增加的商品(补货)，识别准确率超过95％。率超过95％。率超过95％。
【技术实现步骤摘要】
一种基于陈列照片比对的商品销量识别方法
[0001]本专利技术涉及图像处理领域，尤其涉及一种基于陈列照片比对的商品销量识别方法。
技术介绍
[0002]商品在零售渠道中的陈列直接关系到销量，因此品牌商或渠道商对商品陈列的数字化有强烈的需求。为了能持续自动地采集陈列数据，品牌商或渠道商会在各种零售场景(包括货架、立式冰柜、卧室冰柜、堆头等场景)安装摄像头，并定时地或由事件触发(如冰柜开关门)地拍照。通过图像识别技术，可以对每张照片中的商品陈列数字化，得到照片中每个商品的类别信息和空间位置信息。进一步，品牌商或渠道商希望通过摄像头前后拍摄的一组照片做销量分析，即后一张照片对比前一张分析哪些商品被拿走了。
[0003]通常的做法是对每一张照片进行图像识别，得到每种商品的数量并进行数据对别，推测出销量。如现有的一些基于图像识别的冰柜自贩机，通过在每层冰柜的顶部加装摄像头、每次关门后拍照并进行图像识别，对比开关门前后每层的商品库存数据推测顾客拿走的商品品类和数量。
[0004]计算机视觉是研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。
[0005]通常而言，计算机视觉的研究包括三个层次：
[0006](1)底层特征的研究：
[0007]主要聚焦如何高效提取出图像对象具有判别性能的特征，具体的研究内容通常包括：物体识别、字符识别等。
[0008](2)中层语义特征的研究：
[0009]在识别出对象的基础上，对其位置、边缘等信息能够准确区分。包括图像分割、语义分割、场景标注等。
[0010](3)高层语义理解：
[0011]在前两层的基础上，其核心在于“理解”。目标在于对复杂图像中的各个对象完成语义级别的理解。这一层次的研究常常应用于：场景识别、图像摘要生成及图像语义回答等。
[0012]通过陈列照片的比对，识别商品的销量和补货，已不仅仅是中层语义特征的研究，还需要对图片中的内容进行理解，即是否发生了商品的销售和补货。
[0013]卷积神经网络CNN(Convolutional neural network)，是图像识别领域中经常使用的一种网络模型。传统意义上的多层神经网络包括输入层、隐藏层和输出层。而卷积神经网络的特点在于隐藏层分为卷积层、池化层以及激活层。
[0014]卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的在于提取输入的不同特征。在卷积神经网络CNN
中，我们输入的是图片的矩阵，整个CNN网络就是一个信息提取的过程，从底层的特征逐渐抽取到高度抽象的特征。
[0015]一般用于物体检测的神经网络可以抽象成两部分：主干网络(backbone)与检测网络。
[0016]主干网络：图片输入主干网络进行特征提取，生成特征图。主干网络的结构一般来源于分类网络的特征提取部分，常用的如Visual Geometry Group提出的VGG，基于残差的ResNet(Residual Neural Network)，GoogLeNet的Inception等。主干网络还可以包含多层次特征融合的模块，如特征金字塔网络FPN(feature pyramid networks)，用于增强检测网络的检测能力。
[0017]检测网络：特征图输入检测网络，生成bounding box候选框及其分类结果。检测网络可以是两阶段，如包含区域候选网络RPN(Region Proposal Network)模块的faster
‑
rcnn及其变种。也可以是一阶段，如YOLO网络(You Only Look Once)，误差平方和算法SSD(Sum of Squared Differences)，RetinaNet等。这里所指的检测网络是不包含特征图的提取过程的。
[0018]但是，直接通过CNN网络对陈列照片进行识别，无论采用何种主干网络和检测网络，在进行商品销量识别时，效果却并不理想。这是由于处理的照片类型是商品陈列照片，而陈列照片只能拍摄到零售场景中的第一排或表面的露出商品，第二排及其后排的商品存在严重遮挡或完全遮挡无法露出的情况，即陈列照片无法获得完整的库存信息。在无法拍摄到完整商品库存的情况下，直接通过图像识别技术分析每张照片的商品品类与数量再进行比对推测销量的方案误差很大。
[0019]因此，本领域的技术人员致力于开发一种基于陈列照片比对的商品销量识别方法，当陈列照片中的商品存在遮挡的情况下，仍能正确识别出商品的销量。
技术实现思路
[0020]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是根据前后两张陈列照片，识别商品品类和数量(即销量和补货量)。
[0021]为实现上述目的，本专利技术提供了一种基于陈列照片比对的商品销量识别方法，包括：
[0022]特征提取：采用具有相同网络结构和模型参数的主干网络，分别提取两张图片的独立特征图；
[0023]特征融合：融合两张图片的独立特征图，生成融合后的融合特征图；
[0024]特征检测：检测融合特征图，以得到两张图片的差异。
[0025]可选地，两张图片为前后两张陈列照片；以及，两张图片的差异包括减少和/或增加的商品的位置。
[0026]可选地，具有相同网络结构和模型参数的主干网络包括第一主干网络和第二主干网络，将前后两张陈列照片，分别输入第一主干网络和第二主干网络。
[0027]可选地，每次反向传播后，第一主干网络和第二主干网络分别更新参数，再对参数取均值，将均值作为第一主干网络和第二主干网络的参数。
[0028]可选地，每次反向传播后，第一主干网络更新参数，第二主干网络采用第一主干网
络的参数。
[0029]可选地，具有相同网络结构和模型参数的主干网络为同一个主干网络，将前后两张陈列照片，先后送入同一个主干网络。
[0030]可选地，主干网络采用分类网络的特征提取部分。
[0031]可选地，主干网络还包含特征金字塔网络。
[0032]可选地，分类网络为VGG、Inception、Resnet、Resnext、Resnext
‑
SE中的一种。
[0033]可选地，特征融合步骤，将前后两张陈列照片的独立特征图进行堆叠。
[0034]可选地，特征融合步骤，将前后两张陈列照片的独立特征图进行堆叠，再通过1x1的卷积网络进行降维。
[0035]可选地，特征融合步骤，将前后两张陈列照片的独立特征图进行相加或相减。
[0036]可选地，检测步骤，使用一阶段检测网络，或二阶段检测网络。
[0037]可选地，检测网络采用包含RPN模块的faster
‑
rcnn及其变种。
[0038]可选地，检测网络采用YOLO，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于陈列照片比对的商品销量识别方法，其特征在于，包括：特征提取：采用具有相同网络结构和模型参数的主干网络，分别提取两张图片的独立特征图；特征融合：融合所述两张图片的所述独立特征图，生成融合后的融合特征图；特征检测：检测所述融合特征图，以得到所述两张图片的差异。2.如权利要求1所述的基于陈列照片比对的商品销量识别方法，其特征在于：所述两张图片为前后两张陈列照片；以及，所述两张图片的差异包括减少和/或增加的商品的位置。3.如权利要求2所述的基于陈列照片比对的商品销量识别方法，其特征在于，所述具有相同网络结构和模型参数的主干网络包括第一主干网络和第二主干网络，将所述前后两张陈列照片，分别输入所述第一主干网络和所述第二主干网络。4.如权利要求3所述的基于陈列照片比对的商品销量识别方法，其特征在于，每次反向传播后，所述第一主干网络和所述第二主干网络分别更新参数，再对所述参数取均值，将所述均值作为所述第一主干网络和所述第二主干网络的参数。5.如权利要求3所述的基于陈列照片比对的商品销量识别方法，其特征在于，每次反向传播后，所述第一主干网络更新参数，所述第二主干网络采用所述第一主干网络的参数。6.如权利要求2所述的基于陈列照片比对的商品销量识别方法，其特征在于，所述具有相同网络结构和模型参数的主干网络为同一个主干网络，将所述前后两张陈列照片，先后送入所述同一个主干网络。7.如权利要求2所述的基于陈列照片比对的商品销量识别方法，其特征在于，所述主干网络采用分类网络的特征提取部分。8.如权利要求2所述的基于陈列照片比对的商品销量识别方法，其特征在于，所述特征融合步骤，将所述前后两张陈列照片的独立特征图进行堆叠。9.如权利要求2所述的基于陈列照片比对的商品销量识别方法，其特征在于，所述特征融合步骤，将所述前后两张陈列照片的独立特征图进行堆叠，再通过1x1的卷积网络进行降维。10.如权利要求2所述的基于陈列照片比对的商品销量识别方法，其特征在于，所述特征融合步骤，将所述前后两张陈列照片的独立特征图进行相加或相减。11.如权利要求2所述的基于陈列照片比对的商品销量识别方法，其特征在于，所述检测步骤，还输出商品分类。12.如权利要求11所述的基于...
【专利技术属性】
技术研发人员：袁宏梁，
申请(专利权)人：上海零眸智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。