冰柜商品图像识别的训练方法、模型及占有率计算方法技术

本发明专利技术公开一种冰柜商品图像识别的训练方法、模型及占有率计算方法，涉及图像识别技术领域，解决了人工智能还无法对冰柜中的不同种类商品进行准确快速识别，无法对特定种类商品的市场占有率进行快速计算的技术问题。该训练方法包括：获取冰柜商品图像，输入第一神经网络模型，对清晰的冷饮商品进行标注，得到标注的多个多边形边框；对多边形边框进行解析，得到冷饮商品在多个特征层上的映射、初始训练图像及相应的mask标签；将冷饮商品图像数据、mask标签数据代入损失函数计算，更新初始神经网络模型的参数；反复执行，最终得到训练好的第二神经网络模型。本发明专利技术可计算出冰柜中的每一类商品的个数以及这类商品的市场占有率。一类商品的个数以及这类商品的市场占有率。一类商品的个数以及这类商品的市场占有率。

【技术实现步骤摘要】
冰柜商品图像识别的训练方法、模型及占有率计算方法


[0001]本专利技术涉及图像识别
，尤其涉及一种冰柜商品图像识别的训练方法、模型及占有率计算方法。

技术介绍

[0002]随着社会经济的发展，人们消费水平逐年提高，以冰激凌、雪糕等为代表的冷饮市场规模增长迅速，每年均保持稳步增长，具有极大的市场前景。而冷饮市场的信息采集是建立营销体系的重要基础性工作。市场信息的采集、分析与利用驱动着冷饮市场需求预测、货源组织、货源供应和品牌培育等营销关键业务的开展，是冰激凌行业研发新品掌握市场动态、了解竞争对手的情况、制定销售方案的重要手段。
[0003]现有冷饮市场稽查任务（即市场信息采集）用于实现对特定冷饮产品的市场销售情况进行统计，主要依靠人工完成，效率十分低下。同时，近些年来，随着人工智能的不断发展，自动检测技术开始越来越多地应用到工业生产、社会安防和生活消费等各个方面。由于机器具备速度快、无疲劳、能适应恶劣环境等优点，自动检测识别技术的普及极大地提高了检测识别效率，从而提高了工业生产水平，改善了人们的生活质量。
[0004]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：在多数场景下，现有的人工智能技术还无法对冰柜中的不同种类商品进行准确快速识别，导致无法对特定种类商品的市场占有率进行快速计算。

技术实现思路

[0005]本专利技术的目的在于提供一种冰柜商品图像识别的训练方法、模型及占有率计算方法，以解决现有技术中存在的人工智能技术还无法对冰柜中的不同种类商品进行准确快速识别，导致无法对特定种类商品的市场占有率进行快速计算的技术问题。本专利技术提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
[0006]为实现上述目的，本专利技术提供了以下技术方案：本专利技术提供一种冰柜商品图像识别的训练方法，用于对冰柜内的冷饮商品进行识别，包括以下步骤：S10：获取包含有多个所述冷饮商品的冰柜商品图像，输入第一神经网络模型，所述第一神经网络模型对清晰的所述冷饮商品进行标注，得到标注的多个多边形边框；S20：对所述多边形边框进行解析，得到所述冷饮商品在多个特征层上的映射、初始训练图像及相应的mask标签；S30：将所述初始训练图像输入初始神经网络模型，得到与所述mask标签格式相同的冷饮商品图像数据；S40：将所述冷饮商品图像数据、mask标签数据代入损失函数计算，并通过反向传播算法将所述损失函数计算得到的损失回传，更新所述初始神经网络模型的参数；S50：反复执行所述S40步骤，最终得到训练好的参数矩阵，将所述参数矩阵输入所述初始神经网络模型中，得到训练好的第二神经网络模型。优选的，所述第一神经网络模型中，按照清晰的冰激凌、不清晰的冰激凌、广告纸、冰激凌以外的商品四个标注类别进行训练，形成冰柜商品的类别信息，对清晰的冰激凌进
行标注后得到所述多边形边框。
[0007]优选的，所述S10步骤中，所述多边形边框为20个点依次均匀连接形成的封闭区域。
[0008]优选的，所述S20步骤中，所述特征层的数量为三个，三个所述特征层的尺寸分别为19*19像素、38*38像素、76*76像素。
[0009]优选的，所述S20步骤中，所述映射的参数为所述冷饮商品的置信度，以及所述多边形边框上每个点的x偏移量、y偏移量；所述x偏移量、y偏移量分别为每个点的x坐标、y坐标相对于网格左上角的偏移量，所述网格为每个点在所述特征层上位置的对应网格。
[0010]优选的，所述S40步骤中，所述损失函数包括：,,,,,其中，L
obj
表示所述冷饮商品的目标损失，L
off
表示中心点坐标偏移量的损失，L
poly
表示所述多边形边框的边界点坐标相对于中心点的损失，L
cls
表示所述冷饮商品的分类损失，L
loss
表示总的损失；λ
obj
、λ
nobj
、λ
off
、λ
poly
、λ
class
分别表示对应损失的权重系数，S表示特征图的边长，P表示所述多边形边框上的20个坐标点，表示特征图上第i个网格是否存在目标，表示特征图上第i个网格是否不存在目标； c
i
、分别表示特征图第i个网格目标的真实值和预测值，x
i
、y
i
、、分别表示第i个网格中目标对于网格左上角的实际偏移量与预测偏移量在 x，y方向上的数值； smooth
l1
表示回归损失函数，x
i,j
、y
i,j
、、分别表示实际与预测的20个物体边界点坐标相对于网格左上角的实际偏移量与预测偏移量在 x，y方向上的数值，i表示在S*S个网格中的第i个网格，j表示在第i个网格中的第j个坐标，B表示所述冰柜商品的类别数量， d表示所述冷饮商品的类别，表示所述冷饮商品属于第d个类别的信息熵。
[0011]一种冰柜商品图像识别模型，所述模型为一种基于yolov5改进的具有实例分割功能的模型，将采集到的包含有多个冷饮商品的冰柜商品图像通过以上任一所述的训练方法进行训练，所述模型的操作流程如下：S100：将采集到的所述冰柜商品图像输入，进行图像大小调整及标准化处理，并送入骨干卷积神经网络中提取特征，得到第一特征层；S200：通过所述第一特征层得到不同大小的第二特征层、第三特征层；S300：将所述第一特征层、第
二特征层、第三特征层中的每一个像素作为一个网格，对每个所述网格生成x坐标方向、y坐标方向的相对于所述网格左上角的第一偏移量，以及多边形边框中每个点相对于所述网格左上角的第二偏移量；S400：将所述第一偏移量、第二偏移量、目标置信度及商品类别信息共同作为所述第一特征层、第二特征层、第三特征层的输出参数。
[0012]优选的，所述S100步骤中，调整后的图像尺寸为608*608像素，标准化处理的参数为均值0.45，方差0.3。
[0013]一种冰柜商品占有率计算方法，所述计算方法通过以上任一所述的冰柜商品图像识别模型进行，包括以下步骤：S1000：对包括有商品的冰柜进行图像采集，得到冰柜商品图像，并判断所述冰柜商品图像质量是否合格，如合格，执行步骤S2000，否则执行步骤S7000；S2000：将所述冰柜商品图像的尺寸调整为608*608像素，并进行数据增强处理，得到预处理图像；S3000：将所述预处理图像输入以上任一所述的第二神经网络模型，得到所述预处理图像中冷饮商品的初始多边形边框，并输出每个网格所包含目标是目标中心的概率；S4000：判断所述概率是否大于设定阈值，如果大于所述设定阈值，则执行步骤S5000，否则执行步骤S7000；S5000：保留所述网格坐标，根据所述网格坐标及其对应的点坐标确定的所述冷饮商品的多边形边框，根据所述多边形边框确定所述冷饮商品的mask标签；S6000：通过所述mask标签计算得到所述冷饮商品的面积占比，得出所述冷饮商本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冰柜商品图像识别的训练方法，用于对冰柜内的冷饮商品进行识别，其特征在于，包括以下步骤：S10：获取包含有多个所述冷饮商品的冰柜商品图像，输入第一神经网络模型，所述第一神经网络模型对清晰的所述冷饮商品进行标注，得到标注的多个多边形边框；S20：对所述多边形边框进行解析，得到所述冷饮商品在多个特征层上的映射、初始训练图像及相应的mask标签；S30：将所述初始训练图像输入初始神经网络模型，得到与所述mask标签格式相同的冷饮商品图像数据；S40：将所述冷饮商品图像数据、mask标签数据代入损失函数计算，并通过反向传播算法将所述损失函数计算得到的损失回传，更新所述初始神经网络模型的参数；S50：反复执行所述S40步骤，最终得到训练好的参数矩阵，将所述参数矩阵输入所述初始神经网络模型中，得到训练好的第二神经网络模型。2.根据权利要求1所述的冰柜商品图像识别的训练方法，其特征在于，所述第一神经网络模型中，按照清晰的冰激凌、不清晰的冰激凌、广告纸、冰激凌以外的商品四个标注类别进行训练，形成冰柜商品的类别信息，对清晰的冰激凌进行标注后得到所述多边形边框。3.根据权利要求2所述的冰柜商品图像识别的训练方法，其特征在于，所述S10步骤中，所述多边形边框为20个点依次均匀连接形成的封闭区域。4.根据权利要求2所述的冰柜商品图像识别的训练方法，其特征在于，所述S20步骤中，所述特征层的数量为三个，三个所述特征层的尺寸分别为19*19像素、38*38像素、76*76像素。5.根据权利要求2所述的冰柜商品图像识别的训练方法，其特征在于，所述S20步骤中，所述映射的参数为所述冷饮商品的置信度，以及所述多边形边框上每个点的x偏移量、y偏移量；所述x偏移量、y偏移量分别为每个点的x坐标、y坐标相对于网格左上角的偏移量，所述网格为每个点在所述特征层上位置的对应网格。6.根据权利要求2所述的冰柜商品图像识别的训练方法，其特征在于，所述S40步骤中，所述损失函数包括：,,,,,其中，L
obj
表示所述冷饮商品的目标损失，L
off
表示中心点坐标偏移量的损失,L
poly
表示
所述多边形边框的边界点坐标相对于中心点的损失，L
cls
表示所述冷饮商品的分类损失，L
loss
表示总的损失； λ
obj
、λ
nobj 、λ
off 、λ
poly 、λ
class 分别表示对应损失的权重系数，S表示特征图的边长，P表示所述多边形边框上的20个坐标点，表示特征图上第i个网格是否存在目标，表示特征图上第i个网格是否不存在目标； c
i
、分别表示特征图第i个网格目标的真实值和预测值，x
i
、y
i
、、分别表示第i个网格中目标对于网...

【专利技术属性】
技术研发人员：杨恒，龙涛，李轩，李华强，
申请(专利权)人：深圳爱莫科技有限公司，
类型：发明
国别省市：