【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种商品识别的建模方法、应用方法、应用装置和存储介质。
技术介绍
1、在终端陈列识别、自助结账、智能推荐和销量预测等方面，现有的利用快消商品识别模型实现产品识别和分析的方法，构建一个较通用的快消商品识别模型，用于构造商品特征库，在产品更新、或者需要识别新商品时，直接通过录入新商品特征，进而即可通过特征检索匹配进行识别，实现大规模sku快速建模。
2、然而，这种方法通常极度依赖于特征模型的表达能力，传统的深度学习建模和插库检索方式，特征模型识别性能、泛化能力不足，则该方法在新商品的识别中，很容易出现低召回和低精度的情况。在实际应用中，在新品的学习上特征模型的建模时间长、效率低，加上商品更新快导致新商品插库识别精度差等问题。
技术实现思路
1、本专利技术提供了一种商品识别的建模方法、应用方法、应用装置和存储介质，以实现通过预训练模型和最终商品识别模型对数据“由粗到精”级联检索识别的方式，得到高召回和高精度的商品检索识别结果。
2、本专利技术提供了一种商品识别的建模方法，包括：获取图片数据集；利用自监督算法模型对所述图片数据集进行特征提取和自动聚类，生成若干类第一标注数据集；利用若干类所述第一标注数据集对初始商品识别模型进行训练，获得预训练模型；
3、利用所述预训练模型提取若干类所述第一标注数据集的特征，根据所述第一标注数据集的特征对各类所述第一标注数据集进行筛选，获得各类第二标注数据集；
4、利用所述第二
5、进一步地，所述利用若干类所述第一标注数据集对初始商品识别模型进行训练，获得预训练模型，具体为：
6、将transformer算法模型作为初始商品识别模型，利用目标损失函数对样本进行约束，对所述第一标注数据集进行均衡采样，生成采样数据；
7、所述目标损失函数的表达式为：
8、fl(pt)＝-(1-pt)γlog(pt)；
9、其中，fl为目标损失函数；pt为预测概率值，γ为常数，用于调整平衡难例样本的损失；
10、利用采样数据对所述初始商品识别模型进行训练，获得预训练模型。
11、进一步地，所述根据所述第一标注数据集的特征对各类所述第一标注数据集进行筛选，获得各类第二标注数据集，具体为：
12、计算各类第二标注数据集的特征中心，计算每一类第二标注数据集与对应的特征中心的距离，将所述距离大于第一阈值的第二标注数据集发送到客户端进行噪声确认；响应于客户端的噪声确认操作，将确认的第二标注数据集进行剔除；
13、计算各类所述特征中心之间的余弦距离；根据所述余弦距离，确认第二标注数据集的类别，获得各类第二标注数据集。
14、进一步地，所述根据所述余弦距离，确认第二标注数据集的类别，获得各类第二标注数据集，具体为：
15、筛选出所述余弦距离小于第二阈值的第二标注数据集的类别，发送到客户端进行类别确认；
16、响应于客户端的类别确认操作，更新所述余弦距离小于第二阈值的第二标注数据集的类别，获得各类第二标注数据集。
17、进一步地，所述利用所述第二标注数据集对所述预训练模型进行迁移训练，对所述预训练模型的权重进行更新，得到最终商品识别模型，具体为：
18、对所述预训练模型进行迁移，得到第二预训练模型；
19、利用所述第二标注数据集对所述第二预训练模型进行第一训练，对所述第二预训练模型的权重进行更新，得到第一商品识别模型；
20、利用知识蒸馏方法对所述第一商品识别模型进行第二训练，对所述第一商品识别模型的权重进行更新，得到最终商品识别模型。
21、进一步地，所述利用知识蒸馏方法对所述第一商品识别模型进行第二训练，对所述第一商品识别模型的权重进行更新，得到最终商品识别模型，具体为：
22、将第一商品识别模型分别作为初始教师模型和初始学生模型；采取自蒸馏学习策略对所述初始教师模型进行监督训练，得到训练后的教师模型；计算所述训练后的教师模型和所述初始学生模型的蒸馏损失与传统交叉熵损失；将所述蒸馏损失与所述传统交叉熵损失进行加权求和，得到最终的目标损失；根据所述最终的目标损失对所述初始学生模型进行共同监督和训练，得到最终商品识别模型；
23、所述蒸馏损失和所述传统交叉熵损失的表达式为：
24、losskd＝kl(tfeat,sfeat)
25、losses＝α*lossce+β*losskd
26、其中，losskd表示蒸馏损失，tfeat和sfeat分别表示训练后的教师模型和初始学生模型输出的特征向量，蒸馏损失kl为tfeat和sfeat的余弦散度距离损失；lossce表示传统交叉熵损失，losses为最终的目标损失；α和β分别为常数。
27、作为优选方案，本专利技术在对商品识别的模型构建中构建了两个模型：预训练模型和最终商品识别模型；通过对海量图片数据进行特征提取和自动聚类构造伪标签数据(第一标注数据集)，利用伪标签数据对初始商品识别模型进行训练得到弱监督高泛化模型(预训练模型)；通过半自动迭代优化伪标签数据，得到第二标注数据集，并利用第二标注数据集对预训练模型进行迁移训练，重新微调训练得到高精度模型(最终商品识别模型)，提高了模型通用的泛化能力和识别精度，利用预训练模型和最终商品识别模型可以对待识别的图片进行“由粗到精”级联检索识别，提高对商品的识别精度，另外，在新品学习上可大大减少建模时间和成本，适应产品的频繁更新迭代。
28、相应地，本专利技术还提供一种商品识别的应用方法，包括：获取输入的待识别图片；利用预训练模型对待识别图片进行特征提取，生成第一特征；确定特征库中与所述第一特征相似度最高的预设个的第一商品；利用最终商品识别模型分别提取所述待识别图片和所述第一商品图片的特征；对比所述待识别图片的第二特征与所述第一商品图片的第三特征，确定在所述第一商品中与所述待识别图片相似度最高的预设个的第二商品；
29、其中，所述预训练模型和所述最终商品识别模型分别利用本
技术实现思路
任意一项所述的一种商品识别的建模方法构建而来；
30、计算各所述第二商品与各个商品类别的相似度距离，根据所述相似度距离对各所述商品类别进行投票，将投票数最高的商品类别作为所述待识别图片的识别类别。
31、进一步地，计算各所述第二商品与各个商品类别的相似度距离，根据所述相似度距离对各所述商品类别进行投票，将投票数最高的商品类别作为所述待识别图片的识别类别，具体为：
32、计算各所述第二商品与各个商品类别的相似度距离，对所述相似度距离进行打分，得到所有所述第二商品分别与各个商品类别的距离得分；
33、所述距离得分的表达式为：
34、
35、其中，lcm本文档来自技高网...
【技术保护点】
1.一种商品识别的建模方法，其特征在于，包括：
2.如权利要求1所述的一种商品识别的建模方法，其特征在于，所述利用若干类所述第一标注数据集对初始商品识别模型进行训练，获得预训练模型，具体为：
3.如权利要求1所述的一种商品识别的建模方法，其特征在于，所述根据所述第一标注数据集的特征对各类所述第一标注数据集进行筛选，获得各类第二标注数据集，具体为：
4.如权利要求3所述的一种商品识别的建模方法，其特征在于，所述根据所述余弦距离，确认第二标注数据集的类别，获得各类第二标注数据集，具体为：
5.如权利要求1所述的一种商品识别的建模方法，其特征在于，所述利用所述第二标注数据集对所述预训练模型进行迁移训练，对所述预训练模型的权重进行更新，得到最终商品识别模型，具体为：
6.如权利要求5所述的一种商品识别的建模方法，其特征在于，所述利用知识蒸馏方法对所述第一商品识别模型进行第二训练，对所述第一商品识别模型的权重进行更新，得到最终商品识别模型，具体为：
7.一种商品识别的应用方法，其特征在于，包括：
8.如权利
9.一种商品识别的应用装置，其特征在于，包括：第一推理模块、第二推理模块和投票模块；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至6中任意一项所述的一种商品识别的建模方法或者如权利要求7至8中任意一项所述的一种商品识别的应用方法。
...【技术特征摘要】
1.一种商品识别的建模方法，其特征在于，包括：
2.如权利要求1所述的一种商品识别的建模方法，其特征在于，所述利用若干类所述第一标注数据集对初始商品识别模型进行训练，获得预训练模型，具体为：
3.如权利要求1所述的一种商品识别的建模方法，其特征在于，所述根据所述第一标注数据集的特征对各类所述第一标注数据集进行筛选，获得各类第二标注数据集，具体为：
4.如权利要求3所述的一种商品识别的建模方法，其特征在于，所述根据所述余弦距离，确认第二标注数据集的类别，获得各类第二标注数据集，具体为：
5.如权利要求1所述的一种商品识别的建模方法，其特征在于，所述利用所述第二标注数据集对所述预训练模型进行迁移训练，对所述预训练模型的权重进行更新，得到最终商品识别模型，具体为：
6.如权利要求5所述的一种商品识别的建模方法，其特征在于，所...
【专利技术属性】
技术研发人员：黄金镇，许洁斌，
申请(专利权)人：广州市玄武无线科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。