商品规格识别方法、装置、终端设备及计算机存储介质制造方法及图纸

本申请公开了一种商品规格识别方法、装置、终端设备及计算机存储介质，包括获取商品陈列图像，对商品规格进行划分，得到商品规格分档库；分别利用通用商品检测模型和目标商品检测模型对所述商品陈列图像进行检测，将检测后的结果进行合并，输出商品检测结果；利用场景分层模型对所述商品陈列图像进行识别和分层，输出分层检测结果；利用所述商品检测结果和所述分层检测结果，构造商品陈列图像中每一层的商品序列；根据所述商品规格分档库和所述商品序列，训练得到商品序列编码模型，利用所述商品序列编码模型进行商品规格识别。本申请能够实现商品规格的有效识别，打破现有方法的对数据要求的严苛性及对场景通用的局限性，具有较好的通用性。有较好的通用性。有较好的通用性。

【技术实现步骤摘要】
商品规格识别方法、装置、终端设备及计算机存储介质


[0001]本申请涉及计算机视觉及人工智能
，尤其涉及一种商品规格识别方法、装置、终端设备及计算机存储介质。

技术介绍

[0002]在快消零售领域，为了更好的制定市场投放策略，需要经常对线下渠道的商店进行核查，核查各种规格的商品在货架上的占有率。传统的人工巡店方式，耗费大量人力且信息更新不及时，不能满足企业对精准、及时的数据需求。随着计算机视觉技术的发展，采用图像识别和目标检测技术来获取货架商品图片上的各个商品的信息已经成为了当前业界主流。然而，货架商品图片中各商品的成像受拍摄人的拍摄习惯和拍摄环境等主观或客观条件的影响，导致不同规格的商品所成的像差别甚微，难以从商品陈列图片中识别出与每个商品所对应的规格信息。因此如何进行商品规格识别成为业界亟需解决的难点之一。
[0003]现有技术中，通常采用文字识别技术(OCR)的方法或参照物与实际物体的比例换算的方法，实现商品陈列图片中商品规格的识别。对于OCR技术，因为物体间遮挡、拍摄距离远等原因，导致难以获取清晰的图片，通过识别商品规格相关文字的方法，难以应用，可实施性不强；而参照物比例换算的方法需要维护庞大的参照物比例库，而且现实中陈列摆放和拍摄的随机性也导致所成的图像中无参照物存在而使该方法失效。

技术实现思路

[0004]本申请的目的在于提供一种商品规格识别方法、装置、终端设备及计算机存储介质，以解决现有技术无法准确、有效识别商品规格的问题。
[0005]为实现上述目的，本申请提供一种商品规格识别方法，包括：
[0006]获取商品陈列图像，对商品规格进行划分，得到商品规格分档库；
[0007]分别利用通用商品检测模型和目标商品检测模型对所述商品陈列图像进行检测，将检测后的结果进行合并，输出商品检测结果；
[0008]利用场景分层模型对所述商品陈列图像进行识别和分层，输出分层检测结果；
[0009]利用所述商品检测结果和所述分层检测结果，构造商品陈列图像中每一层的商品序列；
[0010]根据所述商品规格分档库和所述商品序列，训练得到商品序列编码模型，利用所述商品序列编码模型进行商品规格识别。
[0011]进一步地，所述对所述商品规格进行划分，包括：
[0012]根据商品实物大小之间的高度差或净含量信息，对商品规格进行不同档次的划分。
[0013]进一步地，所述分别利用通用商品检测模型和目标商品检测模型对所述商品陈列图像进行检测，将检测后的结果进行合并，输出商品检测结果，包括：
[0014]分别利用通用商品检测模型和目标商品检测模型对所述商品陈列图像进行检测，
生成第一结果和第二结果；其中，
[0015]所述通用商品检测模型用于检测出商品陈列图像中的所有商品，所述目标商品检测模型用于检测出商品陈列图像中的所有目标商品并进行商品分类；
[0016]计算第一结果与第二结果的交并比，判断所述交并比是否大于预设阈值；
[0017]若是，则将第二结果作为商品检测结果；
[0018]若否，则将第一结果作为商品检测结果。
[0019]进一步地，所述通用商品检测模型和所述目标商品检测模型均根据Cascade Faster RCNN网络训练得到。
[0020]进一步地，所述场景分层模型根据SOLOv2网络训练得到。
[0021]进一步地，所述利用所述商品检测结果和所述分层检测结果，构造商品陈列图像中每一层的商品序列，包括：
[0022]对分层检测结果中的分层检测框基于质心的垂直坐标在垂直方向进行排序；
[0023]遍历所有商品检测框，计算每个商品检测框的质心，并根据引射线法将商品检测框与分层检测框进行匹配；
[0024]基于每个分层检测框的商品，将质心的横坐标在水平方向进行排序，得到商品陈列图像中每一层的商品序列。
[0025]进一步地，在所述根据所述商品规格分档库和所述商品序列，训练得到商品序列编码模型之前，还包括：
[0026]确定深度学习序列编码网络，包括Encoder模块和Decoder模块；
[0027]基于所述深度学习序列编码网络，采用Transformers网络构建原始的商品序列编码模型。
[0028]本申请还提供一种商品规格识别装置，包括：
[0029]规格划分单元，用于获取商品陈列图像，对商品规格进行划分，得到商品规格分档库；
[0030]商品检测单元，用于分别利用通用商品检测模型和目标商品检测模型对所述商品陈列图像进行检测，将检测后的结果进行合并，输出商品检测结果；
[0031]分层检测单元，用于利用场景分层模型对所述商品陈列图像进行识别和分层，输出分层检测结果；
[0032]商品序列确定单元，用于利用所述商品检测结果和所述分层检测结果，构造商品陈列图像中每一层的商品序列；
[0033]商品规格识别单元，用于根据所述商品规格分档库和所述商品序列，训练得到商品序列编码模型，利用所述商品序列编码模型进行商品规格识别。
[0034]本申请还提供一种终端设备，包括：
[0035]一个或多个处理器；
[0036]存储器，与所述处理器耦接，用于存储一个或多个程序；
[0037]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的商品规格识别方法。
[0038]本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的商品规格识别方法。
[0039]相对于现有技术，本申请的有益效果在于：
[0040]1)本申请不依赖与参照物，对图像质量有较好的兼容效果，不同于现有方法只对特定场景才能适用，因此本申请具有较好的通用性；
[0041]2)区别于现有的方法通常以参照物换算或OCR技术进行商品规格识别，本申请以商品序列的角度进行建模，将计算机视觉技术和数据智能技术结合，将商品规格识别问题转化成序列编码预测，因此能够更准确、有效地进行商品识别；
[0042]3)本申请在构造商品序列编码模型时提出了一种label free的训练模式，相较于现有方法，在数据量有限的情况下，可以达到较优的效果。
附图说明
[0043]为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]图1是本申请某一实施例提供的商品规格识别方法的流程示意图；
[0045]图2是图1中步骤S20的子步骤的流程示意图；
[0046]图3是图1中步骤S40的子步骤的流程示意图；
[0047]图4是本申请又一实施例提供的商品规格识别方法的流程示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种商品规格识别方法，其特征在于，包括：获取商品陈列图像，对商品规格进行划分，得到商品规格分档库；分别利用通用商品检测模型和目标商品检测模型对所述商品陈列图像进行检测，将检测后的结果进行合并，输出商品检测结果；利用场景分层模型对所述商品陈列图像进行识别和分层，输出分层检测结果；利用所述商品检测结果和所述分层检测结果，构造商品陈列图像中每一层的商品序列；根据所述商品规格分档库和所述商品序列，训练得到商品序列编码模型，利用所述商品序列编码模型进行商品规格识别。2.根据权利要求1所述的商品规格识别方法，其特征在于，所述对所述商品规格进行划分，包括：根据商品实物大小之间的高度差或净含量信息，对商品规格进行不同档次的划分。3.根据权利要求1所述的商品规格识别方法，其特征在于，所述分别利用通用商品检测模型和目标商品检测模型对所述商品陈列图像进行检测，将检测后的结果进行合并，输出商品检测结果，包括：分别利用通用商品检测模型和目标商品检测模型对所述商品陈列图像进行检测，生成第一结果和第二结果；其中，所述通用商品检测模型用于检测出商品陈列图像中的所有商品，所述目标商品检测模型用于检测出商品陈列图像中的所有目标商品并进行商品分类；计算第一结果与第二结果的交并比，判断所述交并比是否大于预设阈值；若是，则将第二结果作为商品检测结果；若否，则将第一结果作为商品检测结果。4.根据权利要求1所述的商品规格识别方法，其特征在于，所述通用商品检测模型和所述目标商品检测模型均根据Cascade Faster RCNN网络训练得到。5.根据权利要求1所述的商品规格识别方法，其特征在于，所述场景分层模型根据SOLOv2网络训练得到。6.根据权利要求1所述的商品规格识别方法，其特征在于，所述利用所述商品检测结果和所述分层检测结果，构造商品陈列图像中每一层的商品序列，包括：对...

【专利技术属性】
技术研发人员：林木兴，丁明，王杰，陈应文，徐洪亮，许洁斌，
申请(专利权)人：广州市玄武无线科技股份有限公司，
类型：发明
国别省市：