商品识别方法、装置、电子设备及计算机可读介质制造方法及图纸

本发明专利技术公开了商品识别方法、装置、电子设备及计算机可读介质。方法包括：获取待识别商品的至少一张整体图像和至少一张局部图像；通过预先训练的第一识别模型和第二识别模型分别对至少一张所述整体图像和至少一张所述局部图像进行识别，得到第一识别结果和第二识别结果；根据所述第一识别结果和所述第二识别结果确定至少一种待选商品识别结果；从所述待选商品识别结果中选择目标商品识别结果。本发明专利技术的方案能够从整体和局部两个维度对商品进行识别，并根据二者的识别结果得到待选商品识别结果供用户选择，在增加了识别准确度的同时提高了商品称重结算的效率。高了商品称重结算的效率。高了商品称重结算的效率。

【技术实现步骤摘要】
商品识别方法、装置、电子设备及计算机可读介质


[0001]本专利技术涉及智能识别
，尤其涉及商品识别方法、装置、电子设备及计算机可读介质。

技术介绍

[0002]在采用现有的电子秤进行物品称重结算的过程中，通常需要工作人员手动选择商品的种类或手动输入相对应的商品编号之后，电子秤才能对物品进行称重及结算，步骤较为繁琐。
[0003]目前，许多商超开始引入AI称重设备来进行商品的称重和计价，其原理为通过AI称重设备拍摄商品的整体图片并识别商品的种类，根据商品的种类及重量进行计价。
[0004]然而，这种对整体图片进行识别的识别精度不够，在识别错误时仍需要工作人员或买家手动输入商品的类别或编号，因此无法有效地提高商品称重结算的效率。因此，需要一种可以方式实现对商品进行自动且可靠的识别。

技术实现思路

[0005]本专利技术提供了商品识别方法、装置、电子设备及计算机可读介质，能够对商品进行自动且可靠的识别，提高商品称重结算的效率。
[0006]根据本专利技术的一方面，提供了商品识别方法，包括：
[0007]获取待识别商品的至少一张整体图像和至少一张局部图像；
[0008]通过预先训练的第一识别模型和第二识别模型分别对至少一张所述整体图像和至少一张所述局部图像进行识别，得到第一识别结果和第二识别结果；
[0009]根据所述第一识别结果和所述第二识别结果确定至少一种待选商品识别结果；
[0010]从所述待选商品识别结果中选择目标商品识别结果。
[0011]可选的，所述第一识别模型，通过如下方式进行训练：
[0012]获取至少一张样本整体图像数据；
[0013]通过标签标记每张所述样本整体图像数据的商品类别，得到第一商品识别数据集；
[0014]将所述第一商品识别数据集输入预设网络模型进行训练，直至网络损失收敛，得到所述第一识别模型。
[0015]可选的，所述第二识别模型，通过如下方式进行训练：
[0016]获取至少一张样本局部图像数据；
[0017]通过边界框标注每张所述样本局部图像数据中的商品区域并通过标签标记每个所述商品区域的商品类别，得到第二商品识别数据集；
[0018]将所述第二商品识别数据集输入预设网络模型进行训练，直至网络损失收敛，得到所述第二识别模型。
[0019]可选的，所述局部图像，通过如下方式获取：
[0020]获取至少一个角度下的所述待识别商品的待切割图像；
[0021]通过检测框所述待切割图像进行切割，得到所述局部图像。
[0022]可选的，所述第一识别结果，通过如下方式确定：
[0023]通过所述第一识别模型对所述整体图像进行识别，得到至少一个第一概率值，其中，每个所述第一概率值对应一种预设的商品类别以及所述第一整体图像中的商品属于该商品类别的概率；
[0024]将概率值大于预设值的前N个第一概率值作为所述第一识别结果，其中，N为正整数。
[0025]可选的，所述第二识别结果，通过如下方式确定：
[0026]通过所述第二识别模型从所述局部图像中确定包含商品的至少一个边界框；
[0027]通过所述边界框对所述局部图像进行裁剪，得到至少一个待识别框图；
[0028]对每个所述待识别框图进行识别，确定每个所述待识别框图的置信值，每个所述置信值包括一种预设的商品类别以及所述待识别框图中的商品属于该商品类别的置信度；
[0029]将概率值大于预设值的前M个置信值作为所述第二识别结果，其中，M为正整数。
[0030]可选的，根据所述第一识别结果和所述第二识别结果确定至少一种待选商品识别结果，包括：
[0031]对所述第一识别结果和所述第二识别结果进行加权求和，得到每个预设商品种类的第二概率值；
[0032]将概率值高于预设值的前L个第二概率值对应的商品作为所述待选商品识别结果。
[0033]可选的，该方法还包括：
[0034]当所述待选商品识别结果中不存在所述目标商品识别结果，生成表示识别失败的反馈信息；
[0035]将所述反馈信息发送给所述第一识别模型和/或所述第二识别模型，以使所述第一识别模型和/或所述第二识别模型通过所述反馈信息进行自学习。
[0036]根据本专利技术的另一方面，提供了一种商品识别装置，包括：
[0037]图像获取单元，用于获取待识别商品的至少一张整体图像和至少一张局部图像；
[0038]模型识别结果确定单元，用于通过预先训练的第一识别模型和第二识别模型分别对至少一张所述整体图像和至少一张所述局部图像进行识别，得到第一识别结果和第二识别结果；
[0039]待选商品识别结果确定单元，用于根据所述第一识别结果和所述第二识别结果确定至少一种待选商品识别结果；
[0040]目标商品识别结果确定单元，用于从所述待选商品识别结果中选择目标商品识别结果。
[0041]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0042]至少一个处理器；以及
[0043]与所述至少一个处理器通信连接的存储器；其中，
[0044]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的
商品识别方法。
[0045]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的商品识别方法。
[0046]本专利技术实施例的技术方案，通过获取待识别商品的至少一张整体图像和至少一张局部图像，并通过预先训练的第一识别模型和第二识别模型分别对至少一张所述整体图像和至少一张所述局部图像进行识别，得到第一识别结果和第二识别结果，根据所述第一识别结果和所述第二识别结果确定至少一种待选商品识别结果，并从中选择目标商品识别结果。本专利技术的方案能够从整体和局部两个维度对商品进行识别，并根据二者的识别结果得到待选商品识别结果供用户选择，在增加了识别准确度的同时提高了商品称重结算的效率。
[0047]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0048]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]图1为本专利技术实施例一提供的一种商品识别方法的流程图；
[0050]图2为本专利技术实施例二提供的一种识别模型训练方法的流程图；
[0051]图3为本专利技术实施例二提供的一种识别模型训练方法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.商品识别方法，其特征在于，包括：获取待识别商品的至少一张整体图像和至少一张局部图像；通过预先训练的第一识别模型和第二识别模型分别对至少一张所述整体图像和至少一张所述局部图像进行识别，得到第一识别结果和第二识别结果；根据所述第一识别结果和所述第二识别结果确定至少一种待选商品识别结果；从所述待选商品识别结果中选择目标商品识别结果。2.根据权利要求1所述的方法，其特征在于，所述第一识别模型，通过如下方式进行训练：获取至少一张样本整体图像数据；通过标签标记每张所述样本整体图像数据的商品类别，得到第一商品识别数据集；将所述第一商品识别数据集输入预设网络模型进行训练，直至网络损失收敛，得到所述第一识别模型；和/或，所述第二识别模型，通过如下方式进行训练：获取至少一张样本局部图像数据；通过边界框标注每张所述样本局部图像数据中的商品区域并通过标签标记每个所述商品区域的商品类别，得到第二商品识别数据集；将所述第二商品识别数据集输入预设网络模型进行训练，直至网络损失收敛，得到所述第二识别模型。3.根据权利要求1所述的方法，其特征在于，所述局部图像，通过如下方式获取：获取至少一个角度下的所述待识别商品的待切割图像；通过检测框所述待切割图像进行切割，得到所述局部图像。4.根据权利要求1所述的方法，其特征在于，所述第一识别结果，通过如下方式确定：通过所述第一识别模型对所述整体图像进行识别，得到至少一个第一概率值，其中，每个所述第一概率值对应一种预设的商品类别以及所述第一整体图像中的商品属于该商品类别的概率；将概率值大于预设值的前N个第一概率值作为所述第一识别结果，其中，N为正整数。5.根据权利要求1所述的方法，其特征在于，所述第二识别结果，通过如下方式确定：通过所述第二识别模型从所述局部图像中确定包含商品的至少一个边界框；通过所述边界框对所述局部图像进行裁剪，得到至少一个待识别框图；对每个所述待识别框图进行识别，确定每个所述待识别框图的置信值，每...

【专利技术属性】
技术研发人员：闫凤图，曙光，李想，韩震，张剑，
申请(专利权)人：烟台创迹软件有限公司，
类型：发明
国别省市：