一种基于预设模板的商品匹配及数量回归识别算法制造技术

本发明专利技术公开一种基于预设模板的商品匹配及数量回归识别算法，通过构建一个深度学习神经网络架构，提取出源图片中商品的深度特征信息，并在深度特征层面与目标商品的特征ID进行相关卷积操作，从而识别回归出该商品在图片中的个体数量，能满足单物体图片去匹配多物体图片的场景要求，不仅能从多物体图片中识别出目标物体，还能识别出目标物体在多物体图片中的个体数量。具体包括以下步骤：采集训练数据、生成商品库商品特征ID、构建深度卷积神经网络、训练神经网络、验证及测试神经网络模型。

An algorithm of commodity matching and quantity regression recognition based on preset template

The invention discloses a commodity matching and quantity regression recognition algorithm based on preset template. By constructing a deep learning neural network architecture, the depth feature information of the commodity in the source picture is extracted, and the convolution operation between the depth feature level and the characteristic ID of the target commodity is carried out to identify the number of individuals returned to the commodity in the picture, thus satisfying the single object picture. To match the scene requirements of multi-object pictures, not only the target object can be recognized from multi-object pictures, but also the number of individuals of the target object in multi-object pictures can be recognized. It includes the following steps: collecting training data, generating commodity feature ID, constructing deep convolution neural network, training neural network, validating and testing neural network model.

【技术实现步骤摘要】
一种基于预设模板的商品匹配及数量回归识别算法
本专利技术属于计算机视觉图像识别
，具体是一种基于预设模板的商品匹配及数量回归识别算法。
技术介绍
随着计算机运算能力的大幅度提升和数据的大规模积累，人工智能技术得以取得突破性的进展，各行各业都开始应用人工智能技术来提高工作效率，从而降低企业运营成本。尤其在零售领域，如何应用人工智能技术来降低运营成本并让商品触手可及，开创一种新零售模式便成为了行业里的热点研究领域。同时随着近几年科研人员在计算机视觉领域取得的研究成果，尤其是利用可进行深度学习的卷积神经网络图像识别技术，可以对顾客购买的商品进行自动识别，其识别精度亦可达到商业应用级别。另一方面，随着物联网技术和云计算的普及，以及结合完善的电子在线支付系统，在真实场景中大规模应用这种技术，例如通过分析安置于售货柜内的摄像头所采集到的图片数据来对顾客消费行为进行结算，整个购物过程完全由计算机控制，已经完全变得可行。代表新零售产业模式的智能无人售货的时代已经到来。计算机视觉技术，即基于数字图片计算来实现类似于人类视觉系统的功能。而基于深度学习神经网络的图像识别技术，具有强大的特征提取能力，能够通过利用大规模人工标注的图片数据集进行监督学习，通过对单张图片计算所提取到的深度特征进行识别，来判断图像中物品的所属类别。同时也可直接根据给定的目标物品，通过在丰富的深度特征层面来进行物品的匹配，找到与目标物品一样或者相似的物品，而无需单独对物品进行识别分类。因此基于给定模板，进行图片匹配，可实现对图片的检索功能。在此基础上，给定目标物品图片，基于针对源图片中相应物品的匹配以及统计回归，以此达到在零售行业中对货品的库存进行盘点。公开号为CN105678608A的中国专利公开了一种图片匹配方法及装置，该专利技术通过接收用户终端发送的图片，对图片中所包含的至少一种产品进行识别，然后该识别产品作为匹配产品，从预存的产品信息数据库中查找出包含待匹配产品的信息，发送回客户端进行显示；申请号为201210228711.5的专利公开了一种基于手持终端的图像检索方法和系统，该专利技术通过接收用户手持终端拍摄的照片，利用数据库中已有图片与用户所拍摄的图片进行匹配，以发现用户所拍摄的物体或者场景，从而找出用户的兴趣点或者拍摄位置。这两个专利技术都是根据给定目标图片去数据库中进行匹配，找出与其相似的图片或者场景，并把与之相关的信息发送回客户端，只是实现了图片的检索功能，目标匹配图片与数据库中的图片是一一对应的关系，即一整张图片去匹配另外一整张图片。对于单物体图片去匹配多物体图片的场景，并没有相应的解决方案。即待匹配图片只包含单个物体，而与之进行匹配的图片却包含多种不同物体。
技术实现思路
本专利技术的目的是针对现有技术存在的问题，提供一种基于预设模板的商品匹配及数量回归识别算法，通过构建一个深度学习神经网络架构，提取出源图片中商品的深度特征信息，并在深度特征层面与目标商品的特征ID进行相关卷积操作，从而识别回归出该商品在图片中的个体数量，能满足单物体图片去匹配多物体图片的场景要求，不仅能从多物体图片中识别出目标物体，还能识别出目标物体在多物体图片中的个体数量。为实现上述目的，本专利技术采用的技术方案是：一种基于预设模板的商品匹配及数量回归识别算法，通过构建一个深度学习神经网络架构，提取出源图片中商品的深度特征信息，并在深度特征层面与目标商品的特征ID进行相关卷积操作，从而识别回归出该商品在图片中的个体数量；具体包括以下步骤：S1，采集训练数据，所述训练数据包括摄像头采集的源图片数据集和商品库中代表每种商品的单商品图片数据集；S2，生成商品库商品特征ID，对商品库中的每种商品进行深度特征提取，获取每种商品的特征ID信息，用来在整个商品库中唯一表征该商品；S3，构建深度卷积神经网络，所述神经网络为“Y”形双输入单输出的神经网络，其中一个输入为摄像头采集的源图片，另一个输入为待匹配的目标商品特征ID信息；输出为所述目标商品在源图片中的数量；S4，训练神经网络，在训练之前，为每张源图片选定一个预设匹配模板，即选定一组不同种类的商品组合，统计该组合中每种商品在源图片中对应的数量；然后将源图片和其对应的预设匹配模板同时输入神经网络进行训练，得到商品匹配识别模型；S5，训练完成后，将源图片输入商品匹配识别模型中，即可动态的根据所选定的待匹配商品计算得到该商品在源图片中对应的个体数量。具体地，步骤S1中，所述源图片数据集通过货柜内置的摄像头进行拍摄采集，然后通过人工标注出每张源图片中各商品的种类及对应的数量；所述单商品图片数据集通过单独拍摄或者剪裁的方式，获取商品库中每种商品所对应的单商品图片，所述单商品图片用于对商品库中的商品信息进行编码。具体地，步骤S3中，构建深度卷积神经网络之后，将所述源图片数据集分为三类，分别为训练集、验证集和测试集；所述训练集用于训练神经网络；所述验证集用于验证神经网络在训练过程中的识别精度；所述测试集用于测试神经网络训练完成后的识别精度。具体地，步骤S4中，训练神经网络的方法为：首先，对源图片进行深度特征提取，获取源图片中所有商品的深度特征信息，生成深度特征图；再分别将预设匹配模板中每个待匹配的商品特征ID作为卷积核在深度特征图上进行相关卷积操作，从而在深度特征层面将待匹配商品图片与源图片进行特征匹配与融合，即将待匹配商品的特征ID信息融合进深度特征图中；最后对卷积操作之后的深度特征图进行识别，从而回归计算出待匹配商品在该源图片中的个体数目。进一步地，所述神经网络利用反向传播算法进行参数的梯度更新，通过调整学习率来控制参数更新的幅度，采用Adam优化算法来实现网络参数的优化。具体地，步骤S5中，训练完成后，需要先对神经网络的识别精度进行测试，若识别精度达到预期要求即可停止神经网络的训练；若识别精度未达到预期要求，则继续优化神经网络模型。本专利技术总的技术方案主要包括：商品库商品特征ID生成，预设商品匹配模板，特征提取、匹配、融合，以及特征识别与回归计算。与现有技术相比，本专利技术的有益效果是：本专利技术通过构建一个深度学习神经网络架构，对商品库中的每种商品进行深度特征提取，获取每种商品的特征ID信息，再从商品库中选出一定数量不同种类的待匹配的商品，将它们所对应的特征ID组合作为需要进行匹配的商品预设模板；然后将预设模板中每个商品所对应的特征ID作为卷积核，分别在该深度特征图上进行相关卷积操作，从而识别回归出该商品在图片中的个体数量，能满足单个商品图片去匹配多种商品图片的场景要求，不仅能从多物体图片中识别出目标物体，还能识别出目标物体在多物体图片中的个体数量。附图说明图1为本专利技术一种基于预设模板的商品匹配及数量回归识别算法的流程示意框图；图2为本实施例中深度卷积神经网络模型架构示意图。具体实施方式下面将结合本专利技术中的附图，对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本专利技术保护的范围。如图1、2所示，本实施例提供了一种基于预设模板的商品匹配及数量回归识别算法，本算法主要基于Keras/TensorFl本文档来自技高网...

【技术保护点】
1.一种基于预设模板的商品匹配及数量回归识别算法，其特征在于，包括以下步骤：S1，采集训练数据，所述训练数据包括摄像头采集的源图片数据集和商品库中代表每种商品的单商品图片数据集；S2，生成商品库商品特征ID，对商品库中的每种商品进行深度特征提取，获取每种商品的特征ID信息；S3，构建深度卷积神经网络，所述神经网络为“Y”形双输入单输出的神经网络，其中一个输入为摄像头采集的源图片，另一个输入为待匹配的目标商品特征ID信息；输出为所述目标商品在源图片中的数量；S4，训练神经网络，在训练之前，为每张源图片选定一个预设匹配模板，即选定一组不同种类的商品组合，统计该组合中每种商品在源图片中对应的数量；然后将源图片和其对应的预设匹配模板同时输入神经网络进行训练，得到商品匹配识别模型；S5，训练完成后，将源图片输入商品匹配识别模型中，即可动态的根据所选定的待匹配商品计算得到该商品在源图片中对应的个体数量。

【技术特征摘要】
1.一种基于预设模板的商品匹配及数量回归识别算法，其特征在于，包括以下步骤：S1，采集训练数据，所述训练数据包括摄像头采集的源图片数据集和商品库中代表每种商品的单商品图片数据集；S2，生成商品库商品特征ID，对商品库中的每种商品进行深度特征提取，获取每种商品的特征ID信息；S3，构建深度卷积神经网络，所述神经网络为“Y”形双输入单输出的神经网络，其中一个输入为摄像头采集的源图片，另一个输入为待匹配的目标商品特征ID信息；输出为所述目标商品在源图片中的数量；S4，训练神经网络，在训练之前，为每张源图片选定一个预设匹配模板，即选定一组不同种类的商品组合，统计该组合中每种商品在源图片中对应的数量；然后将源图片和其对应的预设匹配模板同时输入神经网络进行训练，得到商品匹配识别模型；S5，训练完成后，将源图片输入商品匹配识别模型中，即可动态的根据所选定的待匹配商品计算得到该商品在源图片中对应的个体数量。2.根据权利要求1所述的一种基于预设模板的商品匹配及数量回归识别算法，其特征在于，步骤S1中，所述源图片数据集通过货柜内置的摄像头进行拍摄采集，然后通过人工标注出每张源图片中各商品的种类及对应的数量；所述单商品图片数据集通过单独拍摄或者剪裁的方式，获取商品库中每种商品所对应的单商品图片，所述单商品图片用于对商品库中的商品信息进行编码。3.根据权利要求1所述的一种基...

【专利技术属性】
技术研发人员：蔡丁丁，方无迪，唐开，
申请(专利权)人：武汉市哈哈便利科技有限公司，
类型：发明
国别省市：湖北,42