货物检测方法、装置、系统、电子设备及存储介质制造方法及图纸

本申请提供一种货物检测方法、装置、系统、电子设备及存储介质。该方法包括：获取摄像组件采集到的仓储区域内的视频流数据；按照预定频率获取视频流数据中的至少一个视频帧图像；将至少一个视频帧图像输入至预训练得到的货物识别模型中，以得到货物识别模型输出的货物识别结果，其中，货物识别模型采用改进后的残差神经网络模型作为初始训练模型；根据货物识别结果确定仓储区域是否存在货物，以及货物在仓储区域的存放位置。可以实现逐视频帧图像的识别检测，准确完成仓储场景中的货物识别检测任务，节约了货物识别设备的开发时间和计算能力。力。力。

【技术实现步骤摘要】
货物检测方法、装置、系统、电子设备及存储介质


[0001]本申请涉及目标识别技术，尤其涉及一种货物检测方法、装置、系统、电子设备及存储介质。

技术介绍

[0002]随着神经网络技术的发展，可以自动化实现目标识别和分类，例如，给定一张图片或一段视频，可以判断该图像或视频中包含什么类别的目标。
[0003]在仓储库房内部场景中，若要识别其中的货物与非货物部分，往往存在货物外观多样化、外包装与环境颜色接近、光照阴影效果不平滑、标牌等物体遮挡货物等问题。
[0004]因而，传统的图像处理技术(例如OpenCV等)很难在仓储库房类场景中有效地区分出货物所占的部分。

技术实现思路

[0005]本申请提供一种货物检测方法、装置、系统、电子设备及存储介质，可以实现逐视频帧图像的识别检测，准确完成仓储场景中的货物识别检测任务，节约了货物识别设备的开发时间和计算能力。
[0006]一方面，本申请提供一种货物检测方法，方法包括：
[0007]获取摄像组件采集到的仓储区域内的视频流数据；
[0008]按照预定频率获取上述视频流数据中的至少一个视频帧图像；
[0009]将上述至少一个视频帧图像输入至预训练得到的货物识别模型中，以得到上述货物识别模型输出的货物识别结果，其中，上述货物识别模型采用改进后的残差神经网络模型作为初始训练模型；
[0010]根据上述货物识别结果确定上述仓储区域是否存在货物，以及货物在上述仓储区域的存放位置。
[0011]另一方面，本申请提供一种货物检测装置，装置包括：
[0012]第一获取模块，用于获取摄像组件采集到的仓储区域内的视频流数据；
[0013]第二获取模块，用于获取按照预定频率获取上述视频流数据中的至少一个视频帧图像；
[0014]识别模块，用于将上述至少一个视频帧图像输入至预训练得到的货物识别模型中，以得到上述货物识别模型输出的货物识别结果，其中，上述货物识别模型采用改进后的残差神经网络模型作为初始训练模型；
[0015]确定模块，用于根据上述货物识别结果确定上述仓储区域是否存在货物，以及货物在上述仓储区域的存放位置。
[0016]另一方面，本申请提供一种电子设备，包括：处理器，以及与上述处理器连接的存储器；上述存储器存储计算机执行指令；上述处理器执行上述存储器存储的计算机执行指令，以实现如任一项上述的方法。
[0017]另一方面，本申请提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机执行指令，上述计算机执行指令被处理器执行时用于实现如任一项上述的方法。
[0018]另一方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现任一项上述的方法。
[0019]本申请提供的货物检测方法，采用预先构建的改进后ResNet残差神经网络结构，投入预先确定的训练参数，得到预训练的货物识别模型。根据货物识别需求，控制预先设置的摄像组件采集仓储区域的视频流数据，以接收摄像组件上传的视频流数据，再按照预定定频率抽取得到至少一个视频帧图像。进而，可以采用货物识别模型识别至少一个视频帧图像，得到货物识别模型输出的货物识别结果。
[0020]本申请实施例，采用改进后的深度神经网络技术，以准确完成仓储场景中的货物识别检测任务，可以实现逐视频帧图像的识别检测，节约了识别设备的开发时间和计算能力，并可以实现较好的货物识别效果。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0022]图1是本专利技术实施例所提供的一种货物检测方法的流程示意图；
[0023]图2为本申请实施例提供的一种可选的货物识别设备的识别场景示意图；
[0024]图3是本专利技术实施例所提供的一种可选的改进后的残差神经网络模型的框架示意图；
[0025]图4为本申请实施例提供的一种货物检测装置的结构框图；
[0026]图5为本申请实施例提供的一种电子设备的结构示意图。
[0027]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0028]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0029]首先对本申请所涉及的名词进行解释：
[0030]图像分类(Image C l ass i f i cat i on)，是人工智能图像识别与处理的一类任务，需要识别并输出整张图像包含的物体的类别。从卷积神经网络(Convo l ut i ona l Neura l Network)出现之后，此类算法蓬勃发展，并在一些较困难的识别场景中取得了超越人工分类的效果。
[0031]语义分割(Semant i c Segmentat i on)，又名图像分割(Image Segmentat i on)，是一种将属于同一类的图像部分聚集在一起的任务，一般需要针对每个图像像素作出
分类。
[0032]ResNet系列算法，是指通过在深层神经网络中使用一种名为残差网络模型Res i dua l Network的结构，对抗反向传播算法计算过程中梯度数量级变化的问题，以在保留深层神经网络强大特征提取能力的前提下提高网络权重的收敛速度。
[0033]全卷积网络：全卷积网络(Fu l l y Convo l ut i ona l Network)主要用于语义分割任务，一般由提取和解释图像特征的下采样路径和支持在原图像中输出定位(Loca l i zat i on)的上采样路径组成。此前的图像分类网络往往在输出结果之前采用一层全连接网络来将获取到的图像特征整理成表示类别的单维向量，这一结构事实上限制了输入图像的尺寸；全卷积网络则放弃了这一结构，转而采用卷积层来代替，使其可用于多种分辨率的图像，且若使用反卷积或上采样层则最终可以完成对原图像中关键点的识别或语义分割任务。
[0034]随着近年来人工智能领域图像分类算法的快速发展，涌现出了诸如GoogLeNet、ResNet等优秀的分类算法。在此类算法中，通常存在多层特征提取网络，随着层数的增加其神经元数量逐步下降，而特征维数逐渐上升。由于这种特征提取网络的结构较好地保留了各分辨率下的图像不同特征，因此其往往具有原始分辨率下逐像素对场景中物体进行分类的潜力，其中，原始算法只是对整张图片输出一个整数表示的分类结果。
[0035]专利技术人认识到上述问题之后，尝试截取部分ResNet网络模型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货物检测方法，其特征在于，所述方法包括：获取摄像组件采集到的仓储区域内的视频流数据；按照预定频率获取所述视频流数据中的至少一个视频帧图像；将所述至少一个视频帧图像输入至预训练得到的货物识别模型中，以得到所述货物识别模型输出的货物识别结果，其中，所述货物识别模型采用改进后的残差神经网络模型作为初始训练模型；根据所述货物识别结果确定所述仓储区域是否存在货物，以及货物在所述仓储区域的存放位置。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取预先拍摄的仓储场景中的多个训练样本图像，其中，所述训练样本图像中至少包括：货物；对多个所述训练样本图像中的货物进行标注，以得到多个所述训练样本图像各自的标注消息，其中，所述标注信息用于标注所述训练样本图像中的货物；采用多个所述训练样本图像及各自对应的标注信息，对所述初始神经网络模型进行训练，以构建得到所述货物识别模型。3.根据权利要求1所述的方法，其特征在于，所述方法通过如下步骤得到所述改进后的残差神经网络模型：删除残差神经网络模型中的平均池化层和全连接分类层；将删除平均池化层和全连接分类层后的残差神经网络模型，连接全卷积网络模型，得到所述改进后的残差神经网络模型，其中，所述全卷积网络模型的卷积层参数经预定初始化处理。4.根据权利要求1至3中任意一项所述的方法，其特征在于，在采用多个所述训练样本图像及各自对应的标注信息，对所述初始神经网络模型进行训练，以得到所述货物识别模型之后，所述方法还包括：获取训练所述初始神经网络模型的训练时长和平均误差；若所述训练时长达到预定时长，所述平均误差满足损失函数要求，则将训练参数和所述货物识别模型存储至数据库，其中，所述训练参数包括：多个所述训练样本图像及各自对应的标注信息。5.根据权利要求1至3中任意一项所述的方法，其特征在于...

【专利技术属性】
技术研发人员：高峰，易康睿，李壮志，杜轩轩，孔令韬，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：