一种像素增强的神经网络的改进难例挖掘训练方法及系统技术方案

本发明专利技术公开了一种像素增强的神经网络的改进难例挖掘训练方法，包括步骤：A.确定样本集；B.训练迭代；C.每一个迭代训练结束后得到当前迭代的累加损失值，记为当前迭代损失值，与历史迭代损失值的最小值比较；D.C步骤循环迭代直到达到收敛条件，即得能自动对原图进行图像增强的最优神经网络。本发明专利技术还公开了一种像素增强的神经网络的改进难例挖掘训练系统。本发明专利技术针对千万像素级别的图像进行图像增强神经网络的训练，图像输入不受限制，解决了大尺寸数据集的数据不均衡问题，训练方法准确。

【技术实现步骤摘要】
一种像素增强的神经网络的改进难例挖掘训练方法及系统
本专利技术属于针对千万级像素图片的原尺寸图像增强的神经网络训练方法领域，尤其是涉及一种像素增强的神经网络的改进难例挖掘训练方法及系统。
技术介绍
在图像检测领域里，样本分布不均衡是一个重大技术难点，如果不采取针对性的训练方法，样本分布不均衡会导致训练出来的检测神经网络在某些少数类或者异常类(与其他类别的分布非常不一致)的检测性能下降。目前解决样本分布不均衡的方法有重新采样训练集(欠采样、过采样)、对不同类别样本的损失值按偏向或者类别数量加权、组合小类别样本和大类别样本训练，和本专利技术涉及的难例挖掘<TrainingRegion-basedObjectDetectorswithOnlineHardExam-pleMining>等。前三种方法有个前提是知道哪些样本是什么类别，这个类别有多少个，但在图像增强领域,并没有类别的信息，如一张图的亮度是过曝光或者曝光不足、颜色好看还是不好看是没有量化指标衡量的，完全由人的主观影响，唯一作为参考标准就是真实的增强图(一般由人修图得到)。所以最后一种方法-难例挖掘是目前唯一训练数据分布不均衡的图像增强神经网络的有效方法。原论文<TrainingRegion-basedObjectDetectorswithOnlineHardExampleMining>中提及的难例是针对图像检测神经网络设计的。原理是在每次神经网络训练迭代中，随机抽取N张样本，预测N张样本中物体的分类类别和检测框坐标，并与真实的分类类别和检测框坐标计算损失值，然后根据损失从大到小选取M张样本作为难例样本，计算M张难例样本的损失和梯度，最后通过将难例样本的损失反向传播给神经网络计算出最新的神经网络参数权重，算法流程图见算法流程图1。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种针对千万级像素图片增强神经网络的训练，解决了大尺寸数据集的数据不均衡问题的像素增强的神经网络的改进难例挖掘训练方法及系统。本专利技术解决其技术问题所采用的技术方案是：一种像素增强的神经网络的改进难例挖掘训练方法，包括以下步骤：A.确定样本集：样本集由原图和增强图构成，每一张原图对应一张人工增强图；B.训练迭代：周期性训练样本集，一个训练迭代也就是一个训练周期；一次训练步骤包括：1.从样本集中随机抽取N对样本，对所述样本进行裁剪，得到裁剪集，从裁剪集中得到样本对应的N组裁剪集，根据初始化的损失记忆库的损失值记录，从每一组裁剪集中取得损失最大的一张裁剪小图，即得到N张裁剪小图和对应位置的真实裁剪增强图；2.将选取的N张裁剪小图经过神经网络正向传播得到N张裁剪预测图，计算裁剪预测图和对应位置的真实裁剪增强图的损失，将损失反向传播到神经网络中得到神经网络参数的梯度值，并由优化器重新计算神经网络的参数值；3.保存当前每一对选取的裁剪样本的损失值到损失记忆库，更新损失记忆库中对应裁剪小图的损失值；4.重复1)、2)、3)步骤直到样本都训练过一次，累加每次的损失得到迭代损失值；C.每一个迭代训练结束后得到当前迭代的累加损失值，记为当前迭代损失值，与历史迭代损失值的最小值比较；D.C步骤循环迭代直到达到收敛条件，即得能自动对原图进行图像增强的最优神经网络。进一步的，所述步骤C中，若比最小值小则更新为迭代损失值最小值，保存神经网络参数为当前最优神经网络参数，反之则继续使用当前更新过参数的神经网络进行下一个训练迭代。进一步的，所述步骤D中，收敛条件为等待K个迭代数仍未有最新的迭代损失最小值，K的值等于样本集最大裁剪数的3倍，样本集最大裁剪数由样本集中每张样本图片尺寸和裁剪尺寸决定。进一步的，所述步骤B中，一个训练周期会不断地随机抽样一定数量的样本进行训练，直到训练集里面所有样本都训练完成为止，即完成一次训练迭代。进一步的，所述步骤B中，对样本进行等尺寸裁剪。进一步的，所述步骤A中，人工增强图的方式有色彩增强或清晰度增强。进一步的，所述步骤B中，所述损失值计算方式为两张图片张量RGB维度上的均方误差。进一步的，所述步骤B中，所述梯度值采用随机梯度下降优化器计算得到神经网络最新参数。本专利技术还公开了一种像素增强的神经网络的改进难例挖掘训练系统，包括有：损失记忆库模块：损失记忆库记录样本集内所有裁剪小图的损失值，损失值首先初始化为无限大，再根据训练迭代中抽取到的样本裁剪图所计算的损失值不断更新；训练抽样模块：训练迭代中，从样本集随机抽取N对样本，再从每一对样本中根据当前损失记忆库中的裁剪小图损失值选取对应损失最大的裁剪小图，得到N对裁剪小图，训练N对裁剪小图得到N对裁剪小图的损失值，将其更新到损失记忆库中；训练抽样模块中循环训练迭代，直到收敛或者下降幅度低于阈值，即可得到最优的神经网络，这个神经网络能自动对原图进行图像增强。现有的难例挖掘算法并不适用于千万像素级别图像的图像增强神经网络训练，由于市面上显卡的显存大小限制，一般的图像增强神经网络只支持单次抽样的图片总像素数为300万左右，一张1000千万像素都无法作为输入，更不用说如论文中抽样多张了(深度学习理论上单次迭代中取样本数量越多越好，训练出来的神经网络越准确，如果单次抽样数少的话会导致模型无法收敛等问题)。所以本专利技术通过一种裁剪原图和动态记录裁剪图损失值的方法，实现千万像素级图像的图像增强神经网络的训练，解决大尺寸数据集的数据不均衡问题。本专利技术在每次神经网络迭代中，随机抽取N张样本，并根据损失记忆库选取样本的最大损失裁剪图作为神经网络的输入图，输入到神经网络中得到预测图，计算预测图和真实增强图的损失，反向传播损失到神经网络中并更新神经网络参数权重，最后将当前选取的裁剪样本的损失记录在损失记忆库。如此循环地抽样、裁剪、取样最大损失的裁剪图、预测、计算损失、记录损失，达到训练千万像素级别图片的图像增强神经网络的目的。与现有的难例挖掘方法不同的是本专利技术方法建立了裁剪图损失记忆库机制。每次神经网络训练迭代中，仍然是对原图样本集中随机取样N张，但之后即对原图裁剪得到N个裁剪图集，每个裁剪集中有包含对应原图中所有图片像素，根据损失记忆库的对应裁剪图的损失大小，从每个裁剪图集中各自选取损失最大的裁剪图，之后输入到神经网络中按一般流程计算网络梯度和损失，反向传播损失计算得到神经网络的参数权重，最后记录当前裁剪图的损失到损失记忆库。本专利技术的有益效果是，针对千万像素级别的图像进行图像增强神经网络的训练，图像输入不受限制，解决了大尺寸数据集的数据不均衡问题，训练方法准确。附图说明图1为现有在线难例挖掘-OHEM的算法流程图。图2为本专利技术的算法流程图。图3为本专利技术2组原图和人工增强图的样本集示意图。图4为图3中样本集经过裁剪后的示意图。图5为本专利技术的训练流程示意图。具体实施方式为了使本
的人员更好的理本文档来自技高网...

【技术保护点】
1.一种像素增强的神经网络的改进难例挖掘训练方法，其特征在于包括以下步骤：/nA.确定样本集：样本集由原图和增强图构成，每一张原图对应一张人工增强图；/nB.训练迭代：周期性训练样本集，一个训练迭代也就是一个训练周期；一次训练步骤包括：/n1.从样本集中随机抽取N对样本，对所述样本进行裁剪，得到裁剪集，从裁剪集中得到样本对应的N组裁剪集，根据初始化的损失记忆库的损失值记录，从每一组裁剪集中取得损失最大的一张裁剪小图，即得到N张裁剪小图和对应位置的真实裁剪增强图；/n2.将选取的N张裁剪小图经过神经网络正向传播得到N张裁剪预测图，计算裁剪预测图和对应位置的真实裁剪增强图的损失，将损失反向传播到神经网络中得到神经网络参数的梯度值，并由优化器重新计算神经网络的参数值；/n3.保存当前每一对选取的裁剪样本的损失值到损失记忆库，更新损失记忆库中对应裁剪小图的损失值；/n4.重复1)、2)、3)步骤直到样本都训练过一次，累加每次的损失得到迭代损失值；/nC.每一个迭代训练结束后得到当前迭代的累加损失值，记为当前迭代损失值，与历史迭代损失值的最小值比较；/nD.C步骤循环迭代直到达到收敛条件，即得能自动对原图进行图像增强的最优神经网络。/n...

【技术特征摘要】
1.一种像素增强的神经网络的改进难例挖掘训练方法，其特征在于包括以下步骤：
A.确定样本集：样本集由原图和增强图构成，每一张原图对应一张人工增强图；
B.训练迭代：周期性训练样本集，一个训练迭代也就是一个训练周期；一次训练步骤包括：
1.从样本集中随机抽取N对样本，对所述样本进行裁剪，得到裁剪集，从裁剪集中得到样本对应的N组裁剪集，根据初始化的损失记忆库的损失值记录，从每一组裁剪集中取得损失最大的一张裁剪小图，即得到N张裁剪小图和对应位置的真实裁剪增强图；
2.将选取的N张裁剪小图经过神经网络正向传播得到N张裁剪预测图，计算裁剪预测图和对应位置的真实裁剪增强图的损失，将损失反向传播到神经网络中得到神经网络参数的梯度值，并由优化器重新计算神经网络的参数值；
3.保存当前每一对选取的裁剪样本的损失值到损失记忆库，更新损失记忆库中对应裁剪小图的损失值；
4.重复1)、2)、3)步骤直到样本都训练过一次，累加每次的损失得到迭代损失值；
C.每一个迭代训练结束后得到当前迭代的累加损失值，记为当前迭代损失值，与历史迭代损失值的最小值比较；
D.C步骤循环迭代直到达到收敛条件，即得能自动对原图进行图像增强的最优神经网络。


2.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤C中，若比最小值小则更新为迭代损失值最小值，保存神经网络参数为当前最优神经网络参数，反之则继续使用当前更新过参数的神经网络进行下一个训练迭代。


3.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤D中，收敛条件为等待K个迭代数仍未有最新的迭代损失最小值，K的值等于样本集最大裁剪数的3倍...

【专利技术属性】
技术研发人员：梁栋荣，
申请(专利权)人：杭州火烧云科技有限公司，
类型：发明
国别省市：浙江;33