一种小样本下复杂环境的目标识别方法技术

本发明专利技术涉及一种小样本下复杂环境的目标识别方法，属于图像处理技术领域。该方法包括：1)数据扩充，具体包括：S11：构建并训练GAN；S12：GAN网络训练完成后，将GAN生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为YOLOV3的输入；2)目标识别，具体包括：S21：构建并训练YOLOV3网络；S22：在对YOLOV3网络的坐标、置信度和分类训练完成后，将新数据集输入到YOLOV3网络中，对图片中最终剩下的检测框进行NMS处理，删去多余的框，输出带有检测框的图片。本发明专利技术能够解决小样本下复杂环境难清楚识别目标的问题。

【技术实现步骤摘要】
一种小样本下复杂环境的目标识别方法
本专利技术属于图像处理
，涉及一种小样本下复杂环境的目标识别方法。
技术介绍
在实际工程中，采集获得的数据样本通常不充足，导致模型学习不足，出现过拟合状态。复杂场景下，会出现曝光过度、正样本数量大于负样本的情况，在这种情况下，亟需一种能解决小样本在复杂环境下的目标识别方法。近几年，基于深度学习的识别技术得到很快发展，尤其以GoogleNet、VGG、ResNet、SENet为代表的深度卷积分类网络在工业界和学术界都取得了巨大的成功。相比于传统的图像分类识别技术，深度卷积分类网络使得特征提取和特征分类统一成一个整体框架联合训练，从而避免了手动提取特征和传统识别方法存在的语义鸿沟问题。然而，这些分类模型为端到端的监督模型，其较高的准确率依赖于大量的有标签数据，在数据稀少的情况下，模型很容易过拟合，得到很差的泛化结果和较低的准确率，数据增强和正则化技术只能缓解而无法从根本上解决小样本的目标识别问题。为了解决采集样本数量少的问题，目前容易想到采用生成式对抗网络(GenerativeAdversarialNetworks,GAN)来扩充样本数据，GAN网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块：生成模型(GenerativeModel)和判别模型(DiscriminativeModel)的互相博弈学习产生相当好的输出，从而得到扩充后的样本。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种小样本下复杂环境的目标识别方法，通过GAN网络来扩充样本数据，解决难采集样本的问题；然后将扩充后的样本数据输入到YOLOV3网络，通过学习boundingbox中心点的偏移来提高网络自身的识别能力，从而解决小样本下复杂环境难清楚识别目标的问题。为达到上述目的，本专利技术提供如下技术方案：一种小样本下复杂环境的目标识别方法，包括以下步骤：S1：数据扩充，具体包括：S11：构建并训练GAN网络；S12：GAN网络训练完成后，将GAN生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为YOLOV3的输入；S2：目标识别，具体包括：S21：构建并训练YOLOV3网络；S22：在对YOLOV3网络的坐标、置信度和分类训练完成后，将新数据集输入到YOLOV3网络中，对图片中最终剩下的检测框进行NMS处理，删去多余的框，输出带有检测框的图片。进一步，步骤S11中，构建的GAN网络包含生成器C和判别器T；生成器C有一个输入，即符合某种概率分布的噪声数据，例如高斯分布、伯努利分布、均匀分布等，这里假设噪声数据符合高斯分布，C的作用是根据输入的噪声数据来生成新的图片；判别器T有两个输入，一个是真实数据集，真实数据集的标签自动设为1，另一个输入是生成器C生成的数据，标签自动设为0，T的作用是尽可能地识别出真实数据与生成器生成的数据，可以认为是一个二分类的网络；GAN网络的损失函数为：其中，t～Atrue(t)表示数据t来自于真实数据的数据集T(t)；n～Anoise(n)表示数据n来自于生成器C所生成的数据集C(n)。进一步，步骤S11中，训练GAN网络是：采用单独交替迭代训练的模式训练生成器C和判别器T；训练开始前，随机初始化生成器C，并对判别器T进行预训练，使其在开始训练时就具有一定的分类能力；GAN网络训练的具体步骤为：1)固定生成器C，训练判别器T，循环执行下列步骤K次；①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；②从真实数据集Atrue(t)中采样t个对象，产生集合t～Atrue(t)；③将n～Anoise(n)输入GAN中，生成新的数据集合C(n)；④将C(n)和t～Atrue(t)输入T，以下列公式为损失函数进行训练，损失函数类似二分类网络，使T判别时，倾向于使Atrue(t)中数据的得分接近1，C(n)中数据的得分接近0；采用交叉熵损失来作为损失函数，梯度下降的方式更新网络参数，循环K次，来找到在当前GAN的情况下的最优判别器T；2)固定判别器T，训练生成器C，执行下列步骤一次；①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；②将n～Anoise(n)输入C中，输出的数据记为C(n)；③从C(n)和Atrue(t)中抽样出n个数据，构成集合输入到T中；④根据下列公式的损失函数和T的输出结果来对C进行训练，采用梯度下降更新网络参数；损失函数目的是希望找到在当前判别器的条件下，找到真实数据集Atrue(t)和C的输出C(n)两个数据集之间的KL散度最小的网络参数；因为在训练生成器G时固定了判别器T的参数不变，所以C根据T的判别结果T(C(n))来优化；3)单次训练过程结束，返回开始，再次进行训练。进一步，步骤S21中，构建的YOLOV3网络是：主干网络为53层的darknet，采用残差结构和小卷积核提取图片特征，并使用特征金字塔结构，设置三个不同尺寸的检测层分别针对较大目标和较小目标进行检测。进一步，步骤S21中，训练YOLOV3网络具体包括：1)使用K_means聚类算法，得出数据集的聚类中心，设为anchors的值；2)使用随机resize进行数据增强，把输入的图片尺寸调整到16的任意倍数；3)将图片输入网络中，经过Darknet53提取图片的特征，把特征图片划分为三个不同数量的单元格，并分别把提取出的特征送到三个YOLO检测层中，输出带有YOLO层所画预测框的图；4)对比YOLO层所画预测框和anchor的坐标，采用logistic方式回归坐标偏移量，使用下列四个式子来计算：其中，Rm和Rn是预测框左上角单元格的坐标，sigmoid(Om)和sigmoid(On)是预测框中心点坐标较于anchor的中心坐标的偏移量，Om和On是预测框中心点的坐标，bm和bn就是归一化后预测框中心相对于单元格左上角坐标的值，Aw和Ah是anchor的宽高，Ow和Oh是检测框的宽高，得到的bw与bh为归一化后预测框的宽高相对于anchor宽高的值；5)同时使用logistic回归对每个检测框中存在物体的可能性进行评分，记为置信度，选出置信度最高的检测框保留，其余框删除；6)置信度评分后，网络根据分类的损失函数对检测框中的物体进行分类；进一步，训练YOLOV3网络的步骤4)中，中心坐标和宽高的损失函数为：其中，αexit为中心坐标损失函数的权重系数，l*l表示特征图被分割成的单元格的个数，K代表预测框的个数，是判断第a个单元格的第b个预测框是否负责检测当前物体，有物体时值为1，否则为0；然后采用平方差误差，其中和是本文档来自技高网...

【技术保护点】
1.一种小样本下复杂环境的目标识别方法，其特征在于，该方法包括以下步骤：/nS1：数据扩充，具体包括：/nS11：构建并训练生成式对抗网络(Generative Adversarial Networks,GAN)；/nS12：GAN网络训练完成后，将GAN生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为YOLOV3的输入；/nS2：目标识别，具体包括：/nS21：构建并训练YOLOV3网络；/nS22：在对YOLOV3网络的坐标、置信度和分类训练完成后，将新数据集输入到YOLOV3网络中，对图片中最终剩下的检测框进行NMS处理，删去多余的框，输出带有检测框的图片。/n

【技术特征摘要】
1.一种小样本下复杂环境的目标识别方法，其特征在于，该方法包括以下步骤：
S1：数据扩充，具体包括：
S11：构建并训练生成式对抗网络(GenerativeAdversarialNetworks,GAN)；
S12：GAN网络训练完成后，将GAN生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为YOLOV3的输入；
S2：目标识别，具体包括：
S21：构建并训练YOLOV3网络；
S22：在对YOLOV3网络的坐标、置信度和分类训练完成后，将新数据集输入到YOLOV3网络中，对图片中最终剩下的检测框进行NMS处理，删去多余的框，输出带有检测框的图片。


2.根据权利要求1所述的一种小样本下复杂环境的目标识别方法，其特征在于，步骤S11中，构建的GAN网络包含生成器C和判别器T；生成器C有一个输入，即符合某种概率分布的噪声数据，C的作用是根据输入的噪声数据来生成新的图片；判别器T有两个输入，一个是真实数据集，真实数据集的标签自动设为1，另一个输入是生成器C生成的数据，标签自动设为0，T的作用是识别出真实数据与生成器生成的数据；
GAN网络的损失函数为：



其中，t～Atrue(t)表示数据t来自于真实数据的数据集T(t)；n～Anoise(n)表示数据n来自于生成器C所生成的数据集C(n)。


3.根据权利要求2所述的一种小样本下复杂环境的目标识别方法，其特征在于，步骤S11中，训练GAN网络是：采用单独交替迭代训练的模式训练生成器C和判别器T；训练开始前，随机初始化生成器C，并对判别器T进行预训练，使其在开始训练时就具有一定的分类能力；
GAN网络训练的具体步骤为：
1)固定生成器C，训练判别器T，循环执行下列步骤K次；
①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；
②从真实数据集Atrue(t)中采样t个对象，产生集合t～Atrue(t)；
③将n～Anoise(n)输入GAN中，生成新的数据集合C(n)；
④将C(n)和t～Atrue(t)输入T，以下列公式为损失函数进行训练，损失函数类似二分类网络，使T判别时，倾向于使Atrue(t)中数据的得分接近1，C(n)中数据的得分接近0；



采用交叉熵损失来作为损失函数，梯度下降的方式更新网络参数，循环K次，来找到在当前GAN的情况下的最优判别器T；
2)固定判别器T，训练生成器C，执行下列步骤一次；
①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；
②将n～Anoise(n)输入C中，输出的数据记为C(n)；
③从C(n)和Atrue(t)中抽样出n个数据，构成集合输入到T中；
④根据下列公式的损失函数和T的输出结果来对C进行训练，采用梯度下降更新网络参数；



3)单次训练过程结束，返回开始，再次进行训练。


4.根据权利要求1所述的一种小样本下复杂环境的目标识别方法，其特征在于，步骤S21中，构建的YOLOV3网络是：主干网络为53层的...

【专利技术属性】
技术研发人员：姚远，郑志浩，张学睿，张帆，尚明生，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，
类型：发明
国别省市：重庆;50