一种基于选择与生成的数据增广方法及图像分类方法技术

本发明专利技术提出一种基于选择与生成的数据增广方法及图像分类方法，包括以下步骤：对输入的图像进行分割，生成多个图像块以增加训练图像的数量；然后对得到的图像块进行过滤，即利用卷积神经网络进行分类，选择与目标对象相关的图像块；再通过多示例学习对上一步过滤得到的图像块进行再选择，选择出包含对象大部分区域的图像块；最后，利用生成式对抗网络学习图像与文本之间的对应关系，利用文本描述生成更多的新图像，进一步扩充训练图像的多样性。本发明专利技术仅使用一个训练样本及其文本描述信息，通过对数据进行分割、过滤、再选择和生成，使得图像数据多样性扩增。利用扩增后的图像数据进行图像分类模型的训练，实现了一个训练样本条件下的图像分类。

【技术实现步骤摘要】
一种基于选择与生成的数据增广方法及图像分类方法
本专利技术涉及图像分析与识别
，具体涉及一种基于选择与生成的数据增广方法及采用该方法的图像分类方法。
技术介绍
近年来，随着互联网技术与多媒体技术的迅速发展，互联网图像呈现爆炸式增长。图像分类通过对图片的内容分析并给出其类别信息，是计算机视觉领域的研究难点问题。传统的图像分类方法主要包括两个阶段：特征提取和分类器预测。在特征提取阶段，对输入的图像进行特征的提取，特征提取的方式通常分为两种：一种是密集型的特征提取，一种是针对兴趣点进行的特征提取，如提取SIFT关键点信息，进一步量化得到图像的视觉词特征描述，即词袋特征(BagofWord，BoW)。在分类器预测阶段，基于BoW特征训练得到一个能够进行图像类别预测的分类器，如支持向量机(SupportVectorMachine，SVM)，然后利用训练得到的分类器对图像进行分类。为了获得更好的分类效果，通常会利用图像中视觉对象(如图像中的鸟、车等对象)的位置信息以及视觉对象的部件(如鸟的头部、尾巴等部件)标注信息来训练对象分类器和局部分类器。特征的优劣影响了图像分类效果的优劣，而该特征主本文档来自技高网...

【技术保护点】
1.一种基于选择与生成的数据增广方法，其特征在于，包括以下步骤：(1)对输入的图像进行分割，生成多个图像块以增加训练图像的数量；(2)对步骤(1)得到的图像块进行过滤，选择出与目标对象相关的图像块；(3)通过多示例学习对步骤(2)过滤得到的图像块进行再选择，选择出包含目标对象大部分区域的图像块；(4)利用生成式对抗网络学习步骤(3)得到的图像与文本之间的对应关系，利用文本描述生成更多的与目标对象相关的新图像，进一步扩充训练图像的多样性。

【技术特征摘要】
1.一种基于选择与生成的数据增广方法，其特征在于，包括以下步骤：(1)对输入的图像进行分割，生成多个图像块以增加训练图像的数量；(2)对步骤(1)得到的图像块进行过滤，选择出与目标对象相关的图像块；(3)通过多示例学习对步骤(2)过滤得到的图像块进行再选择，选择出包含目标对象大部分区域的图像块；(4)利用生成式对抗网络学习步骤(3)得到的图像与文本之间的对应关系，利用文本描述生成更多的与目标对象相关的新图像，进一步扩充训练图像的多样性。2.如权利要求1所述的方法，其特征在于，所述步骤(1)中，利用选择搜索算法对训练图像生成图像块，对图像块进行伪随机排序，选择前N个图像块作为训练图像的扩充。3.如权利要求1所述的方法，其特征在于，所述步骤(2)中，对于步骤(1)生成的图像块，利用训练得到的卷积神经网络模型直接计算出特征，并判断是否是与当前目标对象相关的图像块。4.如权利要求3所述的方法，其特征在于，所述步骤(2)中，将生成的图像块输入到训练好的卷积神经网络模型，卷积神经网络的输出为输出层神经元对于该图像块的响应强度，并利用如下公式得到输入图像块的预测得分，最后根据得分来判断是否是与当前目标对象相关的图像块；其中，h(x)表示输入图像块的预测得分，x对应于输入图像块经过卷积神经网络模型得到的顶层神经元输出向量，k表示对应的分类类别数目，xc表示目标对象对应神经元的输出。5.如权利要求1所述的方法，其特征在于，所述步骤(3...

【专利技术属性】
技术研发人员：彭宇新，何相腾，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11