一种用于小样本图像数据集的小麦白粉病孢子分割方法技术

一种用于小样本图像数据集的小麦白粉病孢子分割方法属于计算机视觉技术领域，解决现有技术不能精确地通过图片进行小麦白粉病病害分析的问题。本发明专利技术主要设计了一种语义分割方法，进行小麦白粉病孢子的图像分割。其中主体包括两个网络，一是用于数据增强的对抗式生成网络模型，一个是用于分割目标小麦白粉病孢子的分割网络模型模型。在对分割模型进行训练时，为了弥补训练数据的不足，需要对图像进行相应的预处理以及使用对抗式生成网络模型及仿射变换进行数据增强。同时为了对目标孢子进行语义分割，也需要通过图像掩码提取出小麦白粉病孢子的轮廓实体用于训练。

【技术实现步骤摘要】
一种用于小样本图像数据集的小麦白粉病孢子分割方法
本专利技术属于计算机视觉
以及孢子分割领域。其中主要涉及的知识包括一些图像预处理、数据增强、神经网络语义分割、对抗式生成网络等。
技术介绍
小麦白粉病是一种常见的小麦病害，白粉病孢子常生长在植物表面。在适当的环境条件下，白粉病孢子可以尽可能长时间的传播，从而造成对植物的伤害——白粉病，它影响植物的生长发育，严重的落叶甚至死亡。小麦白粉病在中国北方和南方各省十分常见，给农作物和经济造成了巨大的损失。目前，已经有智能一体化设备和农业病虫害监测系统实现了小麦白粉病孢子显微图片的采集和分析，但是其分割算法缺少研究，存在分割精度低的问题，并且难以实现语义分割，即从图中分割出目标孢子与背景，去除其他噪音和杂物，因此，如何从图像中准确地分割小麦白粉病孢子，以便进一步对小麦白粉病孢子进行识别，及时分析和获取小麦白粉病的信息，实现小麦白粉病的自动化监测，是当前需要解决的重要问题。在计算机数字图像处理领域内，小麦白粉病孢子目标分割问题可以被归类为图像的二分类语义分割问题，即对图像中的每一个像素进行分类本文档来自技高网...

【技术保护点】
1.一种用于小样本图像数据集的小麦白粉病孢子分割方法，其特征在于，包括：/n步骤1、收集小麦白粉病孢子图像数据集，并对数据集中的数据进行清洗，筛选能够获取包含目标小麦白粉病孢子的图片数据；/n步骤2、将小麦白粉病孢子数据集进行掩码标注后，随机划分为训练集和测试集，将图片和掩码同时进行旋转，随机裁剪，添加随机高斯噪声，亮度调整和对比度增强，得到第一批增强数据；/n步骤3、构建对抗式生成网络模型，以卷积神经网络作为生成器和判别器架构进行训练和生成，选用生成图片中，与小麦白粉病孢子的形状，颜色特征一致的图片，得到第二批增强数据；/n步骤4、构建图像分割模型，在编码器-解码器的结构中加入金字塔池化模块...

【技术特征摘要】
1.一种用于小样本图像数据集的小麦白粉病孢子分割方法，其特征在于，包括：
步骤1、收集小麦白粉病孢子图像数据集，并对数据集中的数据进行清洗，筛选能够获取包含目标小麦白粉病孢子的图片数据；
步骤2、将小麦白粉病孢子数据集进行掩码标注后，随机划分为训练集和测试集，将图片和掩码同时进行旋转，随机裁剪，添加随机高斯噪声，亮度调整和对比度增强，得到第一批增强数据；
步骤3、构建对抗式生成网络模型，以卷积神经网络作为生成器和判别器架构进行训练和生成，选用生成图片中，与小麦白粉病孢子的形状，颜色特征一致的图片，得到第二批增强数据；
步骤4、构建图像分割模型，在编码器-解码器的结构中加入金字塔池化模块和编、解码器连接结构，对步骤2，步骤3中得到的增强数据以及原训练集数据进行训练；
步骤5、对训练生成的模型对测试集进行测试，采用miou指标最高的模型作为结果；miou的计算方式如下：



其中k+1表示包含了背景在内的类别个数，pij表示真实值为i，被误分类成j的像素的数量，则pii表示被正确预测的i类像素的像素数量，pji表示真实值为j，被误分类为i的像素的数量。


2.根据权利要求1所述的一种用于小样本图像数据集的小麦白粉病孢子分割方法，其特征在于，步骤2采取以下步骤：
步骤2.1对所有数据集图像进行掩码标注
步骤2.2随机按总数7:3比例划分为训练集和测试集
步骤2.3对训练集和测试集中的图像和掩码标注同时进行以15°角为间隔变化的角度旋转；
步骤2.4只对训练集和测试集中的图像进行如下操作：添加均值为20-50，均方差为50-100的高斯噪声，对RGB三通道中的像素矩阵进行直方图均衡以增强对比度，对像素值低于50的像素进行亮度增强，变化为原先像素值的3倍；通过以上方式得到原先样本数量的9-10倍数量大小的增强数据样本。


3.根据权利要求1所述的一种用于小样本图像数据集的小麦白粉病孢子分割方法，其特征在于，步骤3具体包括以下步骤：
步骤3.1以全卷积神经网络为架构编写生成器由三个上采样部分组成，出于对样本数量及大小的考虑，本文设计的网络仅在第二次和第三次上采样之后加入了残差模块以提升学习能力，提升生成图片的质量，其中用反卷积进行图像的上采样操作，网络先对输入的100维噪声z进行一个上卷积，100维噪声可看成1*1*100的数据，随后通过反卷积生成128维4*4大小的特征图谱，随后通过两个卷积核大小为4*4，卷积步长为2，卷积核为1的反卷积来进行上采样，分别生成64维8*8和32维16*16的特征图谱，8*8特征图后加入带残差结构的两层卷积核大小为3*3的卷积层进行卷积，16*16的特征图谱后加入带残差结构的四层卷积核大小为3*3的卷积层进行卷积，最后通过卷积核大小为5*5，卷积步长为3的上采样后恢复为48*48*3的生成图片，网络中每个卷积层后加入BN批归一化层以及使用ReLu作为激活函数，最后一层用tanh激活函数，并使用Wasserstein距离作为损失函数，生成器Wasserstein距离定义推导见步骤3.2；
步骤3.2编写判别器，判别器分为三次下采样模块，为生成器的逆向结构，输入为48*48*3的图像，下采样卷积至128维特征图谱后，通过全连接层进行输出分类判别，在激活函数的使用上，前三层使用leakyReLu作为激活函数，最后一层使用Wasserstein距离作为损失函数进行回归，其中Wasserstein距离定义如下:



Pdata和Pg分别是描述真实数据和生成数据的分布，W(Pdata，Pg)表示求真实数据分布和生成数据分布的Wasserstein距离，是Pdata和Pg进行组合的联合分布的集合，其每个边缘分布都是Pdata和Pg的一个联合分布，而对于其中的一个子集γ联合分布，从符合γ分布的样本对(x,y)～γ中进行随机采样得到一个样本对(x,y)，分别对应真实样本和生成样本，并通过计算这对样本对的距离||x-y||，就计算γ分布下，样本的距离期望E(x,y)～γ[||x-y||]，其中||x-y||为对x和y求欧式距离，当x和y为图像矩阵时，其为矩阵所有元素的差的平方和，对于所有可能γ分布的样本对期望进行求和，inf表示对这些集合取到下界，也就是所有能取到的γ中样本对(x,y)求欧式距离后的最小值，作为分布Pdata和Pg之间的Wasserstein距离；本公式用于生成器和判别器中，即可代入Pdata真实数据集合和Pg生成数据集合之间的距离，将此作为损失函数来进行网络优化，由于此定义中的γ分布无法直接求得，需要进行下一步推导；
根据Kantorovich-Rubinstein二元性理论将其写成如下形式：



该公式用来计算测试集中的真实样本数据与生成器生成的样本数据之间的Wasserstein距离，此处引入了Lipschitz连续的概念，Lipschitz连续是指，对连续函数f施加限定条件，其导函数的绝对值不能超过K，K≥0，数学定义为:
|f(x1)-f(x2)|≤K|x1-x2|
x1和x2在公式中表示f函数上任意两点，此时称f的Lipschitz常数为K，公式中||f||L是函数f的Lipschitz常数，sup表示求二者期望差的上确界也就是最大值，在式子中f即表示神经网络对输入x进行映射，其中有来自真实数据的输入x～Pdata及来自网络生成数据的输入x～Pg，公式表示对于满足Lipschitz连续的网络函数f，其Wasserstein距离为使用网络对其输入数据x进行网络映射f后，对两种映射的结果x～Pdataf(x)及x～Pgf(x)求期望后作差，并取其上确界也就是最大值再除以K；在本方法中，用ω表示神经网络中的所有卷积层参数矩阵，f表示神经网络，x～Pdata表示来自训练数据样本集合的样本图片，x～Pg表示来自生成数据样本集合的样本图片，对于判别器，x1和x2为任意测试集真实图像数据，对于生成器，x1和x2为随机的100维高斯噪声，公式近似变形为如下求解形式:



公式表示生成数据与真实数据的Wasserstein距离的K倍就是对真实数据和生成数据在网络参数为ω的神经网络fω的映射下的输出作期望差并取到...

【专利技术属性】
技术研发人员：王波涛，梁鑫诜，李通，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11