基于生成对抗网络和图像融合技术的煤矸数据扩充方法技术

本发明专利技术属于智能矿山开采领域，具体涉及基于生成对抗网络和图像融合技术的煤矸数据扩充方法。通过构建stylegan3网络，并使用深度可分离卷积优化判别器，用于对煤、矸石图像进行增广，后使用图像融合技术，提取随机数量生成的新煤图像、新矸石图像后与背景图像进行随机位置融合，批量生成新煤矸混合图像，提高了煤矸数据的多样性。同时，本发明专利技术方法生成的新煤矸图像与实测煤矸图像具有较高的一致性，能够有效反映实际煤矸图像的特征，有效解决了深度学习过程中煤矸图像训练样本不足的问题。学习过程中煤矸图像训练样本不足的问题。学习过程中煤矸图像训练样本不足的问题。

【技术实现步骤摘要】
基于生成对抗网络和图像融合技术的煤矸数据扩充方法


[0001]本专利技术属于智能矿山开采领域，具体涉及基于生成对抗网络和图像融合技术的煤矸数据扩充方法。

技术介绍

[0002]厚煤层是煤炭开采的主力煤层，主要采用综放开采工艺。目前，综放开采的智能化得到了快速发展，但是作为综放开采的特有流程，放煤过程的智能化程度尚有不足，尤其是煤矸识别这一关键技术。近年来，深度学习迅猛发展，其在计算机视觉领域取得了重大成果；然而，深度学习的前沿成果很少能应用于矿山领域，主要原因在于深度学习是一种数据驱动方法，训练过程需要大型数据集支持，以防止深度学习的模型过度拟合。但是煤矿井下条件复杂多变、煤矸数据样本采集条件苛刻，目前没有公开可用的高质量煤矸数据集支持深度学习模型训练。
[0003]图像数据扩充方法主要分为传统扩充和基于生成对抗网络(GAN)的扩充。传统扩充方法以图像处理为主，主要包括几何和颜色变换、添加噪点和滤波、随机消除、图像混合等，传统扩充方法虽然效率高，但不能从根本上解决煤矸数据多样性不足的问题。生成对抗网络(GAN)通过生成大量与真实数据集分布相同的样本，可以有效解决样本量小、数据不平衡的问题，其中，stylegan是性能最好的生成框架之一，并在多个领域广泛应用。
[0004]可以看出，构建煤矸数据集是一项非常关键的工作，对后续利用深度学习进行煤矸识别研究具有重要意义。因此需要研究一种可以快速、大规模扩充高分辨率、高多样性的煤矸数据的方法，从而为煤矸识别模型研究提供数据支撑。

技术实现思路

[0005]本专利技术针对采用深度学习方法训练神经网络模型时煤矸训练样本数据不足的问题，提出了一种基于生成对抗网络和图像融合技术的煤矸数据扩充方法，该方法可以对原始煤矸图像增广处理，生成具有实际煤矸图像特征的新煤矸图像，提高了煤矸数据的多样性，有利于后续进行煤矸识别研究。具体的，本专利技术的基于生成对抗网络和图像融合技术的煤矸数据扩充方法，包括以下步骤：
[0006]步骤1，在实验室分别获取原始煤图像、原始矸石图像与原始煤矸混合图像；
[0007]步骤2，构建生成对抗网络—stylegan3网络，包括：a.构建stylegan3网络生成器；b.构建并改进stylegan3网络判别器，采用深度可分离卷积替换3
×
3常规卷积；所述深度可分离卷积包括深度卷积depthwise convolution和点卷积pointwise convolution，深度卷积depthwise convolution对输入特征图的每个通道分别使用一个卷积核，然后将所有卷积核的输出再进行拼接得到它的最终输出，点卷积是核大小为1
×
1的常规卷积；c.训练改进后的stylegan3网络，将原始煤图像、原始矸石图像分别送入改进后的stylegan3网络中训练，直至生成器和判别器达到纳什均衡，通过训练得到煤图像数据增广模型和矸石图像数据增广模型；
[0008]步骤3，使用煤图像数据增广模型与矸石图像数据增广模型分别对原始煤图像、原始矸石图像进行数据增广，批量生成新煤图像、新矸石图像，使用Rembg库将生成的新煤图像、新矸石图像与背景进行分离，并以png的格式进行保存；
[0009]步骤4，使用图像融合技术，提取随机数量的新煤图像、新矸石图像与背景图像进行随机位置融合，批量生成新煤矸混合图像。
[0010]优选的，步骤1中，获取一定数量的煤样本、矸石样本，并分为两部分，一部分用于制作原始煤图像、原始矸石图像，另一部分用于制作原始煤矸混合图像。
[0011]优选的，步骤1中，对原始煤图像和原始矸石图像以图像中的煤、矸石为重点进行窗口裁切并缩放至256
×
256，对原始煤矸混合图像以图像中的煤矸为重点进行窗口裁切并缩放至1024
×
1024。
[0012]优选的，步骤2b中，改进后的stylegan3网络判别器由8个子网络组成，第一个子网络FromRGB的作用为接收stylegan3网络生成器传输的图像，最后一个子网络由小批量标准差层Minibatch Stddev、深度可分离卷积层DWS Conv、全连接层FC组成，其中小批量标准差层用于提高输出的多样性，其余的六个子网络均由深度可分离卷积层DWS Conv和下采样层组成。
[0013]优选的，所述步骤4具体包括：a.设定基础参数，包括新煤图像所在路径、新矸石图像所在路径、背景图像所在路径、抽取新煤图像的数量范围、抽取新矸石图像的数量范围、新煤图像的缩放范围、新矸石图像的缩放范围、输出合成的新煤矸混合图像路径；b.读取背景图像并将背景图像缩放至指定大小；c.读取新煤图像所在路径的所有新煤图像并随机抽取步骤4a所指定数量范围的新煤图像，将抽取的新煤图像逐张按新煤图像的缩放范围随机缩放并保存到numpy数组中；d.读取新矸石图像所在路径的所有新矸石图像并随机抽取步骤4a所指定数量范围的新矸石图像，将抽取的新矸石图像逐张按新矸石图像的缩放范围随机缩放并保存到numpy数组中；e.自numpy数组中抽取缩放后的新煤图像、新矸石图像，然后不完全重合的放置在背景图上并保存。
[0014]优选的，步骤4b中，背景图像缩放至1024
×
1024。
[0015]优选的，步骤4c中，新煤图像的缩放范围为128
×
128～385
×
385。
[0016]优选的，步骤4d中，新矸石图像的缩放范围为128
×
128～385
×
385。
[0017]优选的，步骤4e中，煤、矸石重叠部分以不出超过2/3为宜。
[0018]优选的，步骤4还包括，f.采用FID作为评价指标评价生成新煤矸混合图像的质量，计算实验室获取的原始煤矸混合图像和新煤矸混合图像的特征向量之间距离的度量，其值越小代表生成的新煤矸混合图像质量越佳，具体为
[0019][0020]式中，μ
a
代表真实图像的特征均值，μ
b
代表生成图像的特征均值，Tr代表矩阵的迹，∑a代表真实图像的协方差矩阵，Σb代表生成图像的协方差矩阵。
[0021]本专利技术具有如下有益效果：本专利技术提出的基于生成对抗网络和图像融合技术的煤矸数据扩充方法，通过构建stylegan3网络，并使用深度可分离卷积优化判别器，用于对煤、矸石图像进行增广，后使用图像融合技术，提取随机数量生成的新煤图像、新矸石图像后与背景图像进行随机位置融合，批量生成新煤矸混合图像，提高了煤矸数据的多样性。同时，
本专利技术方法生成的新煤矸图像与实测煤矸图像具有较高的一致性，能够有效反映实际煤矸图像的特征，有效解决了深度学习过程中煤矸图像训练样本不足的问题。
附图说明
[0022]图1为本专利技术基于生成对抗网络和图像融合技术的煤矸数据扩充方法流程图；
[0023]图2a为本专利技术窗口裁切后部分煤图像；
[0024]图2b为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于生成对抗网络和图像融合技术的煤矸数据扩充方法，其特征在于，包括以下步骤：步骤1，在实验室分别获取原始煤图像、原始矸石图像与原始煤矸混合图像；步骤2，构建生成对抗网络—stylegan3网络，包括：a.构建stylegan3网络生成器；b.构建并改进stylegan3网络判别器，采用深度可分离卷积替换3
×
3常规卷积；所述深度可分离卷积包括深度卷积depthwise convolution和点卷积pointwise convolution，深度卷积对输入特征图的每个通道分别使用一个卷积核，然后将所有卷积核的输出再进行拼接得到它的最终输出，点卷积是卷积核大小为1
×
1的常规卷积；c.训练改进后的stylegan3网络，将原始煤图像、原始矸石图像分别送入改进后的stylegan3网络中训练，直至生成器和判别器达到纳什均衡，通过训练得到煤图像数据增广模型和矸石图像数据增广模型；步骤3，使用煤图像数据增广模型与矸石图像数据增广模型分别对原始煤图像、原始矸石图像进行数据增广，批量生成新煤图像、新矸石图像，使用Rembg库将生成的新煤图像、新矸石图像与背景进行分离，并以png的格式进行保存；步骤4，使用图像融合技术，提取随机数量的新煤图像、新矸石图像与背景图像进行随机位置融合，批量生成新煤矸混合图像。2.根据权利要求1所述的煤矸数据扩充方法，其特征在于，步骤1中，获取一定数量的煤样本、矸石样本，并分为两部分，一部分用于制作原始煤图像、原始矸石图像，另一部分用于制作原始煤矸混合图像。3.根据权利要求1所述的煤矸数据扩充方法，其特征在于，步骤1中，对原始煤图像和原始矸石图像以图像中的煤、矸石为重点进行窗口裁切并缩放至256
×
256，对原始煤矸混合图像以图像中的煤矸为重点进行进行窗口裁切并缩放至1024
×
1024。4.根据权利要求1所述的煤矸数据扩充方法，其特征在于，步骤2b中，改进后的stylegan3网络判别器由8个子网络组成，第一个子网络FromRGB的作用为接收stylegan3网络生成器传输的图像，最后一个子网络由小批量标准差层Minibatch Stddev、深度可分离卷积...

【专利技术属性】
技术研发人员：袁永，夏永琪，唐宇，陈江，秦正寒，陈忠顺，王文苗，栗恒，张焙炎，武让，张子昂，李勇，王康辉，杨强敏，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：