一种基于对称式密集连接全卷积网络的云图分割网络及其方法技术

本发明专利技术公开了一种基于对称式密集连接全卷积网络的云图分割网络及其方法，首先利用对称式密集连接全卷积网络的对称式密集卷积网络层对云图的深层与浅层特征进行特融合，然后对称式密集连接全卷积网络的全卷积层利用融合后的特征信息将云图分为云与非云区域。本发明专利技术比传统卫星云图分割方法准确率更高、鲁棒性更强、无需对云图进行复杂的特征工程，并且相同硬件条件下样本测试时间也比大多数方法快很多。

A Cloud Segmentation Network Based on Symmetrical Densely Connected Full Convolutional Network and Its Method

The invention discloses a cloud image segmentation network based on symmetrical densely connected full convolution network and its method. Firstly, the deep and shallow features of cloud images are specially fused by symmetrical densely connected full convolution network layer, and then the full convolution layer of symmetrical densely connected full convolution network divides cloud images into clouds and non-clouds by using the fused feature information. Region. Compared with the traditional satellite cloud image segmentation method, the proposed method has higher accuracy, stronger robustness, no complex feature engineering for cloud images, and much faster sample testing time under the same hardware conditions than most methods.

【技术实现步骤摘要】
一种基于对称式密集连接全卷积网络的云图分割网络及其方法
本专利技术属于云图像处理
，特别涉及了一种基于对称式密集连接全卷积网络的云图分割网络及其方法。
技术介绍
云作为一种重要的气象要素，在过去的几十年中已经得到了广泛的研究，目前对于云特征特性分析在各种行业都有重要的应用，例如即时降雨预测、云层覆盖预测、海洋颜色信息获取、光学遥感应用、卫星通信连接优化。分割是云图分析的第一步骤，由于云在天空中受气流的影响并没有固定的形状，并且随着时间的推移和光照的变化，云图的形状特征会发生改变，因此基于形状先验的经典图像分割方法不适合应用在云图分割领域，能够准确的分割云图仍然是一项具有挑战性的任务。目前云图分割的主要方法有：通过比较RGB颜色空间中的R通道与B通道的比值，然后通过调整比值的阈值，来生成云和非云区域的二值掩码。通过自适应阈值法、图像特征的超像素方法实现云图的分割。机器学习算法在云图领域的自动分割应用。在上述云图分割方法中，传统的基于阈值法和机器学习方法的云图分割方法对算法的参数的选取较为敏感，缺乏一定鲁棒性，而且当图像的前景与背景较为复杂时需要研究人员做大量的特征工程才能取得比较好的结果。另外云图分割方法主要为基于深度学习全卷积网络(FCN)。但是FCN是对网络最后一个卷积层的特征图仅采用一步上采样操作就使它恢复与原输入图像相同的尺寸，这种操作会导致分割的结果不够精细。
技术实现思路
本专利技术的目的是克服上述
技术介绍
的不足，提供一种基于对称式密集连接全卷积网络的云图分割方法，克服了传统算法对云图特征利用率不够，分割粗糙的缺点。为了实现上述技术目的，本专利技术的技术方案为：一种基于对称式密集连接全卷积网络云图分割网络，包括对称设置的特征提取网络和全卷积网络；所述特征提取网络，用于进行特征提取，提取的特征向量作为全卷积网络的输入；该特征提取网络包括若干实现特征提取的密集连接模块，所述密集连接模块将大小相一致的特征图进行连接，并通过卷积神经网络对地基云图进行特征提取；所述全卷积网络，包括若干上采样模块，所述上采样模块根据特征提取网络提取到的特征向量，得到卷积输出结果；根据卷积输出结果和式(1)，输出概率图；其中，fij代表概率图中i行j列像素对应的概率，w为卷积核参数，T表示转置，b表示偏置项。进一步的，所述密集连接模块的数量与上采样模块数量保持一致。进一步的，每一所述密集连接模块的输入为前一个密集连接模块输出的下采样结果，当前密集连接模块的输出作为下一级密集连接模块的输入；在最后一个密集连接模块的输出作为第一个上采样模块的输入，每个所述上采样模块的输入为前一上采样模块的输出结果；每一所述密集连模块都有与其对应的上采样模块，它们之间的关系为，其输出的结果具有相同的宽和高。将每一所述密集连接模块与其对应的上采样模块的输出结果进行并联，并将并联后的结果作为下一上采样模块的输入；在最后一个上采样模块之后，采用维度为1的全卷积层，该全卷积层的输入是最后一个上采样模块的输出。本专利技术还公开了一种基于对称式密集连接全卷积网络云图分割方法，包括以下步骤：S1：对云图分割网络进行训练：利用已标注的样本(Xi，Yi)进行训练，得到训练后的网络参数，其中，Xi为一个N×N的图像，Yi表示Xi对应的云与非云区域，i代表第i个样本，i＝1,2,3...p，p为样本总数；S2：将地基云图图像裁剪为N×N大小，作为云图分割网络的输入数据，根据式(1)得到N*N大小的概率图：其中，fij代表概率图中i行j列像素对应的概率，w为卷积核参数，代表偏置项，T表示转置，b表示偏置项；S3：根据云区域判定阈值，对S2输出的概率图进行云区域和非云区域的判定，当概率大于判定阈值的像素点作为云区域，反之作为非云区域。进一步的，所述云图分割网络包括对称设置的特征提取网络和反卷积网络；所述特征提取网络，用于进行特征提取，提取的特征向量作为反卷积网络的输入；该特征提取网络包括若干实现特征提取的密集连接模块，所述密集连接模块将大小相一致的特征图进行连接，并通过卷积神经网络对地基云图进行特征提取；所述全卷积网络，包括若干上采样模块，所述上采样模块根据特征向量，得到卷积输出结果；根据卷积输出结果，输出概率图。进一步的，所述密集连接模块的数量与上采样模块数量保持一致。进一步的，每一所述密集连接模块的输入为前一个密集连接模块输出的下采样结果，当前密集连接模块的输出作为下一级密集连接模块的输入；在最后一个密集连接模块的输出作为第一个上采样模块的输入，每个所述上采样模块的输入为前一上采样模块的输出结果；每一所述密集连模块都有与其对应的上采样模块，它们之间的关系为，其输出的结果具有相同的宽和高。将每一所述密集连接模块与其对应的上采样模块的输出结果进行并联，并将并联后的结果作为下一上采样模块的输入；在最后一个上采样模块之后，采用维度为1的全卷积层，该全卷积层的输入是最后一个上采样模块的输出。有益效果：本专利技术与现有技术相比，本专利技术首先利用对称式密集连接全卷积网络的对称式密集卷积网络层对云图的高层与浅层特征进行特融合，然后对称式密集连接全卷积网络的全卷积层利用融合后的特征信息将云图分云层与非云层区域。本专利技术比传统云图分割方法准确率更高、鲁棒性更强、无需对云图进行复杂的特征工程，并且相同硬件条件下样本测试时间也比大多数方法快很多。附图说明图1是本专利技术的基本流程图；图2是本发命中对称式密集连接全卷积网络密集连接模块的结构示意图；图3是本专利技术中用对称式密集连接全卷积网络进行云图处理的结构示意图。具体实施方式下面结合附图和实施例进一步阐述本专利技术。如图1所示的一种基于对称式密集连接全卷积网络云图分割方法，包括如下步骤：S1：对称式密集连接全卷积网模型的训练：设定网络模型为特征提取器和全卷积层两个部分；整个网络结构为一个对称结构，在整个对称结构中左侧网络为特征提取器，右侧为反卷积网络，每一层反卷积操作的步长为2，这样就可以得到特征图大小与左侧完全对称的网络结构，接着将大小一致的特征图进行连接，然后再利用全卷积层输出概率图，最后利用已标注的样本(Xi，Yi)，对该网络模型进行学习，使用对称的网络结构进行特征表示，全卷积层进行有监督学习并输出概率图，得到训练后的网络参数,其中，Xi为一个N×N的图像，Yi表示Xi对应的云与非云区域，N满足244≤N≤1000，i代表第i个样本，i＝1,2,3...p，p为样本总数；S2：云图分割：将地基云图图像裁剪为为N×N大小，作为对称式密集连接全卷积网络的输入数据，并得到整个网络的特征概率图输出，最后，在概率图中判定概率大于0.5的像素点为云的区域，概率小于0.5的像素点为非云区域；对称式密集连接全卷积网络包括：特征提取网络，通过对称式密集连接来增强数据的特征表示；该特征提取网络包括密集连接模块，该密集连接模块通过卷积神经网络对具有标签为N*N大小的二值矩阵的地基云图进行特征提取，用Wi*Wi尺寸的卷积核窗口在N*N大小的图片上以步长为滑动，并对大小相一致的特征图进行连接，将提取的特征作为全卷积网络的输入。全卷积网络，用于监督学习，包括上采样模块，是将特征提取网络提取的特征向量作为输入，全卷积网络输出同输入图像大小相一致的概率图；基于对称式密集连接网络结构本文档来自技高网...

【技术保护点】
1.一种基于对称式密集连接全卷积网络云图分割网络，其特征在于：包括对称设置的特征提取网络和全卷积网络；所述特征提取网络，用于进行特征提取，提取的特征向量作为全卷积网络的输入；该特征提取网络包括若干实现特征提取的密集连接模块，所述密集连接模块将大小相一致的特征图进行连接，并通过卷积神经网络对地基云图进行特征提取；所述全卷积网络，包括若干上采样模块，所述上采样模块根据特征提取网络提取到的特征向量，得到卷积输出结果；根据卷积输出结果和式(1)，输出概率图；

【技术特征摘要】
1.一种基于对称式密集连接全卷积网络云图分割网络，其特征在于：包括对称设置的特征提取网络和全卷积网络；所述特征提取网络，用于进行特征提取，提取的特征向量作为全卷积网络的输入；该特征提取网络包括若干实现特征提取的密集连接模块，所述密集连接模块将大小相一致的特征图进行连接，并通过卷积神经网络对地基云图进行特征提取；所述全卷积网络，包括若干上采样模块，所述上采样模块根据特征提取网络提取到的特征向量，得到卷积输出结果；根据卷积输出结果和式(1)，输出概率图；其中，fij代表概率图中i行j列像素对应的概率，w为卷积核参数，T表示转置，b代表偏置项。2.根据权利要求1所述的一种基于对称式密集连接全卷积网络云图分割网络，其特征在于：所述密集连接模块的数量与上采样模块数量保持一致。3.根据权利要求2所述的一种基于对称式密集连接全卷积网络云图分割网络，其特征在于：每一所述密集连接模块的输入为前一个密集连接模块输出的下采样结果，当前密集连接模块的输出作为下一级密集连接模块的输入；在最后一个密集连接模块的输出作为第一个上采样模块的输入，每个所述上采样模块的输入为前一上采样模块的输出结果；每一所述密集连接模块都有与其对应的上采样模块，若上采样模块的输出结果与一密集连接模块的输出结果具有相同的宽和高，则该上采样模块为该密集连接模块相对应的上采样模块，将每一所述的密集连接模块的输出的结果与其对应的上采样模块的输出结果进行并联，并将该并联结果作为下一上采样模块的输入；在最后一个上采样模块之后，采用维度为1的全卷积层，该全卷积层的输入是最后一个上采样模块的输出。4.一种基于对称式密集连接全卷积网络云图分割方法，其特征在于：包括以下步骤：S1：对云图分割网络进行训练：利用已标注的样本(Xi，Yi)进行训练，得到训练后的网络参数，其中，Xi为一个N×N的图像，Yi表示Xi对应的云与非云区域，i代表第i个样本，i＝1,2，3...p，p为...

【专利技术属性】
技术研发人员：夏旻，沈慧想，施必成，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32