一种基于FCN和CNN的云图分割方法技术

一种基于FCN和CNN的云图分割方法属于计算机视觉的图像分割领域。其特征在于：首先通过超像素对云图中每个像素点的近邻域实现相应的聚类同时将云图输入到不同步长的全卷积神经网络FCN32s和FCN8s中，实现云图的预分割结果；FCN32s结果图中的黑色区域一定是云图中的一部分“非云”区域，FCN8s结果图中的白色区域一定是云图中的一部分“云”区域；剩下不确定的区域即灰色区域需要通过深度卷积神经网络CNN来确定，需要选取超像素区域中的关键像素来代表超像素区域的特征，像素的特征通过CNN网络来判断是“云”或者是“非云”。本发明专利技术发现而精度与MR‑CNN、SP‑CNN相当，但是速度相比于MR‑CNN提高了880倍，相比于SP‑CNN提高了1.657倍。

A method of cloud image segmentation based on FCN and CNN

A cloud image segmentation method based on FCN and CNN belongs to the field of computer vision image segmentation. It is characterized in that: firstly, neighborhood super pixels of each pixel in the image to achieve the corresponding clustering and image input to the different step of the whole convolutional neural network FCN32s and FCN8s, realize the image pre segmentation result; FCN32s the black areas in the images must be part of the \cloud free cloud area FCN8s, the white areas in the images is a part of the image of the\ cloud \region; remaining uncertain region that is the grey area need to be determined by the depth of convolutional neural network CNN, need to select the key in the pixel area has always been like a super representative characteristics of super pixel region, the pixel characteristics judged by CNN network the\ cloud \or\ cloud\. The invention discovery precision and MR CNN, SP CNN quite, but the speed compared to the MR CNN increased 880 times, compared to the SP CNN increased 1.657 times.

【技术实现步骤摘要】
一种基于FCN和CNN的云图分割方法
本专利技术属于计算机视觉的图像分割领域，涉及超像素聚类及多种神经网络的特征提取，具体涉及毫米波雷达云图的超像素预处理并通过全卷积神经网络FCN和卷积神经网络CNN的特征提取，提出了一种基于FCN_CNN的毫米波雷达云图分割方法。
技术介绍
图像分割是图像处理中的关键技术之一。图像分割从20世纪70年代开始就很受人们的重视，发展至今其应用领域已经非常广泛了。主要表现在：军事研究领域，比如通过图像分割实现军事目标定位和战场分析等；医学影像领域，比如通过图象分割来辅助分析器官和病情等；交通监控领域，比如通过监控图像的分割辅助车辆目标检测和车牌识别等；气象分析领域，通过对遥感或雷达等获取的有关天气图像的分割，实现作物生长情况分析以及天气预测等。本专利技术的图像分割算法主要是针对气象领域的毫米波雷达云图。该毫米波雷达是中国气象探测中心，西安华腾微波有限责任公司以及成都信息工程大学联合研制的Ka波段全固态多普勒雷达。其发射的毫米波采用垂直顶空瞄准式的工作方式，利用云粒子对电磁波的散射特性，即可获得雷达的回波强度。接着通过伪彩色映射的原理，根据特定的颜色查找表，将不同的回波强度转换为彩色图像，即为图1所示的毫米波雷达云图。本专利技术分割的云图是连续12小时的云演变图，横向表示时间，纵向表示高度。但是由于低空噪音或者是空气中的气溶胶粒子的影响会使雷达回波强度变弱，在云图中表现为杂波成分如图1中的方框部分所示，这里我们称杂波成分与白色背景区域为“非云”部分。为了准确的天气预测，本专利技术的主要目的是实现云图的分割，即“非云”和“云”区域的分割。迄今为止，图像分割算法被提出了上千种，主要包括传统分割算法和基于深度学习的分割方法。传统的分割算法包括阈值分割法、边缘分割法、区域分割法等。阈值分割法一般是根据一个或多个合适的阈值来确定每个像素的特征，例如：2009年杨俊等人在文章“基于自适应阈值的地基云自动检测算法”中基于不同波段的比值、差值和归一化等处理，实现了固定阈值和自适应阈值的对比实验，但是地基观测的云图一般只有蓝色的天空和白色的云两类，没有杂质扰动，这一点不同于本专利技术中所研究的毫米波雷达云图。边缘分割法是利用图像灰度级的不连续性，检测不均匀区域间的边界实现图像分割。2008年Zhang等人在文章“BubbleImageSegmentationofGas/LiquidTwo-PhaseFlowBasedonImprovedCannyOperator”通过引入改进的canny算子使气泡图像的边缘光滑、无噪，从而实现分割。但是气泡之类的图像是规则的，而本专利毫米波雷达云图的“云”或“非云”区域是不规则的，不利于实现边缘检测。区域分割方法有区域生长和分裂合并，根据像素之间的特征相似性实现像素的合并，例如CorinComaniciu等人在2002年文章“MeanShift:ARobustApproachTowardFeatureSpaceAnalysis”中将特征空间比较相近的像素算成一个区域，这样不断的聚类实现图像的分割。但是本专利技术中所用的毫米波云图中“云”或“非云”分布不一定是连续的，邻域内的像素聚类之后仍无法判断是云还是非云。近年来，随着大数据和GPU的飞快发展，基于深度学习的图像分割方法也在不断涌现。2014年Wu等人在文章“EarlyHierarchicalContextsLearnedbyConvolutionalNetworksforImageSegmentation”提出了基于多分辨率的CNN网络，通过充分结合图像上下文的信息来实现图像的精确分割。2015年Long等人在文章“FullyConvolutionalNetworksforSemanticSegmentation”中实现全卷积网络的图像分割算法，将CNN网络中全连接层替换为卷积层大大降低了运算时间。本专利技术巧妙地用传统的超像素方法对毫米波雷达云图做了聚类预处理，接着结合基于深度学习的图像分割算法提出了FCN_CNN分割方法，FCN_CNN方法实现了毫米波雷达云图的快速、精确分割。
技术实现思路
本专利技术的目的是提供一种基于深度学习的快速、精确的毫米波雷达云图分割方法。本专利技术的分割系统框架如图2所示。首先通过超像素对云图如图2(a)中每个像素点的近邻域实现相应的聚类，聚类结果如图2(c)所示；同时将云图输入到不同步长的全卷积神经网络FCN32s和FCN8s中，具体FCN网络框架如图3所示，实现云图的预分割结果分别如图2(b)、2(d)所示；统计分析发现FCN32s结果图2(b)中的黑色区域一定是云图中的一部分“非云”区域，FCN8s结果图2(d)中的白色区域一定是云图中的一部分“云”区域。剩下不确定的区域(灰色区域)需要通过深度卷积神经网络CNN来确定，需要选取超像素区域中的关键像素来代表超像素区域的特征，像素的特征通过CNN网络图4所示来判断是“云”或者是“非云”，即可知道不确定部分的超像素区域是“云”还是“非云”。本专利技术的具体技术方案和步骤介绍如下：1、超像素聚类在本专利技术中，为了提高云图特征的学习效率以及保持像素特征的一致性，预先用均值偏移(Mean-shift)方法对云图中像素进行聚类操作，也就是说在后续的云图分割过程中是以超像素为基本单位而不是像素。均值偏移的超像素分割是一种特征空间的聚类。输入是一个5维空间，包括2维的(x,y)物理坐标和3维的(l,u,v)颜色坐标，基于高斯核函数核密度估计的无参数统计迭代方法。具体算法是先算出当前像素点的偏移均值，将该点移动到此偏移均值，然后以此为新的起始点，继续移动直至收敛。偏移均值之后分配标签到每一个像素，具有相同标签的像素具有相同的视觉特征，所以在一个超级像素中的每一个像素都是相似的，如纹理性、颜色强度等。如图2(c)所示，这样的超像素处理之后能够很好的保持云图局部一致性，可以避免云图像边界一些有歧义的像素点。2、全卷积神经网络(FullyConvolutionalNetworks，FCN)介绍及模型训练本专利技术用全卷积神经网络FCN来实现云图的预分割，采用的FCN结构框架如图3所示，FCN网络是对卷积神经网络CNN(图4)在分割领域的一个延伸，是一种图像语义分割，对一张图片上的所有像素点进行分类。CNN都是对整张图片进行分类,而全卷积网络是对一张图片中的每个像素进行分类，可以达到对图片特定部分的分类，比较适合分割。基于CNN的分割方法的做法通常是：为了对一个像素分类，使用该像素周围的一个图像块作为CNN的输入用于训练和预测。这种方法存储开销很大。例如对每个像素使用的图像块的大小为a*a，则所需的存储空间为原来图像的a2倍。还有计算效率低下，相邻的像素块基本上是重复的，针对每个像素块逐个计算卷积，这种计算也有很大程度上的重复。CNN的分类网络最后会使用全连接层，将原来二维的特征图转换成一维的固定长度的特征向量，这就丢失了空间信息，最后输出一个特定长度的向量，表示输入图像属于每一类的概率，以此作为分类的标签。与CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，然后通过反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像本文档来自技高网...

【技术保护点】
一种基于FCN和CNN的云图分割方法，其特征在于：首先通过超像素对云图中每个像素点的近邻域实现相应的聚类同时将云图输入到不同步长的全卷积神经网络FCN32s和FCN8s中，实现云图的预分割结果；FCN32s结果图中的黑色区域一定是云图中的一部分“非云”区域，FCN8s结果图中的白色区域一定是云图中的一部分“云”区域；剩下不确定的区域即灰色区域需要通过深度卷积神经网络CNN来确定，需要选取超像素区域中的关键像素来代表超像素区域的特征，像素的特征通过CNN网络来判断是“云”或者是“非云”，即能知道不确定部分的超像素区域是“云”还是“非云”；该CNN神经网络由5个卷积层、3个全连接层组成，并且只给卷积层C1、卷积层C2和卷积层C5加入了pooling层。F1到F3是全连接层，将F3的神经元个数由1000调为2，实现“云”和“非云”的2分类。

【技术特征摘要】
1.一种基于FCN和CNN的云图分割方法，其特征在于：首先通过超像素对云图中每个像素点的近邻域实现相应的聚类同时将云图输入到不同步长的全卷积神经网络FCN32s和FCN8s中，实现云图的预分割结果；FCN32s结果图中的黑色区域一定是云图中的一部分“非云”区域，FCN8s结果图中的白色区域一定是云图中的一部分“云”区域；剩下不确定的区域即灰色区域需要通过深度卷积神经网络CNN来确定，需要选取超像素区域中的关键像素来代表超像素区域的特征，像素的特征通过CNN网络来判断是“云”或者是“非云”，即能知道不确定部分的超像素区域是“云”还是“非云”；该CNN神经网络由5个卷积层、3个全连接层组成，并且只给卷积层C1、卷积层C2和卷积层C5加入了pooling层。F1到F3是全连接层，将F3的神经元个数由1000调为2，实现“云”和“非云”的2分类。...

【专利技术属性】
技术研发人员：毋立芳，贺娇瑜，简萌，张加楠，邹蕴真，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11