一种基于超像素聚类优化CNN的云图分割方法技术

本发明专利技术提供一种基于超像素聚类优化CNN的云图分割方法。该方法首先利用均值漂移算法把一幅原本是像素级的图，划分成一个又一个区域级的超像素组成的图，而这些超像素中提取出有效的信息是相同的。再将这些足以代表该区域总体特征的核心点为中心的区域的图像输入到我们已经通过CNN训练好的网络中，得到该核心点的标签，进而表征该超像素对应的标签，最后将不同的区域的结果进行组合，就可以得到最优的分割结果。本发明专利技术引入超像素，保证了像素的一致性，将云图的分割准确度达到了99.55％，在保证分割精度的前提下极大地提升了分割的速度。

An image segmentation method based on super pixel clustering optimization CNN

The invention provides an image segmentation method based on super pixel clustering optimized CNN. The method uses mean shift algorithm to divide a graph which is originally pixel level, which is divided into one region and another pixel. Then the input image is the core point of these is enough to represent the overall characteristics of the region as the center of the area that we have trained by CNN network, the core of the label, and the characterization of the super pixels corresponding to the label, finally will different regional combination of the results of optimal segmentation results can be obtained. The method of the present invention introduces the super pixel to ensure the consistency of the pixels, and the segmentation accuracy of the cloud image reaches 99.55%.

【技术实现步骤摘要】

本专利技术应用于图像分割领域，具体涉及图像特征提取与识别。利用雷达向天空发射毫米波获得的雷达回波强度，通过伪彩色增强的方式绘制出反映其高时空分辨率的水平垂直结构的云演变图为对象，提出了一种基于超像素聚类优化的卷积神经网络(SP-CNN)的云图像快速分割方法。
技术介绍
云是由悬浮在大气中千千万万的小水滴或冰晶组成的可见聚合体，是一种常见的天气现象。阳光照在地球的表面形成水蒸气，水汽过饱和情况下，水分子会聚集在微尘周围，产生的水滴或冰晶将阳光散射到各个方向，就产生了云的外观。云不仅反映了当时大气的运动、稳定程度和水汽情况，而且也是预示着天气变化的重要征兆之一，云的观测为飞行安全、人工增雨作业等提供了帮助。本专利技术利用如图1所示的云演变图，图像的横轴为时间轴，每一大格代表着2个小时，一大格分十个小格，每一小格代表12分钟；纵轴为高度轴，每一大格代表着3千米，一大格分十个小格，每一小格代表300米。该图是利用雷达向天空发射波长为8.6mm、峰值功率为4W的毫米波反射回来的雷达回波率，通过伪彩色增强的方式及特定的颜色查找表绘制出能反映云高时空分辨率的水平垂直结构的云演变图。该云雷达是由中国气象探测中心、西安华腾微波有限责任公司和成都信息工程大学联合研制的Ka波段全固态全相参准连续波多普勒雷达，该云雷达的主要原理是利用云粒子对电磁波的散射特性。雷达回波率的高低反映云层含水量的高低，及降雨、降雪的概率大小、强度的强弱，以单位dBZ表示，是用来估算降雨和降雪强度及预测诸如冰雹、大风等灾害性天气出现的可能性的科学数值。当雷达回波率的值大于等于40dBZ时，出现雷雨天气的可能性较大，而当它的值在45dBZ或以上时，出现暴雨、冰雹、大风等强对流天气的可能性较大，这时就需要监测人员和预报人员做出相应的预报、防范措施等。在天空的低层，存在一些雷达回波强度很弱的、含有水分的气溶胶及近似PM2.5的含水微粒、低空噪音(如图1所示的黑框部分)，这些微粒的存在对云的观测预测造成一定的干扰和影响，阻碍了其为后续的观测和预报提供更准确的数据。因此，将“云”体识别并保留，将“非云”部分识别并剔除已经成为云观测预处理的必要步骤。早期的云识别是由气象专家通过经验知识进行肉眼观测分析判断的，但是随着云图数据与日俱增，仅靠肉眼、手工来实现云图分割的实现难度越来越大，观测者开始利用计算机视觉的方式来进行预处理。2013年中国气象局气溶胶与云降水重点开放实验室的樊雅文等人通过结合回波强度的垂直廓线对云型的宏微观特征进行了初步表层分析；2013年宁波大学的金炜等人通过多次手工提取云图样本点对应的多通道光谱特征及TPLBP纹理特征先得到子区域云图的分割结果，初次聚类之后再提取灰度均值特征和DI特征，提出的“一种卫星云图的二次聚类分割方法”。深度学习因为其类似人脑的分层结构模型，对输入数据从底层信号到高层语义的特征提取建立起来的映射关系而受到关注，在图像分类、图像识别、图像分割等领域都取得了很好的性能。2014年，中国科学院自动化所的黄永祯等人提出利用卷积神经网络解决前景与背景的分离问题，将人物本身和复杂的背景作为两种标签分别输入卷积神经网络中训练，并利用得到的分类器对整个图像的全部像素点进行分类分割。2016年，北京工业大学的贺娇瑜等人基于深度学习的云图自动分割问题，提出“一种基于多分辨率CNN的毫米波雷达云图分割方法”,即先将带有云区图特征和非云区特征的图片以三个不同分辨率从局部到全局进行训练，再利用卷积神经网络训练所得到的分类器对整张图片的全部像素点进行图像识别分类，最后利用分类结果对图片进行分割。由于该方法需要对整张图片的所有像素点进行逐一分类，故其分割的效率非常低。对于大多都以像素为单位的图像来说，用二维矩阵来表示，不考虑像素之间的组织关系，导致算法的效率非常低，2003年RenMalik提出了超像素的概念，它由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息，在很大程度上降低了后续图像处理任务的复杂度。综上所述，传统的云图分割算法需要复杂的前期处理，还需要手工提取特征用来分割或是通过阈值判断进行分割等，这些方法都只能用于小范围的云图处理工作，并且分割精度不够高。通过多分辨率CNN(MR-CNN)来提取毫米波雷达云图像的特征又存在效率极低的情况，针对这些问题，本专利技术提出将超像素聚类优化应用到基于深度学习的云图分割领域，通过超像素聚类优化来获取毫米波雷达云图像同类区域的关键像素点特征，利用卷积神经网络对关键像素点的子图进行图像分类，最后将对关键像素点的认识结果拓展到对同类区域超像素的认识结果从而进行分割，将云图的分割准确度达到了与CNN相同的水平,效率上相较于CNN有了很大提升。
技术实现思路
本专利技术的目的是提供一种基于超像素聚类优化卷积神经网络(SP-CNN)的毫米波雷达云图分割方法，分割方法的框架如图2所示，方法流程如图3所示。该方法首先利用均值漂移算法，即先算出当前点的偏移均值，以此为新的起始点，继续移动直到阈值不再满足此类点的特征，从而聚类所有具有相同梯度特征的像素区域，我们称这个区域为一个超像素。这样，就把一幅原本是像素级的图，划分成一个又一个区域级的超像素组成的图，而这些超像素中提取出有效的信息是相同的。再将这些足以代表该区域总体特征的核心点为中心的区域的图像输入到我们已经通过CNN训练好的网络中(训练方法如图2所示)，得到该核心点的标签，进而表征该超像素对应的标签，最后将不同的区域的结果进行组合，就可以得到最优的分割结果，整体方法流程如图3所示。下边介绍一下这种云图分割方法的具体步骤：1、超像素聚类及核心点选取：本方法意在化繁为简，将以往对图像中全部像素点一一处理转化为对能够代表一个区域的关键点进行处理，进而反映这个区域的情况，超像素思想的提出恰恰能满足我们的需求。超像素就是把一幅原本是像素级的图，划分成区域级的图。本方法中，超像素的实现方式是均值漂移算法(MeanShift)。均值漂移算法在聚类、图像平滑、跟踪等方面有着广泛的应用，它是由Fukunage在1975年提出的，指的是一个迭代的步骤，即先算出当前点的偏移均值，然后以此为新的起始点，继续移动，直到满足一定的结束条件。这个算法包含两个底层视觉的任务，区域平滑以及图像分割。首先对于图像的每一个像素点，均值漂移算法对它执行下面的操作：计算该点邻域的像素均值，再把该像素点移动到它邻域中所有像素点的灰度值的均值位置，并不断重复到每一个像素点之上，直到这些像素都拥有相同的视觉特征，如颜色、纹理、梯度等，准确的说，不是真正移动像素点，而是把该像素点与它的收敛位置的像素点标记为同一类。通过这个算法，就可以将一副完成的图像，划分成若干个不同的超像素，如图4所示。对于每一个超像素，本方法将这些超像素的每一个像素点向量化，即将这些像素点的坐标值作为向量中的一个元素，从该向量中等间隔采样5个像素点，作为超像素的关键点。在采样过程中，因考虑到边界两侧的超像素可能属于不同的分类，故本方法在采样过程中对超像素做了腐蚀处理，其原理为，以超像素中的每一个像素为中心点，将此像素点与其四邻域上的像素点一一比本文档来自技高网...

【技术保护点】
一种基于超像素聚类优化CNN的云图分割方法，其特征在于步骤如下：1)、超像素聚类及核心点选取：将一副完成的图像，划分成若干个不同的超像素，对于每一个超像素，将这些超像素的每一个像素点向量化，即将这些像素点的坐标值作为向量中的一个元素，从该向量中等间隔采样5个像素点，作为超像素的关键点；并且采样过程中对超像素做了腐蚀处理，2)、训练样本集、验证样本集及测试样本集的制作数据集包括训练样本集、验证样本集及测试样本集三个方面；这三方面的制作原理完全相同，只是选取的数据范围有差异，以下只对其中一种的获取方式做详细的介绍：对于毫米波雷达云演变图，由于云图像处理领域并没有公开的数据集，需要制作groundtruth图作为训练CNN网络时候的监督信号，具体预处理操作如下：(1)生成groundtruth即将云图像中“云”和“非云”区域以黑白颜色区分后标注的原始云图所对应的groundtruth；从云图像集中随机选择若干张云图，并选中与之对应的groundtruth图，用于下一步的CNN网络训练和测试样本集的生成；(2)图像尺寸调整；为了保证在训练样本集、验证样本集及测试样本集采样时，能够完整采集整张图像的每一个像素点，首先对云演变图的尺寸进行了调整，即为尺寸为W*H的云图像增加了D/2个像素的背景图像边界，此时图像变为(W+D)*(H+D)；(3)样本集的采集和生成具体操作如下：a.裁剪出若干张以像素点p为中心的图像C1用于训练和验证CNN网络；以W*H云图像中的某一像素点p为中心，以D为边长裁剪出D*D大小的图像C1；C1就是以像素点p为中心的子图，其包含该像素点周围的像素特征；b.对于a中的每一个像素点p，在其所对应的groundtruth图中找到对应的像素点p’，根据该像素点在groundtruth图中的标签属性，以列表的形式制作训练标签的文本文件，其格式为“绝对路径/图像名称标签属性”，其中每个像素点的标签属性“云”或“非云”，用1或0表示；对于训练集合的所有图像，保留其标签文本文件作为训练CNN网络时候的监督信号；对于验证集合的所有图像，将验证样本通过训练集生成的网络模型得到判断的结果，并利用标签文本文件来检验的网络模型的准确程度；而对于测试集，不需要生成标签，需要利用其groundtruth图与分割结果图进行对比，来评价网络的主观性与客观性；三个样本集合之间应当不相交；3)、卷积神经网络模型的训练该网络由5个卷积层、3个全连接层组成，并且只给卷积层C1、卷积层C2和卷积层C5加入了pooling层；F1到F3是全连接层，相当于在五层卷积层的基础上再加上一个三层的全连接神经网络分类器；将AlexNet中F3的神经元个数由1000调为2，4)、基于区域内容引导的图像分割对步骤1)中这5个点一一做图像识别分类，将这五个结果加权得到本超像素区域最终的分割结果，将此方法用于对整张图的所有超像素区域，并利用其分类结果对图像进行分割；对于某一块超像素而言，其所对应的分类结果满足以下公式：R＝r1*ω1+r2+ω2+r3*ω3+r4*ω4+r5*ω5   (1)其中R表示该超像素的识别结果，r1、r2、r3、r4和r5为五个点为中心的子图的识别结果，ω1、ω2、ω3、ω4和ωR均为0.2。...

【技术特征摘要】
1.一种基于超像素聚类优化CNN的云图分割方法，其特征在于步骤如下：1)、超像素聚类及核心点选取：将一副完成的图像，划分成若干个不同的超像素，对于每一个超像素，将这些超像素的每一个像素点向量化，即将这些像素点的坐标值作为向量中的一个元素，从该向量中等间隔采样5个像素点，作为超像素的关键点；并且采样过程中对超像素做了腐蚀处理，2)、训练样本集、验证样本集及测试样本集的制作数据集包括训练样本集、验证样本集及测试样本集三个方面；这三方面的制作原理完全相同，只是选取的数据范围有差异，以下只对其中一种的获取方式做详细的介绍：对于毫米波雷达云演变图，由于云图像处理领域并没有公开的数据集，需要制作groundtruth图作为训练CNN网络时候的监督信号，具体预处理操作如下：(1)生成groundtruth即将云图像中“云”和“非云”区域以黑白颜色区分后标注的原始云图所对应的groundtruth；从云图像集中随机选择若干张云图，并选中与之对应的groundtruth图，用于下一步的CNN网络训练和测试样本集的生成；(2)图像尺寸调整；为了保证在训练样本集、验证样本集及测试样本集采样时，能够完整采集整张图像的每一个像素点，首先对云演变图的尺寸进行了调整，即为尺寸为W*H的云图像增加了D/2个像素的背景图像边界，此时图像变为(W+D)*(H+D)；(3)样本集的采集和生成具体操作如下：a.裁剪出若干张以像素点p为中心的图像C1用于训练和验证CNN网络；以W*H云图像中的某一像素点p为中心，以D为边长裁剪出D*D大小的图像C1；C1就是以像素点p为中心的子图，其包含该像素点周围的像素特征；b.对于a中的每一个像素点p，在其所对应的groundtruth图中找到对应的像素点p’，根据该像素点在groundtruth图中的标签属性，以列表的形式制作训练标签的文本文件，其格式为“绝对路径/图像名称标签属性”，其中每个像素点的标签属性“云”或“非云”，用1或0表示；对于训练集合的所有图像，保留其标签文本文件作为训练CNN网络时候的监督信号；对于验证集合的所有图像，将验证样本通过训练集生成的网络模型得到判断的结果，并利用标签文本文件来检验的网络模型的准确程度；而对于测试集，不需要生成标签，需要利用其groundtruth图与分割结果...

【专利技术属性】
技术研发人员：毋立芳，张加楠，贺娇瑜，简萌，闫春灿，刘思远，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11