一种基于多分辨率CNN的毫米波雷达云图分割方法技术

一种基于多分辨率CNN的毫米波雷达云图分割方法属于图像分割领域。利用毫米波云雷达获取高时空分辨率的水平垂直结构的云演变图，其特征在于充分利用了云图上下文的信息，通过将三个不同分辨率的图像区域分别输入到三个相同参数配置的CNN网络中来学习云图的局部和全局特征，然后将学习到的特征通过神经网络的分类器可以实现“云”和“非云”的分类，进而实现云图的分割，最后综合三个网络的分割结果将云图的分割准确度达到了99.67％。

【技术实现步骤摘要】

本专利技术属于图像分割领域，具体涉及生物特征提取和分类。利用毫米波云雷达获取高时空分辨率的水平垂直结构的云演变图，提出了一种基于多分辨率CNN(MR-CNN)的云图像分割方法。
技术介绍
云是大气中水汽凝结成的水滴、过冷水滴、冰晶或者它们混合组成的悬浮在空中的可见聚合体，有时还包含一些较大的雨滴、冰粒及雪晶，是一种常见的天气现象。云的观测是地面观测的重要部分之一，云准确无误的观测，能够为天气预报、飞行安全、人工增雨作业等提供不同程度的帮助。目前，获取云观测资料的信息主要是通过卫星遥感和地基观测两种方式。前者可获得全球范围全部时段的云观测资料，但受空间分辨率及云层底部和多层云观测能力的限制，不能满足大气科学研究的需要。地基探测云参数有多种方式，如毫米波云雷达、激光云高仪、热红外成像仪、全天空成像仪、探空等。本专利技术主要利用毫米波云雷达获取的高时空分辨率的云的水平垂直结构作为实验的原始数据，如图1所示。该云雷达是由中国气象探测中心、西安华腾微波有限责任公司和成都信息工程大学联合研制的Ka波段全固态全相参准连续波多普勒雷达，该云雷达的主要原理是利用云粒子对电磁波的散射特性，发射波长为8.6mm、峰值功率为4W的毫米波，采用垂直顶空瞄准式的工作方式，获得雷达的回波强度，通过伪彩色映射的原理，根据特定的颜色查找表，将不同的回波强度转换为彩色图像并进行保存和显示。雷达的回波强度可用来估算降雨和降雪强度及预测诸如冰雹、大风等灾害性天气出现的可能性，以单位dBZ表示。一般来说，毫米波云雷达回波强度的数值越大，就意味着降雨、降雪的概率越大，强度也越强，理论讲当它的值大于或等于40dBZ时，出现雷雨天气的可能性较大，而当它的值在45dBZ或以上时，出现暴雨、冰雹、大风等强对流天气的可能性较大，这时就需要监测人员和预报人员做出相应的预报、防范措施等。如图1所示的12小时的云演变图，就是利用伪彩色映射的方法，将雷达回波强度转换为彩色图像，我们又将彩色图像转为灰度图像得到的，它可以将数量级的雷达回波强度转换为容易区分的灰度差异。由图示可以看出雷达回波强度越强，对应的灰色区域越平滑，反之，雷达回波强度越弱，对应的区域杂波越多。图像的横轴为时间轴，每一大格代表着2个小时，一大格分十个小格，每一小格代表12分钟；纵轴为高度轴，每一大格代表着3千米，一大格分十个小格，每一小格代表300米。可以看出，在低空以及某些情况下的高空，存在许多雷达回波强度很弱的，在图中显示杂波成分(如图1所示的黑框部分)，我们称之为“非云”部分，这些“非云”部分形成的主要原因是低空噪音及空气中的气溶胶粒子，这些杂波成分会对观测和预测的过程和结果造成一些干扰和影响，所以我们希望将这些“非云”部分与“云”的部分分开，即将“非云”部分去掉，这样才能后续的观测和预报提供更准确的数据。最早的云图分类是由气象专家通过丰富的气象知识进行肉眼分析判断，但是随着探测技术的不断发展，我们每天可以收集到GB数量级以上的云图数据。如此海量的云图数据如果仅靠肉眼、手工来实现云图分割不仅繁琐耗时还易受主观因素影响。比如2013年中国气象局气溶胶与云降水重点开放实验室在大气科学学报上樊雅文等人发表的“毫米波雷达测云个例研究”中是只是通过结合回波强度的垂直廓线对云型的宏微观特征进行了初步表层分析。还有，目前的云图分割大多是需要复杂的前期处理，而且是通过多次手工提取到相应的特征。如：2013年宁波大学的金炜等人提出的“一种卫星云图的二次聚类分割方法”中是通过提取云图样本点对应的多通道光谱特征及TPLBP纹理特征先得到子区域云图的分割结果，初次聚类之后再提取灰度均值特征和DI特征，最后再通过二次聚类来实现分割。综上所述，现有的云图分割算法需要复杂的前期处理，还需要手工提取特征用来分割或是通过阈值判断进行分割等，这些方法都只能用于小范围的云图处理工作，并且分割精度不够高。针对这些问题，本专利技术提出将深度学习应用到云图分割领域，通过多分辨率CNN(MR-CNN)来提取毫米波雷达云图像的特征，充分利用了上下文的信息，最后结合多个网络的分割结果将云图的分割准确度达到了99.67％,相较于黄茜等人基于先验阈值面的夜空云图分割算法的准确率95％有了很大提升。
技术实现思路
本专利技术的目的是提供一种基于多分辨率卷积神经网络(MR-CNN)的毫米波雷达云图分割方法。本专利技术采用的分割方法框架如图2所示。该方法主要是：以图像中的每个像素点为中心，充分利用上下文的信息，通过多次下采样并裁剪出不同分辨率的区域，将这些以像素点为中心的区域作为训练集来充分的训练我们设计好的CNN网络(如图3所示)。当网络训练达到最优的时候，我们可以将测试的图片做同样的图片处理，输入到我们训练好的CNN网络中来预测每个像素点的标签，最后将不同分辨率区域通过不同网络得到的分割结果图结合就可以得到最优的分割结果(如图4所示)。下边介绍一下这种云图分割方法的具体步骤：前期准备阶段：1、准备数据集本专利技术的数据集准备主要有两个方面。一是我们需要手工标记云图的groundtruth(因为云图像处理领域还没有公开的数据集，所以我们需要自己生成groundtruth，此处的手工标记不同于传统的手工提取特征，只需在训练阶段标记数十幅，测试阶段就可以自动分割了)作为训练CNN网络时候的监督信号；二是考虑到结合上下文的信息更有利于学习云图的特征，本专利技术需要通过多次下采样出不同分辨率的图像区域来充分的利用了云图像的局部和全局特征。具体预处理操作如下：(1)生成groundtruth，如图5所示，(a)为原始云图，(b)为(a)所对应的groundtruth。我们只需要从云图像集中随机抽取数十张云图，因为后续的操作是基于像素点的，所以一般这里随机抽取P(20<P<90)张云图就可以了(数据量不需要太大)。利用Photoshop等画图软件手工将云图像中“云”和“非云”区域用黑白颜色区分，用于下一步的CNN网络训练。(2)云图延伸。为了保证在采集训练集图像时，能够采集到整张图像的每一个像素点，我们首先对云演变图的边界进行了延伸，即为云图像A*B增加了C个像素的背景图像边界，此时图像变为(A+2C)*(B+2C)。(3)训练集，训练集是对带有groundtruth的Q(一般情况,20<P<90)张A*B大小的云图进行处理。具体操作如下：a.裁剪出高分辨率的图像D1用于输入CNN1训练网络。以A*B云图像中的像素点d为中心，以2C为边长裁出2C*2C的图像区域，再以该像素点d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D1。D1就是以像素点d为中心所表示的图像中包含局部特征的图像。b.通过一次下采样并裁剪出相对低分辨率的图像D2用于输入CNN2训练网络。同样以像素点d为中心，先将2C*2C的图像进行下采样得到C*C的图像区域，再在C*C的图像基础上，以d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D2。D2此时既包含局部特征也包含相对全局的特征。c.通过两次下采样并裁剪出低分辨率的图像D3用于输入CNN3训练网络。同样以像素点d为中心，这次直接将图像C*C下采样得到大小为(C/2)*(C/2)的图像D本文档来自技高网...

【技术保护点】
一种基于多分辨率CNN的毫米波雷达云图分割方法，其特征在于，步骤如下：前期准备阶段：1)、准备数据集(1)生成groundtruth：从云图像集中随机抽取数十张云图，将云图像中“云”和“非云”区域用黑白颜色区分，用于下一步的CNN网络训练；(2)云图延伸先对云演变图的边界进行了延伸，即为云图像A*B增加了C个像素的背景图像边界，此时图像变为(A+2C)*(B+2C)；(3)训练集，训练集是对带有groundtruth的Q张A*B大小的云图进行处理；具体操作如下：a.裁剪出高分辨率的图像D1用于输入CNN1训练网络；以A*B云图像中的像素点d为中心，以2C为边长裁出2C*2C的图像区域，再以该像素点d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D1；D1就是以像素点d为中心所表示的图像中包含局部特征的图像；b.通过一次下采样并裁剪出相对低分辨率的图像D2用于输入CNN2训练网络；同样以像素点d为中心，先将2C*2C的图像进行下采样得到C*C的图像区域，再在C*C的图像基础上，以d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D2；D2此时既包含局部特征也包含相对全局的特征；c.通过两次下采样并裁剪出低分辨率的图像D3用于输入CNN3训练网络；同样以像素点d为中心，这次直接将图像C*C下采样得到大小为(C/2)*(C/2)的图像D3；D3此时包含更多的全局特征；d.此时Q张A*B云图所生成的不同分辨率的子图即为训练图片，再将Q张云图所对应的groundtruth转化为txt文件，放成list的形式，即为训练标签，每个像素点是“云”还是“非云”用0或1表示；(4)；测试集，测试集是对带有groundtruth的I张A*B大小的云图进行处理；I＝P‑Q，具体操作如下：a.裁剪出高分辨率的图像D1’用于输入CNN1测试网络；以A*B云图像中的像素点d’为中心，以2C为边长裁出2C*2C的图像区域，再以该像素点d’为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D1’；D1’就是以像素点d’为中心所表示的图像中包含局部特征的图像；b.通过一次下采样并裁剪出相对低分辨率的图像D2’用于输入CNN2测试网络；同样以像素点d’为中心，先将2C*2C的图像进行下采样得到C*C的图像区域，再在C*C的图像基础上，以d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D2’；D2’此时既包含局部特征也包含相对全局的特征；c.通过两次下采样并裁剪出低分辨率的图像D3’用于输入CNN3测试网络；同样以像素点d’为中心，这次直接将图像C*C下采样得到大小为(C/2)*(C/2)的图像D3’；D3’此时包含更多的全局特征；d.此时I张A*B云图所生成的不同分辨率的子图即为测试图片，再将I云图所对应的groundtruth转化为txt文件，放成list的形式，即为测试标签；测试样本通过训练集生成的网络模型得到判断的结果，并与测试标签进行比对，得到该模型的准确性；测试集与训练集不应该有重复的数据；2)、训练CNN；；CNN网络由5个卷积层、3个全连接层组成，并且只给卷积层C1、卷积层C2和卷积层C5加入了pooling层；F1到F3是全连接层，相当于在五层卷积层的基础上再加上一个三层的全连接神经网络分类器；将AlexNet中F3的神经元个数由1000调为2，实现“云”和“非云”的2分类；具体过程：输入(C/2)*(C/2)图像之后，CNN网络中的数据层会将图片重置为227*227大小，分为RGB三个颜色通道输入；C1～C5是卷积层，C1层卷积滤波器的大小是11*11，卷积的步长为4，C1层共有96个卷积滤波器，则通过卷积运算：y1j(r)＝max(0，b1j(r)+Σ1k1ij(r)*x1i(r))    (1)x1i(r)表示C1层第i个输入的map集合，y1j(r)表示C1层第j个输出的map集合，k1ij(r)表示的是C1层的第i个输入的map与第j个输出的map之间的卷积核，b1j(r)表示C1层第j个输出map的偏置，公式中的r表示权值共享的局部区域；；C1层的输出是：(227‑11)/4+1＝55，即55*55*96＝290400个神经元；在C1卷积滤波后，还接着有最大池采样操作；；此pooling层核大小为3，步长为2，则第一个卷积层(C1)Pooling之后的输出：(55‑3)/2+1＝27，即27*27*96＝69984个神经元；C2层卷积核的大小为5，pad为2，卷积的步长为1，C2层共有256个卷积滤波器，同样通过卷积运算：y2j(r)＝max(0，b2j(r)+∑1k2ij(r)*x2i(r))    (2)x2i(r)表示C2层第i个输入的map集合，y2j(r)表示C2层第j个输出的...

【技术特征摘要】
1.一种基于多分辨率CNN的毫米波雷达云图分割方法，其特征在于，步骤如下：前期准备阶段：1)、准备数据集(1)生成groundtruth：从云图像集中随机抽取数十张云图，将云图像中“云”和“非云”区域用黑白颜色区分，用于下一步的CNN网络训练；(2)云图延伸先对云演变图的边界进行了延伸，即为云图像A*B增加了C个像素的背景图像边界，此时图像变为(A+2C)*(B+2C)；(3)训练集，训练集是对带有groundtruth的Q张A*B大小的云图进行处理；具体操作如下：a.裁剪出高分辨率的图像D1用于输入CNN1训练网络；以A*B云图像中的像素点d为中心，以2C为边长裁出2C*2C的图像区域，再以该像素点d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D1；D1就是以像素点d为中心所表示的图像中包含局部特征的图像；b.通过一次下采样并裁剪出相对低分辨率的图像D2用于输入CNN2训练网络；同样以像素点d为中心，先将2C*2C的图像进行下采样得到C*C的图像区域，再在C*C的图像基础上，以d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D2；D2此时既包含局部特征也包含相对全局的特征；c.通过两次下采样并裁剪出低分辨率的图像D3用于输入CNN3训练网络；同样以像素点d为中心，这次直接将图像C*C下采样得到大小为(C/2)*(C/2)的图像D3；D3此时包含更多的全局特征；d.此时Q张A*B云图所生成的不同分辨率的子图即为训练图片，再将Q张云图所对应的groundtruth转化为txt文件，放成list的形式，即为训练标签，每个像素点是“云”还是“非云”用0或1表示；(4)；测试集，测试集是对带有groundtruth的I张A*B大小的云图进行处理；I＝P-Q，具体操作如下：a.裁剪出高分辨率的图像D1’用于输入CNN1测试网络；以A*B云图像中的像素点d’为中心，以2C为边长裁出2C*2C的图像区域，再以该像素点d’为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D1’；D1’就是以像素点d’为中心所表示的图像中包含局部特征的图像；b.通过一次下采样并裁剪出相对低分辨率的图像D2’用于输入CNN2测试网络；同样以像素点d’为中心，先将2C*2C的图像进行下采样得到C*C的图像区域，再在C*C的图像基础上，以d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D2’；D2’此时既包含局部特征也包含相对全局的特征；c.通过两次下采样并裁剪出低分辨率的图像D3’用于输入CNN3测试网络；同样以像素点d’为中心，这次直接将图像C*C下采样得到大小为(C/2)*(C/2)的图像D3’；D3’此时包含更多的全局特征；d.此时I张A*B云图所生成的不同分辨率的子图即为测试图片，再将I云图所对应的groundtruth转化为txt文件，放成list的形式，即为测试标签；测试样本通过训练集生成的网络模型得到判断的结果，并与测试标签进行比对，得到该模型的准确性；测试集与训练集不应该有重复的数据；2)、训练CNN；；CNN网络由5个卷积层、3个全连接层组成，并且只给卷积层C1、卷积层C2和卷积层C5加入了pooling层；F1到F3是全连接层，相当于在五层卷积层的基础上再加上一个三层的全连接神经网络分类器；将AlexNet中F3的神经元个数由1000调为2，实现“云”和“非云”的2分类；具体过程：输入(C/2)*(C/2)图像之后，CNN网络中的数据层会将图片重置为227*227大小，分为RGB三个颜色通道输入；C1～C5是卷积层，C1层卷积滤波器的大小是11*11，卷积的步长为4，C1层共有96个卷积滤波器，则通过卷积运算：...

【专利技术属性】
技术研发人员：毋立芳，贺娇瑜，张加楠，马玉琨，张世杰，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11