一种基于多尺度特征融合的山体滑坡检测方法技术

本发明专利技术公开了一种基于多尺度特征融合的山体滑坡检测方法，涉及目标检测技术领域。首先将拍摄得到的图像实时发给加入了聚焦模块的VGGNet‑19模型进行处理和分析，使用卷积层自底向上提取深度特征，并将深度特征按层次进行自顶向下的特征融合。然后在原始的输入图像上做选择性搜索，生成若干个可能包含目标区域的候选框；根据原始图像的尺寸、候选框的尺寸、特征融合后各个特征图的尺寸，计算每个候选框分别在三个特征图上的映射大小；把所有映射得到的特征图的尺寸统一并经过各全连接层，调整候选框的位置和尺寸；最后得到初步的检测结果分别在原始图像上做非极大值抑制，得到最终的检测结果。本发明专利技术可以检测到尺寸不同的泥石流现象，大大加快检测速度。

【技术实现步骤摘要】
一种基于多尺度特征融合的山体滑坡检测方法
本专利技术涉及目标检测
，尤其是一种基于多尺度特征融合的山体滑坡检测方法。
技术介绍
我国铁路交通正处在快速发展的黄金时期，铁路线漫长，一条铁轨往往会穿越不同的地形地貌以及河流湖泊，保障铁路线及其周边设施的安全就成为重中之重。每到夏季，降水量较多，尤其是突降暴雨和大暴雨的时候，在山地和丘陵地区极易发生山体滑坡。因此，有必要对铁路沿线的山地和丘陵进行监视，对出现的山体滑坡现象进行报警。过去传统的方法是采用人工监测，但这种方法会大大增加人力和物力成本，且在人迹罕至的偏远山区难以实现。目前，已有借助无人机航拍的辅助手段，但无人机载重较少，巡航时间较短，且对天气的要求较高，无法有效实现临近空间的检测。临近空间，是指距地面20～100公里的空域。临近空间以大气的水平运动为主，几乎没有对流现象，也没有天气现象，温度几乎不变，湿度接近于零，更不会受到飞鸟撞机之类的威胁。因此，临近空间是一个绝佳的部署飞艇等临近空间飞行器的环境。飞艇的载重量大，可携带大量的通信、拍照和摄像设备，拍摄和通信的范围广；巡航高度高，滞空时间长，成本低，性价比高；对天气的要求低。因此，飞艇可以作为山体滑坡检测的良好平台。然而，临近空间的飞艇巡航带来的问题是拍摄的视角极广，且飞艇上的摄像头经常进行变焦，发生山体滑坡的区域占整个图像的比例往往也是不一致的。更困难的是发生山体滑坡的地形地貌也是多种多样的，山体滑坡对地形地貌的改变也是多样的。例如：在有植被覆盖的山区和没有植被覆盖的山区，发生山体滑坡前后地形地貌的变化都是不同。因此，使用颜色、纹理特征等传统特征很难检测发生山体滑坡的区域。
技术实现思路
本专利技术针对以上应用背景和技术难度，为了解决山体滑坡特征种类繁多，山体滑坡占整个图像的尺寸较小，山体滑坡尺寸不一致的问题；提出一种切实可行的在临近空间，借助飞艇等临近空间飞行器航拍，使用卷积神经网络提取深度特征，使用多尺度深度特征融合的方式进行山体滑坡多尺度检测，以增强决策能力；具体是一种基于多尺度特征融合的山体滑坡检测方法。所述的基于多尺度特征融合的山体滑坡检测方法，具体步骤如下：步骤一、在临近空间的飞艇或飞行器上安装摄像头，定时定点的对铁路沿线的场景进行航拍，将拍摄得到的图像实时发给加入了聚焦模块的VGGNet-19模型进行处理和分析；改进的VGGNet-19模型是指：保留传统VGGNet-19模型的卷积层和池化层，删除全连接层，在每个池化层的后面分别引入一个聚焦模块。所述的聚焦模块具体结构如下：每个聚焦模块的尺寸设定为[b，c，w，h]，b表示每次训练使用的图片样本数量；c表示每个聚焦模块的通道数，w表示每个聚焦模块的宽度，h表示每个聚焦模块的高度。当池化层的输出被输入到聚焦模块后，分为两分支，第一个分支保持池化层的输出值不变，第二个分支依次进过核尺寸为[w，h]的平均池化层，第一个全连接层，ReLU激活函数，第二个全连接层和ReLU激活函数。第二个分支中池化层的输出经过平均池化层后，数据的尺寸变为[b，c，1，1]；第一个全连接层把c个输入转换成c/4个输出，ReLU激活函数增加非线性特性，第二个全连接层把c/4个输入转换成c个输出，经过ReLU函数得到c个输出，并与第一个分支的结果做乘法，即每一个通道尺寸为[w，h]的特征图都乘以一个相同的数字；经过聚焦模块的输入和输出能保持尺寸不变。步骤二、针对某张拍摄图像，使用加入了聚焦模块的VGGNet-19模型的卷积层自底向上提取深度特征；所述的深度特征包括5个特征图，每个特征图的尺寸和通道数均不同；分别为：112*112*64，56*56*128，28*28*256，14*14*512，7*7*512，简称为a1，a2，a3，a4，a5。步骤三、将深度特征按层次进行自顶向下的特征融合；特征融合是指：把来自上层的深度特征做上采样，使之尺寸翻倍；同时通过1*1的卷积把当前层的深度特征的通道数减半。新融合的特征自上向下表示为b1，b2，b3，b4，b5；计算公式为；b1＝a1b2＝1*1卷积(a2)+上采样(b1)b3＝1*1卷积(a3)+上采样(b2)b4＝1*1卷积(a4)+上采样(b3)b5＝1*1卷积(a5)+上采样(b4)步骤四、在原始的输入图像上做选择性搜索，生成若干个可能包含目标区域的候选框；步骤五、根据原始图像的尺寸、候选框的尺寸、特征融合后各个特征图的尺寸，计算每个候选框分别在三个特征图b1，b2和b3上的映射大小；步骤六、通过最大池化的方式，把所有映射得到的特征图的尺寸统一成一致的尺寸；每个候选框分别对应三个特征图b1，b2和b3的映射；步骤七、把每个统一尺寸的特征图均依次经过尺寸为2048的全连接层和尺寸为1024的全连接层，得到尺寸为1024的一维向量。步骤八、把每个一维向量依次通过尺寸为512的全连接层，尺寸为2的全连接层和softmax，输出候选框属于目标或背景的概率，并确认当前候选框是否包含泥石流；当候选框属于目标或背景的概率大于0.5，则认为当前候选框包含泥石流；步骤九、同时将每个一维向量依次通过尺寸为512全连接层和尺寸为4的全连接层，调整候选框的位置和尺寸；调整的公式为：X＝x+a*wY＝y+b*hW＝w*ecH＝h*ed[x，y，w，h]为原始候选框的横坐标、纵坐标、宽度尺寸、高度尺寸，[a，b，c，d]为第二个分支的输出；步骤十、将每个包含泥石流的候选框经过位置和尺寸的调整后，得到初步的检测结果。步骤十一、将每个初步检测结果分别在摄像头拍摄的原始图像上做非极大值抑制，得到最终的检测结果。本专利技术的优点在于：1)、一种基于多尺度特征融合的山体滑坡检测方法，可以在不同高度的临近空间飞行器上检测到尺寸不同、纹理特征不一的山体滑坡。2)、一种基于多尺度特征融合的山体滑坡检测方法，自动增大对检测起到至关重要的特征的权重。3)、一种基于多尺度特征融合的山体滑坡检测方法，使用1*1卷积和上采样进行特征融合的方法，可以让低层次的特征含有丰富的语义特征。4)、一种基于多尺度特征融合的山体滑坡检测方法，可以检测到尺寸不同的泥石流现象。5)、一种基于多尺度特征融合的山体滑坡检测方法，在原始输入图像上做选择性搜索，再映射到特征图上，与直接把候选框送入网络的方式相比，可以大大加快检测速度。附图说明图1为本专利技术一种基于多尺度特征融合的山体滑坡检测方法的流程图；图2为本专利技术采用的加入了聚焦模块的VGGNet-19模型结构组成示意图；图3为本专利技术采用的聚焦模块的结构组成示意图；图4为本专利技术采用的特征融合和分层检测结构组成的示意图；图5为本专利技术采用的检测模块的组成示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供了一种基于多尺度特征融合的山体滑坡检测方法，在临近空间借助飞艇或飞行器航拍，使用多尺度融合的深度特征进行山体滑坡的多尺度检测。通过加入聚焦模块的VGG-19网本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征融合的山体滑坡检测方法，其特征在于，具体步骤如下：步骤一、在临近空间的飞艇或飞行器上安装摄像头，定时定点的对铁路沿线的场景进行航拍，将拍摄得到的图像实时发给加入了聚焦模块的VGGNet‑19模型进行处理和分析；改进的VGGNet‑19模型是指：保留传统VGGNet‑19模型的卷积层和池化层，删除全连接层，在每个池化层的后面分别引入一个聚焦模块；步骤二、针对某张拍摄图像，使用加入了聚焦模块的VGGNet‑19模型的卷积层自底向上提取深度特征；所述的深度特征包括5个特征图，每个特征图的尺寸和通道数均不同；分别为：112*112*64，56*56*128，28*28*256，14*14*512，7*7*512，简称为a1，a2，a3，a4，a5；步骤三、将深度特征按层次进行自顶向下的特征融合；特征融合是指：把来自上层的深度特征做上采样，使之尺寸翻倍；同时通过1*1的卷积把当前层的深度特征的通道数减半；新融合的特征自上向下表示为b1，b2，b3，b4，b5；计算公式为；b1＝a1b2＝1*1卷积(a2)+上采样(b1)b3＝1*1卷积(a3)+上采样(b2)b4＝1*1卷积(a4)+上采样(b3)b5＝1*1卷积(a5)+上采样(b4)步骤四、在原始的输入图像上做选择性搜索，生成若干个可能包含目标区域的候选框；步骤五、根据原始图像的尺寸、候选框的尺寸、特征融合后各个特征图的尺寸，计算每个候选框分别在三个特征图b1，b2和b3上的映射大小；步骤六、通过最大池化的方式，把所有映射得到的特征图的尺寸统一成一致的尺寸；步骤七、把每个统一尺寸的特征图均依次经过尺寸为2048的全连接层和尺寸为1024的全连接层，得到尺寸为1024的一维向量；步骤八、把每个一维向量依次通过尺寸为512的全连接层，尺寸为2的全连接层和softmax，输出候选框属于目标或背景的概率，并确认当前候选框是否包含泥石流；步骤九、同时将每个一维向量依次通过尺寸为512全连接层和尺寸为4的全连接层，调整候选框的位置和尺寸；调整的公式为：X＝x+a*wY＝y+b*hW＝w*ecH＝h*ed[x，y，w，h]为原始候选框的横坐标、纵坐标、宽度尺寸、高度尺寸，[a，b，c，d]为第二个分支的输出；步骤十、将每个包含泥石流的候选框经过位置和尺寸的调整后，得到初步的检测结果；步骤十一、将每个初步检测结果分别在摄像头拍摄的原始图像上做非极大值抑制，得到最终的检测结果。...

【技术特征摘要】
1.一种基于多尺度特征融合的山体滑坡检测方法，其特征在于，具体步骤如下：步骤一、在临近空间的飞艇或飞行器上安装摄像头，定时定点的对铁路沿线的场景进行航拍，将拍摄得到的图像实时发给加入了聚焦模块的VGGNet-19模型进行处理和分析；改进的VGGNet-19模型是指：保留传统VGGNet-19模型的卷积层和池化层，删除全连接层，在每个池化层的后面分别引入一个聚焦模块；步骤二、针对某张拍摄图像，使用加入了聚焦模块的VGGNet-19模型的卷积层自底向上提取深度特征；所述的深度特征包括5个特征图，每个特征图的尺寸和通道数均不同；分别为：112*112*64，56*56*128，28*28*256，14*14*512，7*7*512，简称为a1，a2，a3，a4，a5；步骤三、将深度特征按层次进行自顶向下的特征融合；特征融合是指：把来自上层的深度特征做上采样，使之尺寸翻倍；同时通过1*1的卷积把当前层的深度特征的通道数减半；新融合的特征自上向下表示为b1，b2，b3，b4，b5；计算公式为；b1＝a1b2＝1*1卷积(a2)+上采样(b1)b3＝1*1卷积(a3)+上采样(b2)b4＝1*1卷积(a4)+上采样(b3)b5＝1*1卷积(a5)+上采样(b4)步骤四、在原始的输入图像上做选择性搜索，生成若干个可能包含目标区域的候选框；步骤五、根据原始图像的尺寸、候选框的尺寸、特征融合后各个特征图的尺寸，计算每个候选框分别在三个特征图b1，b2和b3上的映射大小；步骤六、通过最大池化的方式，把所有映射得到的特征图的尺寸统一成一致的尺寸；步骤七、把每个统一尺寸的特征图均依次经过尺寸为2048的全连接层和尺寸为1024的全连接层，得到尺寸为1024的一维向量；步骤八、把每个一维向量依次通过尺寸为512的全连接层，尺寸为2的全连接层和softmax，输出候选框属于目标或背景的概率，并确认当前...

【专利技术属性】
技术研发人员：曹先彬，甄先通，李岩，孔祥东，胡宇韬，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11