基于全卷积神经网络与CRF技术的道路自动识别方法技术

本发明专利技术公开了基于全卷积神经网络与CRF技术的道路自动识别方法，步骤一、获取无人机航拍视频流并对无人机航拍视频进行解码；步骤二、从无人机航拍视频流中获得航拍图片；步骤三、读取此输入图片；步骤四、读取指定模型，若没有指定模型，读取默认模型；步骤五、对图片进行预测；步骤六、将预测好的图片以png格式保存。本发明专利技术采用多通道的全卷积神经网络的深度学习方法，结合由循环神经网络逼近的CRF算法，迁徙学习以及现有的无人机视频流处理方法来，通过无人机在飞行中挂载的航拍设备录制视频，从而自动完成对道路路网以及周边目标的识别，最大限度地提升无人机航拍道路识别的准确性。 1

Road automatic recognition method based on full convolution neural network and CRF Technology

The invention discloses a road automatic recognition method based on the full convolution neural network and the CRF technology. Step 1, obtain the UAV aerial video stream and decode the UAV aerial video video; step two, get the aerial picture in the UAV aerial video stream; step three, read the input picture; step four, read the specified mode. Type, if no model is specified, read the default model; step five, predict the picture; step six, save the predicted picture in PNG format. This invention adopts the depth learning method of the multichannel full convolution neural network, combined with the CRF algorithm which is approximated by the recurrent neural network, the migration learning and the existing UAV video stream processing method to record the video by the unmanned aerial vehicle mounted aerial photo equipment in flight, so that the road network and the surrounding target are completed automatically. And the maximum accuracy of UAV aerial road recognition is improved. One

【技术实现步骤摘要】
基于全卷积神经网络与CRF技术的道路自动识别方法
本专利技术涉及无人机航拍图像处理，计算机视觉，深度学习，迁徙学习，具体而言，涉及运用基于全卷积神经网络的深度学习技术自动标识无人机航拍图片中的道路以及周边目标技术。
技术介绍
目前道路识别现状：目前对无人机航拍图片的道路标识技术大多是手工的，半自动的(依赖人工和计算机同时操作)，少数运用图片中的部分特征如色彩、形状等进行自动标识。手工做法虽然可以保证一定的标识准确率，无需强大计算能力的机器，但是严重依赖拥有专业知识的技术人员。因此，此方法很难甚至无法应用于大规模的大图片的道路标识。自动航拍图中的道路可以有效避免上述的人力资源问题，却受限于标识的精确度。如图1所示，现有技术中的道路识别方法。附图来源：http://bbs.dji.com/thread-24617-1-1.html。目前基于深度学习的目标识别的研究情况：在计算机视觉领域，深度学习方法已被证实将会有效提高标识准确率。在论文“LeaningtoDetectRoadsinHigh-ResolutionAerialImages”中，作者Mnih,Hinton提到他们的深度学习方法在检测美国马萨诸塞州航拍图片中已领先于其他非深度学习方法达7％。如图2所示：《Minh与Hinton的深度学习，传统方法道路识别比较》，其中名称为other的曲线为非深度学习方法效果，其余均为深度学习方法效果。以曲线覆盖面积(AUC)评定算法优劣可见，深度学习方法胜于非深度学习方法。如图3所示：《深度学习与传统方法的对比》，左图，右图分别为非深度学习，深度学习方法的预测结果。图中白色部分为模型预测的道路。可见，右图远优于左图。然而通过普通全连接卷积神经网络(CNN)或者全卷积神经网络(FCN)得到的道路识别结果仍很粗糙，比如道路边缘还不够精确。原因如下：(一)CNN感受视野过大、以至于最后的分割输出很粗糙(在网络最后一层的时候，每个神经元对应到原始图片的一块很大区域)；FCN最后放大比例是32倍，导致分割粗糙；(二)CNN和FCN都缺少对空间、边缘信息等约束。CNN和FCN都是一种端到端的模型，没有加入任何已有的先验约束，我们是希望图像分割的时候，在边缘的地方分开的概率大一些(梯度越大的地方)。或者说我们希望两个相邻的像素如果差别越大，那么这两个像素属于不同类别的概率应该越大；如果两个相邻像素点的颜色非常接近，那么它们属于不同类别的概率应该越小。因此如果能够把这些人工已有的先验约束信息加入其中，那算法就会有进一步的提升。针对以上的问题:感受视野过大、边缘约束不够强，《SemanticImageSegmentationwithDeepConvolutionalNetsandFullyConnectedCRFs》提出的算法是：先利用FCN做粗分割、然后再利用CRF进行精分割。具体FCN改进如下：先利用FCN做粗分割、然后再利用CRF进行精分割。具体FCN改进如下：1、把第一层卷积层的卷积核大小由7*7改为3*3；(减小感受野)；2、减小下采样比例，本来我们FCN下采样比例是32，通过减小stride大小，下采用比例为8；(减小感受野)3、采用全连接条件随机场，对FCN分割结果进行精细化分割(增强边缘约束)。但这是把粗分割和精分割是完全分开的，并不是一个端到端的训练模型，只不过CRF利用了FCN的结果作为一元势函数，并不能形成全局统一的最优训练结果。
技术实现思路
针对现有技术中存在的不足，本专利技术采用多通道的全卷积神经网络的深度学习方法，结合由循环神经网络(RNN)逼近的ConditionalRandomField(CRF)算法，迁徙学习以及现有的无人机视频流处理方法来，通过无人机在飞行中挂载的航拍设备录制视频，从而自动完成对道路路网以及周边目标的识别，最大限度地提升无人机航拍道路识别的准确性。随着无人机航拍技术的普及，航拍视频数据也呈几何级增长。无人机视频流处理技术和深度学习方法并用可以大大降低无人机航拍图片道路标识任务中对专业技术人员的依赖并且有效提升预测准确率。这样可以在降低人工成本的同时有效对大量卫星图片进行预测。为了实现上述专利技术目的，本专利技术采用的技术方案为：一种基于全卷积神经网络的道路自动识别方法，其特征在于：步骤一、获取无人机航拍视频流并对无人机航拍视频进行解码；解码H264视频流，并通过ffmpeg将视频流转化为RGB图像；步骤二、从无人机航拍视频流中获得航拍图片；步骤三、读取此输入图片；步骤四、读取指定模型，若没有指定模型，读取默认模型；步骤五、对图片进行预测；步骤六、将预测好的图片以png格式保存。通过多通道全卷积神经网络架构，对航拍图片使用深度学习方法进行分析。分析结果为每一个对图像里像素进行的路，建筑，非路非建筑(背景)分类。步骤：首先将航拍图片分割成多个64*64的区域(窗口)块，将64*64的区域块输入全卷积网络，输出256个路概率值小数，或是768个路，建筑，非路非建筑概率值小数，256个路概率值对应16*16大小的路标识图片；768个概率值对应16*16大小的路与建筑标识图片。网络输入为RGB多通道图片。有益效果：本专利技术通过多通道全卷积神经网络CRF技术完成对每一张航拍图片的道路与建筑标识。本专利技术实现了端到端(End-to-End)的训练，即模型输入输出无需更多额外处理。本专利技术创新点：1、无人机视频流应用；2、使用了包含VGG网络迁徙学习的深度学习方法；3、使用了前沿的RNNasCRF来进一步优化道路预测；4、RGB多通道：道路特征更准确，性能优化；5、Maxout网络：特征优化传递。附图说明图1为现有技术中的道路自动识别方法。图2为Minh，Hinton论文中深度学习和非深度学习效果评测图。图3为深度学习航拍道路标识示例图。图4为全卷积神经网络与CRF技术示例图。图5为供迁徙学习的VGG网络示例图。图6为RNNasCRF技术示例图。图7为基于全卷积神经网络与CRF技术的道路自动识别方法实例图。图8为先前技术与本技术标注对比示例图。图9为航拍图片实例图。图10为基于全卷积神经网络与CRF技术的道路自动识别方法效果实例图。图11为本专利技术实例的基于无人机的航拍道路识别流程图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步详细叙述。1、人机视频流预处理解码H264视频流，并通过ffmpeg将视频流转化为RGB图像；2、使用深度学习技术标识图像中道路如图4所示，本实例提出的全卷积神经网络与CRF技术。本实施例通过全卷积神经网络架构，对航拍图片进行划窗操作分析(SlidingWindow)。首先将航拍图片分割成多个64*64的区域(窗口)块，将64*64的区域块输入全卷积神经网络，输出256个路概率值小数，或是768个路，建筑，非路非建筑概率值小数。256个路概率值对应16*16大小的路标识图片；768个概率值对应64*64大小的路与建筑标识图片。如图5所示，本实例提出的以VGG16网络为基础的迁徙学习示例图。如图6所示，本实例提出的RNNasCRF技术示例图。本实施例通过多通道全卷积神经网络CRF技术完成对每一张航拍图片的道路与建筑标识。本实施例实现了端到端(End-to-End)的训练，即模型本文档来自技高网...

【技术保护点】
1.一种基于全卷积神经网络与CRF技术的道路自动识别方法，其特征在于：

【技术特征摘要】
1.一种基于全卷积神经网络与CRF技术的道路自动识别方法，其特征在于：步骤一、获取无人机航拍视频流并对无人机航拍视频进行解码；步骤二、从无人机航拍视频流中获得航拍图片；步骤三、读取此输入图片；步骤四、读取指定模型，若没有指定模型，读取默认模型；步骤五、对图片进行预测；步骤六、将预测好的图片以png格式保存。2.根据权利要求1所述的基于全卷积神经网络与CRF技术的道路自动识别方法，其特征在于：解码H264视频流，并通过ffmpeg将视频流转化为RGB图像。3.根据权利要求1所述的基于全卷积神经网络与CRF技术的道路自动识别方法，其特征在于：通过多通道全卷积神经网络架构，对航拍图片进行划窗操作分析：首先将航拍图片分割成多个64*64的区域(窗口)块，将64*64的区域块输入全卷积神经网络，输出256个路概率值小数，或是768个路，建筑，非路非建筑概率...

【专利技术属性】
技术研发人员：凌志辉，俞旸，徐中恒，
申请(专利权)人：南京云思创智信息科技有限公司，
类型：发明
国别省市：江苏,32