一种基于深度学习的道路交叉口识别系统及方法技术方案

本发明专利技术提供一种基于深度学习的道路交叉口识别系统及方法，本发明专利技术通过对深度学习网络进行了改进，由低到高将低层和高层的卷积层的特征图进行融合，能够将低层卷积层对图像的纹理、边缘等细节信息与高层卷积层对图像的语义信息进行有效的融合，同时结合每层卷积层对应的RPN层的处理能力，有利于对小目标的检测，解决了道路交叉口识别不准确的问题。本发明专利技术通过设置4种尺寸和4种比例，从而得到16种不同的区域建议框，能够较好的覆盖全部类型的道路交叉口，增强对X形、Y形和复合型等交叉口的识别效果。

【技术实现步骤摘要】
一种基于深度学习的道路交叉口识别系统及方法
本专利技术涉及图像识别领域，具体涉及一种基于深度学习的道路交叉口识别系统及方法。
技术介绍
道路交叉口作为道路连接的枢纽，为道路网的快速构建提供准确的位置、方向、拓扑关系等重要信息。道路交叉口在遥感影像中一般为形状较小的面状目标，轮廓特征不明显，易受周围地物干扰。目前的道路交叉口检测算法需要引入较多的人工干预，自动化程度低，且对处于遮挡、邻近物颜色相近等复杂背景下的道路交叉口检测效果不理想。近年来深度学习革命在计算机视觉和人工智能领域有着显著的成就，在目标检测方面得到了实际性的应用。深度学习方法凭借深度网络强大的学习能力和高效的特征表达能力，能够从像素级别原始数据到抽象的语义概念逐层提取信息，克服了传统方法在自动化程度和可信度等方面的缺陷。例如，现有的FasterR-CNN网络是在R-CNN、FastR-CNN网络基础上改进而来的，网络模型包含了4个网络:提取特征网络Convlayers、区域建议网络RPN(RegionProposalNet-work)、RoiPooling网络和全连接网络。整体网络结构如图1所示，包括：1)、Convlayers提取特征图作为一种CNN网络目标检测方法，FasterR-CNN首先使用一组基础的卷积层(Conv)+激活层(Relu)+池化层(pooling)层提取图像的特征图(featuremaps)，该featuremaps会用于后续的RPN层和RoiPooling层。2)、提取特征网络RPNRPN从网络内部生成高质量区域建议框，用于对特征图的分类检测。RPN是一个全卷积神经网络，其输入为前端共享CNN的最后一层卷积层输出的特征图，大小不唯一，通过滑窗的方式进行卷积操作，分边界框回归层和分类层两个全连接层输出，分别表示每个窗口的k个矩形目标候选区及每个候选区包含物体的置信度，网络结构如图2所示。3)、RoiPooling层该层将RPN生成的区域建议框和CNN提取得到的featuremap进行融合，并通过最大池化方式形成固定尺寸的特征图。4)、Classifier将RoiPooling层形成固定大小的featuremap进行全连接操作，利用Softmax分类器对目标进行具体类别的分类，同时，利用边框回归算法获得物体的精确位置。但是由于道路交叉口在遥感影像中一般为面状的小目标，现有方法中图像里的候选区域由候选区域生成网络生成，候选区域的特征仅由最后一个卷积层经过目标区域池化得到，对小目标的检测效果并不理想。而在一个多层卷积神经网络中，各个卷积层对图像的处理作用是不同的，因此如何对网络结构进行合理优化以利于小目标的检测，是目前需要解决的问题。
技术实现思路
本专利技术针对现有技术的不足，从而提供一种基于深度学习的道路交叉口识别系统及方法，具体方案如下：一种基于深度学习的道路交叉口识别系统，包括提取特征网络、区域建议网络、RoiPooling网络和全连接网络；所述提取特征网络包括n个卷积层和n-1个池化层，用于提取输入图像的featuremaps；第一个卷积层的输入端用于输入待测影像，第i个卷积层的输出端连接第i个池化层的输入端，第i个池化层的输出端分别连接第i+1个卷积层的输入端和第i个RPN层的输入端，1≤i＜n；第n个卷积层的输出端连接所述RoiPooling网络的输入端；所述区域建议网络包括n个RPN层，第i个RPN层的输入端连接第i个池化层的输出端，第n个RPN层的输入端连接第n个卷积层的输出端；第i个RPN层的输出端连接第i+1个RPN层的输入端；第n个RPN层的输出端连接所述RoiPooling网络的输入端；所述RoiPooling网络的输出端连接所述全连接网络的输入端，所述全连接网络的输出端用于输出图像识别结果。进一步的，每个RPN层均包括用于计算分类概率的分类层和用于计算回归边框的边界框回归层，每个RPN层将计算得到的分类概率和回归边框进行输出。本专利技术还提供了一种基于深度学习的道路交叉口识别方法，包括以下步骤：(1)将包括道路交叉口的待测影像输入提取特征网络的第一个卷积层，第i个卷积层得到的featuremaps输入到第i个池化层，第i个池化层将处理后的featuremaps分别输入到第i+1个卷积层和区域建议网络的第i个RPN层，1≤i＜n，n为卷积层的数量；(2)第i个池化层的处理结果输入到区域建议网络的第i个RPN层，第i个RPN层的处理结果输入到第i+1个RPN层；(3)第n个卷积层的处理结果分别输入到第n个RPN层和RoiPooling网络；第n个RPN层的处理结果输入到RoiPooling网络；(4)RoiPooling网络将其处理结果输入到全连接网络，从而得到影像识别结果。进一步的，步骤(1)中，n为5，第一个卷积层用于提取所述道路交叉口的边缘特征；第二个卷积层用于提取所述道路交叉口的纹理特征；第三个卷积层和第四个卷积层均用于提取所述道路交叉口的抽象特征；第五个卷积层用于提取所述道路交叉口的高度抽象特征。进一步的，每个RPN层包括边界框回归层和分类层两个全连接层，每个RPN层从内部生成区域建议框，将区域建议框输入到边界框回归层和分类层；每个RPN层中的边界框回归层计算得到回归边框，每个RPN层中的分类层计算得到分类概率，从第1个RPN层至第5个RPN层依层向下传播计算得到的分类概率和回归边框，在第5个RPN层中分别计算分类概率的平均值和回归边框的平均值，并将得到的平均值输出到RoIPooling层。进一步的，5个RPN层都使用的是3*3*512大小的卷积核，以滑动窗口的形式使每个featuremaps像素点在对应的原图片上生成16种不同的区域建议框；在生成的所述区域建议框中，利用LoU规则筛选前256个区域建议框。进一步的，所述16种不同的区域建议框由4种尺寸和4种比例分别设置而成，4种尺寸分别为16*16、32*32、64*64、128*128，4种比例分别为1：1、1：2、2:1、3:1。进一步的，所述LoU规则为：生成的区域建议框与目标真实窗口重叠率大于0.8的定义为正样本，重叠率小于0.2的定义为负样本，分别选取正负样本中的前128个区域建议框；每个RPN层将各自选取的256个区域建议框输入到分类层和边界框回归层。本专利技术相对现有技术具有突出的实质性特点和显著的进步，具体地说，本专利技术具有以下优点：1、本专利技术通过对深度学习网络进行了改进，由低到高将低层和高层的卷积层的特征提取图进行融合，能够将低层卷积层对图像的纹理、边缘等细节信息与高层卷积层对图像的语义信息进行有效的融合，同时结合每层卷积层对应的RPN层的处理能力，有利于对小目标的检测，解决了道路交叉口识别不准确的问题；2、本专利技术通过设置4种尺寸和4种比例，从而得到16种不同的区域建议框，能够较好的覆盖全部类型的道路交叉口，增强对X形、Y形和复合型等交叉口的识别效果。附图说明图1是现有技术中FasterR-CNN算法的流程示意图；图2是现有技术中FasterR-CNN算法中RPN网络结构示意图；图3是本专利技术实施例中道路交叉口识别流程图；图4是本专利技术实施例中网络结构示意图。具体实施方式下面通过具体实施方式，对本专利技术的技术方案做进一步的详细描述。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的道路交叉口识别系统，其特征在于：包括提取特征网络、区域建议网络、Roi Pooling网络和全连接网络；所述提取特征网络包括n个卷积层和n‑1个池化层，用于提取输入图像的feature maps；第一个卷积层的输入端用于输入待测影像，第i个卷积层的输出端连接第i个池化层的输入端，第i个池化层的输出端分别连接第i+1个卷积层的输入端和第i个RPN层的输入端，1≤i＜n；第n个卷积层的输出端连接所述Roi Pooling网络的输入端；所述区域建议网络包括n个RPN层，第i个RPN层的输入端连接第i个池化层的输出端，第n个RPN层的输入端连接第n个卷积层的输出端；第i个RPN层的输出端连接第i+1个RPN层的输入端；第n个RPN层的输出端连接所述Roi Pooling网络的输入端；所述Roi Pooling网络的输出端连接所述全连接网络的输入端，所述全连接网络的输出端用于输出图像识别结果。

【技术特征摘要】
1.一种基于深度学习的道路交叉口识别系统，其特征在于：包括提取特征网络、区域建议网络、RoiPooling网络和全连接网络；所述提取特征网络包括n个卷积层和n-1个池化层，用于提取输入图像的featuremaps；第一个卷积层的输入端用于输入待测影像，第i个卷积层的输出端连接第i个池化层的输入端，第i个池化层的输出端分别连接第i+1个卷积层的输入端和第i个RPN层的输入端，1≤i＜n；第n个卷积层的输出端连接所述RoiPooling网络的输入端；所述区域建议网络包括n个RPN层，第i个RPN层的输入端连接第i个池化层的输出端，第n个RPN层的输入端连接第n个卷积层的输出端；第i个RPN层的输出端连接第i+1个RPN层的输入端；第n个RPN层的输出端连接所述RoiPooling网络的输入端；所述RoiPooling网络的输出端连接所述全连接网络的输入端，所述全连接网络的输出端用于输出图像识别结果。2.根据权利要求1所述的基于深度学习的道路交叉口识别系统，其特征在于：每个RPN层均包括用于计算分类概率的分类层和用于计算回归边框的边界框回归层，每个RPN层将计算得到的分类概率和回归边框进行输出。3.一种基于深度学习的道路交叉口识别方法，其特征在于：包括以下步骤：（1）将包括道路交叉口的待测影像输入提取特征网络的第一个卷积层，第i个卷积层得到的featuremaps输入到第i个池化层，第i个池化层将处理后的featuremaps分别输入到第i+1个卷积层和区域建议网络的第i个RPN层，1≤i＜n，n为卷积层的数量；（2）第i个池化层的处理结果输入到区域建议网络的第i个RPN层，第i个RPN层的处理结果输入到第i+1个RPN层；（3）第n个卷积层的处理结果分别输入到第n个RPN层和RoiPooling网络；第n个RPN层的处理结果输入到RoiPooling网络；（4）RoiPooling网络将其处理...

【专利技术属性】
技术研发人员：金飞，王龙飞，芮杰，刘智，徐聪慧，官恺，王淑香，孙启松，吕虎，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，郑州信大先进技术研究院，
类型：发明
国别省市：河南,41