基于深度学习的铁路沿线彩钢瓦建筑智能识别方法技术

本发明专利技术涉及一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法，通过无人机搭载的摄像头和激光雷达采集铁路沿线图像和点云数据，数据来源相比于普通数据更加可靠多样。将无人机搭载的激光雷达与图像结合，利用图像对彩钢房进行智能实例分割，利用激光雷达扫描到的点云数据进行深度学习，通过算法得到彩钢房与铁路之间的距离，判断其是否为违章建筑。在不需要多期图像，不引入变化检测算法的情况下，使用单一高效率的算法完成对违章彩钢房的智能识别。识别。识别。

【技术实现步骤摘要】
基于深度学习的铁路沿线彩钢瓦建筑智能识别方法


[0001]本专利技术涉及无人机航摄
，尤其涉及一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法。

技术介绍

[0002]违章建筑是指违反城市规划和土地管理相关法律规定，未取得建设用地规划许可或擅自改变建设工程规划许可规定的建筑。彩钢瓦房被广泛用于厂房仓库及建设施工现场临时性用房，然而这类建筑不仅涉嫌违法建设和乱搭建，而且欠缺牢固安装的彩钢瓦建材被大风吹动后，极有可能成为安全隐患并影响铁路交通。因此，采用一种高效的、信息化的手段来对轨道沿线的彩钢瓦房进行检测具有非常重要的意义。
[0003]目前，无人机航摄技术得到飞速的发展，我国很多城市已开始采用无人机航摄图片进行彩钢瓦违章建筑的检测，但是现阶段主要采用的手段是无人机和变换检测技术相结合的方式，最终通过人工解译对变化结果进行判定。这种方式虽然避免工作人员的实地勘察，但是由于铁路沿线规模巨大，对于海量的无人机航摄图片或视频，完全使用人工解译依然效率低下且对从业者的视力产生一定伤害。
[0004]近年来，基于深度学习的目标检测已经在很多领域中获得突破性进展。因此，将基于深度学习的目标检测技术与无人机航摄技术相结合，采用深度学习的方法对无人机航摄图像中的违章彩钢瓦建筑进行智能检测具有非常好的技术优势和可实现性。通过深度学习对大量无人机航摄图像中彩钢瓦建筑物的特征进行提取，对建立的模型进行多次迭代学习训练，不断进行调整、优化相应的参数，提高检测模型的准确率，最终达到预期的检测效果。
[0005]虽然深度学习技术在城市管理中己有很多应用，但是将深度学习应用于违章彩钢瓦建筑检测的研究成果还比较少。违章彩钢瓦建筑的智能检测主要挑战在于：由于涉及铁路沿线管理等非技术因素，采用智能检测对违章彩钢瓦的检测准确率不可能达到100%，因而人工审核步骤是必不可少的，所以违章彩钢瓦的检测更加重视查全率，在保证特定查全率的同时提升准确率。针对此问题，本专利技术基于所获得的无人机影像库，通过对深度学习方法进行优化和组合,研究适用于铁路沿线违章彩钢瓦的智能检测方法。
[0006]目前市场上基本没有针对铁路沿线的彩钢瓦智能识别系统。铁路沿线违章建筑识别属于铁路巡检的边缘领域，但同时也是不可忽视的重要领域，在实际运行中，铁路沿线安全控制区范围内的彩钢瓦房，由于其材质较轻，容易在台风等恶劣天气下，被大风吹掉刮到铁路，从而严重影响到铁路运行安全。近年来，就曾发生过多起这种安全事故，造成大面积铁路停电停运及重大损失。因此，沿线彩钢瓦的检测识别是十分有必要的。截至2019年底，中国铁路通车总里程13.9万公里，其中高速铁路达3.5万公里。预计到2020年底，全国铁路营业总里程将达14.6万公里，覆盖约99%的20万人口及以上城市。其中，高铁（含城际铁路）大约3.9万公里，继续领跑世界。如此快速增长的里程中市场需求也是十分巨大的。
[0007]现有技术CN110427441A公开了一种基于空天地一体化技术的铁路外部环境隐患检测与管理方法，该方法以空间遥感技术检测为主，配合人工进行针对性的复核与问题处
置，实现从数据获取到检测结果输出的高度自动化，提高了作业效率和信息化程度，实现了对检测结果的精细管理分析以及从隐患发现、现场复核、信息填报到隐患OA处理的闭环管理。CN 112396128A公开了一种铁路外部环境风险源样本自动标注方法，包括：1 .区域范围内DOM数据和DLG采集成果数据整理及质量检查；2 .关注风险源目标要素信息提取与筛选；3 .矢量多边形要素拓扑错误检查和修复；4 .数字正射影像匀色处理；5 .数字正射影像规则瓦片格网计算与样本数据裁剪输出；6 .样本标注范围空间分析运算；7 .正样本矢量多边形空间位置修正；8 .标注成果生成及中间成果生成；9 .标注数据检查局部修复；10 .样本库数据整理与统一输出。实现了大幅面数字正射影像数据批量快速生成深度学习样本库，有效提高了样本标注效率，能根据样本数据自动修正矢量采集和影像表征地物边界存在的偏移，提高了样本标注精度。参见附图1，CN112307873A公开了一种基于全卷积神经网络的违章建筑自动识别方法，通过SURF算法对无人机拍摄的照片计算出特征点坐标，根据坐标计算出单应性矩阵，通过单应性矩阵对旧图像进行预处理变换，使特征点能和新图像重合，通过影像代数法对真实场景的屋顶进行变化检测，当检测出符合要求长宽要求的像素点差异时，将检测的可疑结果图传入后续的FCN框架进行识别，如果返回的识别结果图片中含有指定的像素颜色区域，则该区域为违章建筑，实现了自动识别功能。
[0008]然而，上述的现有技术方案存在如下不足：CN110427441A的基于空天地一体化技术的铁路外部环境隐患检测与管理方法中，分类和变化检测均采用传统的算法，传统算法简单，但结果没有深度学习和神经网络好，可以考虑传统算法和深度学习结合的方式对影像进行相应的操作。CN112396128A的利用高分辨率遥感航测数据及矢量采集成果数据自动开展铁路沿线外部环境风险源样本标注的方法中，对于无人机航拍图像来说，由于成本考虑，不需要多期对比算法，多期对比算法也不属于智能识别的部分，有改进空间。对于旧图像的训练和图像变换需要耗费很多时间，两套不一致的数据集也会导致训练难度加大。CN112307873A的基于全卷积神经网络的违章建筑自动识别方法中，提取共同特征点所用的SURF算法在效率和速度方面不是目前最好的，在算法方面仍有改进空间，可以采用当下高效的前沿算法。对于无人机航拍图像来说，由于成本考虑，不需要多期对比算法，多期对比算法也不属于智能识别的部分，有改进空间。对于旧图像的训练和图像变换需要耗费很多时间，两套不一致的数据集也会导致训练难度加大。所用的SURF算法在效率和速度方面也不是目前最好的，在算法方面也有改进空间。如何克服上述现有技术方案的不足,成为本
亟待解决的课题。

技术实现思路

[0009]为克服上述现有技术的不足，本专利技术提供了一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法，具体采用如下技术方案：一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法，包括下列步骤：S1.使用无人机搭载的摄像头和激光雷达采集铁路沿线的原始图像数据和点云数据，存入服务器；S2.从数据处理服务器读取所述原始图像数据和点云数据；S3.使用Swin Transformer主框架结构将所述原始图像数据进行切片操作，形成特征图，同时，将所述点云数据传入CenterPoint网络框架进行训练，并记录彩钢房与铁路
相对距离；S4.所述Swin Transformer主框架结构经过四个stage，每个stage通过一个linear embedding方法将划分后的每个批次的特征图的特征维度变成三维特征图，然后送入Swin Transformer Block，并使用降采样处理；S5.经过迭代训练后，将检测的可疑结果传入检测模块进行检测，并且将CenterPoint和Swin Transformer得到的结果进行对比，得到准确的违章建筑位置信息。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法，其特征在于，包括下列步骤：S1.使用无人机搭载的摄像头和激光雷达采集铁路沿线的原始图像数据和点云数据，存入服务器；S2.从数据处理服务器读取所述原始图像数据和点云数据；S3.使用Swin Transformer主框架结构将所述原始图像数据进行切片操作，形成特征图，同时，将所述点云数据传入CenterPoint网络框架进行训练，并记录彩钢房与铁路相对距离；S4.所述Swin Transformer主框架结构经过四个stage，每个stage通过一个linear embedding方法将划分后的每个批次的特征图的特征维度变成三维特征图，然后送入Swin Transformer Block，并使用降采样处理；S5.经过迭代训练后，将检测的可疑结果传入检测模块进行检测，并且将CenterPoint和Swin Transformer得到的结果进行对比，得到准确的违章建筑位置信息。2.根据权利要求1所述的一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法，其特征在于，所述步骤S2中，进行数据处理具体包括：使用LabelImg标注软件将原始图像数据中的彩钢房轮廓进行标注并打标签，同时，对点云数据进行解算并配准，生成三维彩色点云。3.根据权利要求1所述的一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法，其特征在于，所述步骤S3中，将所述点云数据传入CenterPoint网络框架进行训练具体包括：在预训练过程中，超参数设置如下：当epochs在200以内时，解冻训练，学习率为0.001，之后解冻训练，学习率为0.00001，迭代次数为5000；5500张含有彩钢瓦的图片用于训练，500张彩钢瓦图片用于验证，100随机图像用于测试。4.根据权利要求1所述的一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法，其特征在于，所述CenterPoint网络框架在第一阶段，使用CenterPoint检测三维目标的检测框中心点，并回归其检测框大小、方向和速度；所述CenterPoint网络框架在第二阶段使用一个refinement模块，对于第一阶段中的检测框，使用检测框中心的点特征回归检测框的score并执行refinement方法。5.根据权利要求3所述的一种基于深度学习的铁路沿线彩钢瓦建筑智能识别方法，其特征在于，所述步骤S4中，降采样处理具体包括：将图片的大小设置为224
×
224，将窗口大小设置为固定的7
×
7，即每个窗口固定有7
×
7个patch，所述patch的大小是不固定的，它会随着patch merging批次融合的操作而发生变化，最后整张图保留一个窗口即7
×
7个patch。6.根据权利要求4 所述的一种基于...

【专利技术属性】
技术研发人员：姜书安，许贵阳，张天龙，邹文武，李博闻，杨佳佳，付伟，
申请(专利权)人：北京建筑大学，
类型：发明
国别省市：