用于无人机遥感图像的实时铁路场景解析方法技术

本发明专利技术提供了一种用于无人机遥感图像的实时铁路场景解析方法，包括：实时获取无人机遥感图像，并对图像进行数据采集和处理得到数据集；构建铁路场景解析网络模型，根据得到数据集对铁路场景解析网络模型进行训练和验证，得到最佳线损失比例系数；根据所述的最佳线损失比例系数，采用不同计算机对模型进行测试，得到解析结果，并对解析结果进行综合评价。本方法实现了基于计算资源有限的无人机机载计算机，可以进行实时快速高效的铁路场景解析，以进行铁路场景中轨道区域的高精度分割。

【技术实现步骤摘要】
用于无人机遥感图像的实时铁路场景解析方法
本专利技术涉及轨道交通运营安全与保障领域，尤其涉及一种用于无人机遥感图像的实时铁路场景解析方法。
技术介绍
近来，无人机被广泛用于在许多领域中的场景解析任务中。作为人工巡检和轨检车巡检以外的重要辅助巡检方式，基于无人机的自动化巡检是高速铁路安全运营领域的重要发展趋势。无人机自动化巡检具有灵活、高效和低成本等多种优势，并且对列车的正常运行没有任何影响，可以为铁路运营提供先进的安全保障。无人机不仅可以搭载可见光相机等载荷设备，同时可以搭载体积和质量满足一定规格要求的小型的机载计算机(onboardcomputer)，以对来自载荷设备的视频流等数据进行分析处理，同时也可以根据需求实时地对无人机进行更加灵活的和定制化的飞行控制。因此，基于无人机的铁路自动化巡检具有很广泛的应用前景，给铁路巡检带来了革命性的进步。深度学习近年来得到了极大的发展，其成果被广泛地应用于人脸识别、工业缺陷检测、智能机器人等诸多领域。在铁路自动化智能化巡检领域中，构建深度学习模型对与铁路巡检过程中关心的区域或对象进行有效的检测也成为重要的研究课题。然而要实现铁路自动化巡检，对铁路场景进行有效的解析则成为首当其冲的任务。基于深度学习技术构建的实时卷积神经网络模型则是能运行在无人机机载计算机上进行实时铁路场景分析的极具潜力的深度模型。因此，亟需一种采用深度学习方法的用于无人机遥感图像的实时铁路场景解析方法
技术实现思路
本专利技术提供了一种用于无人机遥感图像的实时铁路场景解析方法，以解决现有技术问题中存在的缺陷。为了实现上述目的，本专利技术采取了如下技术方案。本专利技术实施例提供了一种用于无人机遥感图像的实时铁路场景解析方法，包括：实时获取无人机遥感图像，并对所述图像进行数据采集和处理得到数据集；构建铁路场景解析网络模型，根据得到数据集对所述铁路场景解析网络模型进行训练和验证，得到最佳线损失比例系数；根据所述的最佳线损失比例系数，采用不同计算机对所述模型进行测试，得到解析结果，并对解析结果进行综合评价。优选地，对图像进行数据采集和处理得到数据集，包括将获取到的图像进行筛选，把筛选出来的图像利用lableme软件进行数据标注后按一定比例分为训练集、验证集和测试集。优选地，根据得到数据集对所述铁路场景解析网络模型进行训练和验证，包括：当所述数据集只有轨道区域和非轨道区域两个语义类别时，只采用线损失函数对铁路场景解析网络模型进行训练和验证；当还包含有其他语义类别时，则采用集成损失函数对铁路场景解析网络模型进行训练和验证。优选地，集成损失函数为下式(1)所示：L＝(1-α)LCE+αLLL(1)其中，LCE表示交叉熵损失函数，LLL表示线损失函数，α表示比例系数。优选地，当根据得到数据集对所述铁路场景解析网络模型进行训练和验证，铁路场景的无人机遥感图像中轨道区域必需为长条状。优选地，构建铁路场景解析网络模型的整体架构如下表1所示：表1优选地，线损失函数如下式(2)所示：其中，图像中对应于轨道区域和非轨道区域的像素点集合分别Pr和Pn，其中|Pr|＝N，|Pn|＝M，对于像素点pi∈Pr和pj∈Pn的隶属于轨道区域的隶属度分别为1/λi和1/λj，fi和fj分别为像素点pi和pj被预测为轨道区域类别的概率。优选地，隶属度根据下式(3)计算：λ＝d/d0(3)其中，当图像中只存在单个轨道区域，像素点p到轨道中心线l的距离是d，轨道区域边缘上的点到中心线l的距离为d0；当图像中存在两个及以上的条状轨道区域，像素点p到中心线lα的距离为d，第α个轨道区域边缘上的点到中心线lα的距离是d0。优选地，对解析结果进行综合评价，包括：采用测试集得到的解析结果与对应的标签真值进行计算，得出预测精度评价，同时对所述铁路场景解析网络模型的推理速度进行评价。优选地，预测精度评价根据下式(3)-(4)计算：其中，TP表示某一语义类别c的像素点中,预测为该类别的像素点个数；TN表示类别c的像素点中,预测为不是该类别的像素点个数；FP表示类别c的像素点中,预测为该类别，但事实上不是该类别的像素点个数；FN表示类别c的像素点中，预测为不是该类别，但事实上是该类别的像素点个数；IoU则表示类别c的交并比精度；公式(4)中，mIoU表示所有语义类别精度的均交并比，C表示语义类别的个数。由上述本专利技术的用于无人机遥感图像的实时铁路场景解析方法提供的技术方案可以看出，本专利技术方法通过设计了一种深度完全解耦残差卷积网络，以在无人机机载计算机计算能力范围内，实现铁路场景的实时高效解析，以最大可能支撑基于无人机的铁路自动化巡检工作；通过设计一种定制化的辅助损失函数，在网络模型训练过程中，使用该辅助损失函数对网络进行训练，可以在不增加计算复杂度的情况下，同时约束轨道区域和非轨道区域的分割，使得预测的轨道区域精确地集中在长条形区域中，并阻止它们出现在其他不可能的局部区域，实现了基于计算资源有限的无人机机载计算机，可以进行实时快速高效的铁路场景解析，以进行铁路场景中轨道区域的高精度分割。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的用于无人机遥感图像的实时铁路场景解析方法流程示意图；图2为完全解耦卷积和标准卷积滤波器比较示意图；图3是本实施例提出的完全解耦残差模块与现有技术的残差模块比较示意图；图4是传统像素坐标系与归一化坐标系比较示意图；图5是单轨道区域与双轨道区域及其中心线示意图；图6是提出的FDRNet和ERFNet不同类别预测精度随线损失函数比例α的变化情况示意图；图7是经过集成损失策略训练的FDRNet视觉效果图。具体实施方式下面详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作和/或它们的组。应该理解，这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本
技术人员本文档来自技高网...

【技术保护点】
1.一种用于无人机遥感图像的实时铁路场景解析方法，其特征在于，包括：/n实时获取无人机遥感图像，并对所述图像进行数据采集和处理得到数据集；/n构建铁路场景解析网络模型，根据得到数据集对所述铁路场景解析网络模型进行训练和验证，得到最佳线损失比例系数；/n根据所述的最佳线损失比例系数，采用不同计算机对所述模型进行测试，得到解析结果，并对解析结果进行综合评价。/n

【技术特征摘要】
1.一种用于无人机遥感图像的实时铁路场景解析方法，其特征在于，包括：
实时获取无人机遥感图像，并对所述图像进行数据采集和处理得到数据集；
构建铁路场景解析网络模型，根据得到数据集对所述铁路场景解析网络模型进行训练和验证，得到最佳线损失比例系数；
根据所述的最佳线损失比例系数，采用不同计算机对所述模型进行测试，得到解析结果，并对解析结果进行综合评价。


2.根据权利要求1所述的方法，其特征在于，所述对图像进行数据采集和处理得到数据集，包括将获取到的图像进行筛选，把筛选出来的图像利用lableme软件进行数据标注后按一定比例分为训练集、验证集和测试集。


3.根据权利要求1所述的方法，其特征在于，所述根据得到数据集对所述铁路场景解析网络模型进行训练和验证，包括：当所述数据集只有轨道区域和非轨道区域两个语义类别时，只采用线损失函数对铁路场景解析网络模型进行训练和验证；当还包含有其他语义类别时，则采用集成损失函数对铁路场景解析网络模型进行训练和验证。


4.根据权利要求3所述的方法，其特征在于，所述的集成损失函数为下式(1)所示：
L＝(1-α)LCE+αLLL(1)
其中，LCE表示交叉熵损失函数，LLL表示线损失函数，α表示比例系数。


5.根据权利要求3所述的方法，其特征在于，当根据得到数据集对所述铁路场景解析网络模型进行训练和验证，铁路场景的无人机遥感图像中轨道区域必需为长条状。


6.根据权利要求1所述的方法，其特征在于，所述构建铁路场景解析网络模型的整体架构如下表1所示：
表1

【专利技术属性】
技术研发人员：王志鹏，童磊，贾利民，秦勇，耿毅轩，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11