基于多模数据融合的智能铁路巡检方法及系统技术方案

本发明专利技术提供了一种基于多模数据融合的智能铁路巡检方法与系统WALLET(rallWAyinteLLigentinspEctionmethodandsysTem)，包括以下步骤：步骤一：对巡检场景多模态数据进行融合表达；步骤二：通过多模态对象特征提取、描述，准确刻画隐藏于多模态数据中铁路设备自身特征，实现多模数据分析；步骤三：构建由智能巡检仪、巡检边缘服务器和巡检分析平台组成的端边云融合架构，实现动态传算；步骤四：面向智能铁路巡检应用，动态构建分布式数据流图，实现基于数据流的并行加速。

【技术实现步骤摘要】
基于多模数据融合的智能铁路巡检方法及系统
本专利技术涉及一种基于多模数据融合的智能铁路巡检方法与系统WALLET(rallWAyinteLLigentinspEctionmethodandsysTem)，涉及大数据处理、机器学习、云计算等领域。
技术介绍
铁路巡检是行车安全的重要保障。我国铁路里程和运输任务的快速发展，对铁路巡检系统提出了更高的技术需求。为了维护列车的运行安全，巡道工必须有规律地巡查路轨(铁路路基、路轨、道岔、信号灯、铁路桥梁、铁路沿线的设施、通讯线路的巡查)及机车状态，及时发现并排除沿途隐患。现有铁路巡检方案主要采用人防和物防，前者主要依靠人工，包括送车前的线路检查、取车的车辆检查；货运列车的装载检查。各作业岗点的巡视检查、各工种的交接班均是通过电台汇报、首尾车辆涂打标记、记录签认、对口交接等人工方式实现，增加了铁路运营商实时决策的难度。同时，人防依赖巡检者的专家经验，巡检成本高且范围有限；后者通过定点安装的摄像装置与传感器收集信息，监测对象单一，范围有限，环境适应能力差，漏报误报率高。近年来，陆续提出通过智能分析进行铁路安全技防的概念，但相关技术离实际需求还相关甚远。总之，现有的方案普遍存在针对特定数据、分析精度低、难以自动化、时效性低等问题。经对现有技术文献的检索发现，JINX等(JINX,WANGY,ZHANGH,etal.DM-RIS:DeepMultimodelRailInspectionSystemWithImprovedMRF-GMMandCNN.IEEETRANSACTIONSONINSTRUMENTATIONANDMEASUREMENT,2020,69(41):1051-1065.)面向表面缺陷建立了一个深层多模态模型，提出了一种快速且鲁棒的空间约束高斯混合模型用于分割建议，并使用FasterRCNN进行了并行结构中的目标定位。但是该方法不能够实现有效的多模态特征提取，形成稀疏表征。赵阳(赵阳.基于文本挖掘的高铁信号系统车载设备故障诊断.北京交通大学,2015.)采用主题模型对故障文本数据进行分析，得到文本在主题空间中的表达，以此来进行降维和特征提取；在此基础上，针对车载设备故障诊断的不确定性，采用贝叶斯网络作为故障诊断方法，充分结合现场数据和领域知识，提出了一种适用于车载设备的贝叶斯结构学习算法，但是该方法对于文本数据有高度依赖性，无法应用于铁路巡检中的多模数据。李军等(李军,钟志农等。异构MAS结构下的空天资源多阶段协同任务规划方法。航空学报，2013,34(7):1682-1697)分析了资源协同规划中的资源异构性，提出了多阶段监测任务分解方法；并综合资源状况和任务依赖关系，建立了异构多智能体系统(MAS)多阶段协同任务规划模型，构建了协同任务规划服务平台，充分利用了异构资源的互补优势。但该方法局限于周期性的卫星系统，难以直接应用于复杂铁路巡检系统。Suettlerlein等(SuettlerleinJ,ZuckermanS,GaoGR.Animplementationofthecodeletmodel.EuropeanConferenceonParallelProcessing.Springer,Berlin,Heidelberg,2013:633-644)提出了基于数据流的Codelet模型，用于在异构计算资源上实现数据驱动的任务并行调度。但是该方法没有考虑边云协同巡检系统架构，难以充分发挥异构资源的优势。
技术实现思路
本专利技术的目的在于克服现有方法与系统中的不足，提供一种基于多模数据融合的智能铁路巡检方法与系统。针对巡检场景中的多模数据，充分利用铁路与巡检领域知识，实现多模态数据的融合表达与智能分析。构建了边云协同的巡检系统，实现采集数据边传边算，降低分析时延。从数据驱动角度构建数据流图，实现并行计算。根据本专利技术提供的一种基于多模数据融合的智能铁路巡检方法，包括以下步骤：步骤1：采用稀疏自编码网对接触网进行特征提取；步骤2：得到性能指标的在低维空间下的特征表示；步骤3：基于人工干预对多个性能指标提取出的特征做进一步特征融合；步骤4：多模态数据中铁路设备隐式特征刻画；步骤5：局部特征和全局特征映射关系挖掘；步骤6：分析预测铁路系统潜在的故障；步骤7：构建由智能巡检仪、巡检边缘服务器和巡检分析平台组成的边云融合架构；步骤8：通过巡检业务驱动的边传边算，提高计算本地化，降低巡检业务分析时延与云计算中心负载；步骤9：面向智能铁路巡检应用，动态构建分布式数据流图，增加对流式输入输出及其存储访问特性描述；步骤10：通过数据流图子图高效切分与异构计算资源能力适配的子图切分，实现数据流图分布式并行执行。优选地，所述步骤1包括以下步骤：步骤1.1：通过采用稀疏自编码网对接触网形态进行特征提取；步骤1.2：通过采用稀疏自编码网对接触网使用时间进行特征提取；步骤1.2：通过采用稀疏自编码网对接触网使用特性进行特征提取；优选地，所述步骤1.1包括以下步骤:步骤1.1.1：构造不同类型特征所形成的几何拓扑结构；步骤1.1.2：分析多模态特征特有的内嵌结构；步骤1.1.3：通过多模态复杂异构特征稀疏实现特征选择和表示；优选地，所述步骤2包括以下步骤：步骤2.1：对多种输入的特征分别提取特征；步骤2.2：将提取特征进行傅里叶编码；步骤2.3：将编码后的特征拼接到自编码神经网络中；步骤2.4：得到这特征压缩后的共同特征；步骤2.5：加入人工干预，减少特征压缩过程的误差；优选地，所述步骤6包括以下步骤：步骤6.1：对接触网形态和接触网使用时间和特性等历史样本数据使用稀疏自编码网络进行特征提取；步骤6.2：得到性能指标的特征表示；步骤6.3：使用稀疏自编码网络，对多个性能指标提取出的特征做进一步特征融合；步骤6.4：得到公共特征表示步骤6.5：添加人工干预，在时间轴上的某些时间点加入人为预测的可能发生故障的可能性；步骤6.6：融合特征和人工干预特征作为输入，进行神经网络进行有监督学习，分析故障位置，预测故障概率；优选地，所述步骤8包括以下步骤：步骤8.1：使用三元组T＝<ID，Op，Cstr>来描述原子任务,ID表示原子任务序号，Op表示原子任务对数据的操作集合，Cstr表示原子任务的约束集合，包括依赖数据集合、容忍的最大执行时间.步骤8.2：基于巡检领域知识和专家系统对任务进行分解；步骤8.3：使用四元组描述传算任务；步骤8.4：基于合作博弈进行传算规划；优选地，所述步骤8.2包括以下步骤:步骤8.2.1：基于巡检领域知识和专家系统对任务进行分解；步骤8.2.2：构建任务分解图DG＝(V,E,{or,join})；步骤8.2.3：图中的节点v∈V表示原子任务，边e∈E表本文档来自技高网...

【技术保护点】
1.一种基于多模数据融合的智能铁路巡检方法，其特征在于，包括以下步骤：/n步骤1：采用稀疏自编码网对接触网进行特征提取；/n步骤2：得到性能指标的在低维空间下的特征表示；/n步骤3：基于人工干预对多个性能指标提取出的特征做进一步特征融合；/n步骤4：多模态数据中铁路设备隐式特征刻画；/n步骤5：局部特征和全局特征映射关系挖掘；/n步骤6：分析预测铁路系统潜在的故障；/n步骤7：构建由智能巡检仪、巡检边缘服务器和巡检分析平台组成的边云融合架构；/n步骤8：通过巡检业务驱动的边传边算，提高计算本地化，降低巡检业务分析时延与云计算中心负载；/n步骤9：面向智能铁路巡检应用，动态构建分布式数据流图，增加对流式输入输出及其存储访问特性描述；/n步骤10：通过数据流图子图高效切分与异构计算资源能力适配的子图切分，实现数据流图分布式并行执行。/n

【技术特征摘要】
1.一种基于多模数据融合的智能铁路巡检方法，其特征在于，包括以下步骤：
步骤1：采用稀疏自编码网对接触网进行特征提取；
步骤2：得到性能指标的在低维空间下的特征表示；
步骤3：基于人工干预对多个性能指标提取出的特征做进一步特征融合；
步骤4：多模态数据中铁路设备隐式特征刻画；
步骤5：局部特征和全局特征映射关系挖掘；
步骤6：分析预测铁路系统潜在的故障；
步骤7：构建由智能巡检仪、巡检边缘服务器和巡检分析平台组成的边云融合架构；
步骤8：通过巡检业务驱动的边传边算，提高计算本地化，降低巡检业务分析时延与云计算中心负载；
步骤9：面向智能铁路巡检应用，动态构建分布式数据流图，增加对流式输入输出及其存储访问特性描述；
步骤10：通过数据流图子图高效切分与异构计算资源能力适配的子图切分，实现数据流图分布式并行执行。


2.根据权利要求1所述的基于多模数据融合的智能铁路巡检方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1：通过采用稀疏自编码网对接触网形态进行特征提取；
步骤1.2：通过采用稀疏自编码网对接触网使用时间进行特征提取；
步骤1.2：通过采用稀疏自编码网对接触网使用特性进行特征提取。
所述步骤1.1包括以下步骤：
步骤1.1.1：构造不同类型特征所形成的几何拓扑结构；
步骤1.1.2：分析多模态特征特有的内嵌结构；
步骤1.1.3：通过多模态复杂异构特征稀疏实现特征选择和表示。


3.根据权利要求1所述的基于多模数据融合的智能铁路巡检方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1：对多种输入的特征分别提取特征；
步骤2.2：将提取特征进行傅里叶编码；
步骤2.3：将编码后的特征拼接到自编码神经网络中；
步骤2.4：得到这特征压缩后的共同特征；
步骤2.5：加入人工干预，减少特征压缩过程的误差。


4.根据权利要求1所述的基于多模数据融合的智能铁路巡检方法，其特征在于，所述步骤6包括以下步骤：
步骤6.1：对接触网形态和接触网使用时间和特性等历史样本数据使用稀疏自编码网络进行特征提取；
步骤6.2：得到性能指标的特征表示；
步骤6.3：使用稀疏自编码网络，对多个性能指标提取出的特征做进一步特征融合；
步骤6.4：得到公共特征表示
步骤6.5：添加人工干预，在时间轴上的某些时间点加入人为预测的可能发生故障的可能性；
步骤6.6：融合特征和人工干预特征作为输入，进行神经网络进行有监督学习，分析故障位置，预测故障概率。


5.根据权利要求1所述的基于多模数据融合的智能铁路巡检方法，其特征在于，所述步骤8包括以下步骤：
步骤8.1：使用三元组T＝<ID，Op，Cstr>来描述原子任务,ID表示原子任务序号，Op表示原子任务对数据的操作集合，Cstr表示原子任务的约束集合，包括依赖数据集合、容忍的最大执行时间.
步骤8.2：基于巡检领域知识和专家系统对任务进行分解；
步骤8.3：使用四元组描述传算任务；
步骤8.4：基于合作博弈进行传算规划。
所述步骤8.2包括以下步骤：
步骤8.2.1：基于巡检领域知识和专家系统对任务进行分解；
步骤8.2.2：构建任务分解图DG＝(V,E,{or,join})；
步骤8.2.3：图中的节点v∈V表示原子任务，边e∈E表示原子任务间的依赖关系；
步骤8.2.4：连接符or和join成对使用，表示对子任务的不同分解方式，只需选择其中一种执行即...

【专利技术属性】
技术研发人员：唐飞龙，陈龙，刘嘉成，唐灿，
申请(专利权)人：苏州全时空信息技术有限公司，
类型：发明
国别省市：江苏;32