【技术实现步骤摘要】
本专利技术涉及轨道交通，尤其涉及一种感知数据自动汇聚处理方法、系统、装置及电子设备。
技术介绍
1、轨道交通系统是一个复杂的大系统，涉及到许多不同的
，包括信号系统、车辆控制、乘客信息系统、安全系统等。这些系统会产生大量的感知数据，如车辆位置、速度、乘客数量、设备状态等。
2、目前为了监测和管理轨道交通系统的运行状态，各种感知设备被广泛部署在轨道交通网络中，以收集相关的数据，对于感知数据，大多是人工收集通过磁盘拷贝，开发程序进行数据清洗再交给大数据平台使用；或采用超文本传输协议(hypertext transferprotocol，http)或者用户数据报协议(user datagram protocol，udp)进行上报，后端汇总数据录入大数据存储，再进行大数据计算。这些方法存在诸如不安全、效率低、错误率高等一系列问题。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供一种感知数据自动汇聚处理方法、系统、装置及电子设备。
2、第一方面，本专利技术提供一种感知数据自动汇聚处理方法，包括：
3、定时扫描对象存储服务oss目录，获取部署于轨道列车端的数据采集服务上传至oss的日志文件；数据采集服务用于采集轨道列车端不同系统产生的感知数据；
4、基于服务提供者接口spi模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件
5、调用大数据平台，对解析后的格式化数据进行大数据计算分析。
6、在一些实施例中，解析二进制字段方法包括：
7、采用协议动态加载模式，预先将协议描述文件格式化存入数据库中，在服务初始化时将二进制解析协议加载到内存中，在解析日志文件时根据日志文件的协议版本调用相应的二进制解析协议进行按位解析字段值。
8、在一些实施例中，解析实现类包括列车自动运行系统ato解析实现类、列车自动防护系统atp解析实现类和列车控制和管理系统tcms解析实现类；
9、其中，ato解析实现类和atp解析实现类继承实现解析抽象类中的按行读取文件内容方法和解析普通字段方法；
10、tcms解析实现类继承实现解析抽象类中的按行读取文件内容方法、解析普通字段方法和解析二进制字段方法。
11、在一些实施例中，数据采集服务仅支持将日志文件上传至oss的功能权限。
12、在一些实施例中，获取部署于轨道列车端的数据采集服务上传至oss的日志文件之后，该方法还包括：
13、基于数据库配置的不同正则表达式或者匹配关键词，对日志文件进行校验。
14、在一些实施例中，对解析后的格式化数据进行大数据计算分析之后，该方法还包括：
15、将应用层数据录入doris，提供给前端访问。
16、第二方面，本专利技术还提供一种感知数据自动汇聚处理系统，包括：
17、部署于轨道列车端的数据采集服务、对象存储服务oss、日志服务平台和大数据平台；
18、oss分别与数据采集服务和日志服务平台通信连接，大数据平台与日志服务平台通信连接；
19、其中，日志服务平台用于实现第一方面的感知数据自动汇聚处理方法。
20、第三方面，本专利技术还提供一种感知数据自动汇聚处理装置，包括：
21、获取模块，用于定时扫描对象存储服务oss目录，获取部署于轨道列车端的数据采集服务上传至oss的日志文件；数据采集服务用于采集轨道列车端不同系统产生的感知数据；
22、解析模块，用于基于服务提供者接口spi模板模式，根据日志文件的不同类型加载相应的解析实现类，对日志文件进行解析；解析实现类继承实现解析抽象类中的部分或全部子方法，解析抽象类中的子方法包括读取日志文件方法、按行读取文件内容方法、解析普通字段方法和解析二进制字段方法；
23、大数据分析模块，用于调用大数据平台，对解析后的格式化数据进行大数据计算分析。
24、在一些实施例中，解析二进制字段方法包括：
25、采用协议动态加载模式，预先将协议描述文件格式化存入数据库中，在服务初始化时将二进制解析协议加载到内存中，在解析日志文件时根据日志文件的协议版本调用相应的二进制解析协议进行按位解析字段值。
26、在一些实施例中，解析实现类包括列车自动运行系统ato解析实现类、列车自动防护系统atp解析实现类和列车控制和管理系统tcms解析实现类；
27、其中，ato解析实现类和atp解析实现类继承实现解析抽象类中的按行读取文件内容方法和解析普通字段方法；
28、tcms解析实现类继承实现解析抽象类中的按行读取文件内容方法、解析普通字段方法和解析二进制字段方法。
29、在一些实施例中，数据采集服务仅支持将日志文件上传至oss的功能权限。
30、在一些实施例中，获取部署于轨道列车端的数据采集服务上传至oss的日志文件之后，该装置还包括：
31、校验模块，用于基于数据库配置的不同正则表达式或者匹配关键词，对日志文件进行校验。
32、在一些实施例中，对解析后的格式化数据进行大数据计算分析之后，该装置还包括：
33、存储模块，用于将应用层数据录入doris，提供给前端访问。
34、第四方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述第一方面所述的感知数据自动汇聚处理方法。
35、第五方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述第一方面所述的感知数据自动汇聚处理方法。
36、本专利技术提供的感知数据自动汇聚处理方法、系统、装置及电子设备，通过oss来获取部署于轨道列车端的数据采集服务上传的日志文件，然后基于spi模板模式来进行日志文件解析，不仅提高了轨道交通日志数据分析处理的安全性，更简化了不同日志解析开发的模式，减少了人工干预，提高了数据分析处理效率和准确性。
本文档来自技高网...【技术保护点】
1.一种感知数据自动汇聚处理方法，其特征在于，包括：
2.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述解析二进制字段方法包括：
3.根据权利要求1或2所述的感知数据自动汇聚处理方法，其特征在于，所述解析实现类包括列车自动运行系统ATO解析实现类、列车自动防护系统ATP解析实现类和列车控制和管理系统TCMS解析实现类；
4.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述数据采集服务仅支持将日志文件上传至OSS的功能权限。
5.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述获取部署于轨道列车端的数据采集服务上传至OSS的日志文件之后，所述方法还包括：
6.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述对解析后的格式化数据进行大数据计算分析之后，所述方法还包括：
7.一种感知数据自动汇聚处理系统，其特征在于，包括：
8.一种感知数据自动汇聚处理装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的感知数据自动汇聚处理方法。
...【技术特征摘要】
1.一种感知数据自动汇聚处理方法，其特征在于，包括：
2.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述解析二进制字段方法包括：
3.根据权利要求1或2所述的感知数据自动汇聚处理方法，其特征在于，所述解析实现类包括列车自动运行系统ato解析实现类、列车自动防护系统atp解析实现类和列车控制和管理系统tcms解析实现类；
4.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述数据采集服务仅支持将日志文件上传至oss的功能权限。
5.根据权利要求1所述的感知数据自动汇聚处理方法，其特征在于，所述获取部署于轨道列车端的数据采集服务上传至oss的日志文件之后，所述方法还包...
【专利技术属性】
技术研发人员：张少明，简锐锋，
申请(专利权)人：交控科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。