数据的处理方法及装置制造方法及图纸

技术编号:39652805 阅读:24 留言:0更新日期:2023-12-09 11:21
本申请公开了一种数据的处理方法及装置

【技术实现步骤摘要】
数据的处理方法及装置、数据处理系统


[0001]本申请涉及数据处理
,具体而言,涉及一种数据的处理方法及装置

数据处理系统


技术介绍

[0002]运营商网络设备的日常运营工作需要设备巡检

故障分析

可视化展示等业务场景下的大量

实时的通信设备运行数据来支撑

相关技术中,对数据采集和数据解析进行了解耦,在一个采集周期中通过不同功能的多种类型的设备同时采集大量通信数据;通过人工对接的方式根据数据的类型确定解析方法,导致解析的速度慢,无法保证时序数据的时效性

[0003]针对上述的问题,目前尚未提出有效的解决方案


技术实现思路

[0004]本申请实施例提供了一种数据的处理方法及装置

数据处理系统,以至少解决由于相关技术中通过人工对接的方式确定解析存储时序数据的文件的方法造成的文件解析的速度慢进而无法保证时序数据的时效性的技术问题

>[0005]根据本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据的处理方法,其特征在于,包括:接收通知消息,其中,所述通知消息指示分布式服务器已经写入了目标文件,所述目标文件中包括多个通信设备的多个时序指标数据,所述通知消息中携带有所述多个时序指标数据对应的多个编码;获取指标信息表,在所述指标信息表中确定所述多个编码中每个编码对应的时序指标数据的类型;依据每个所述时序指标数据的类型确定用于解析所述目标文件的解析方法;依据所述解析方法和所述指标信息表对所述目标文件进行解析,得到解析结果,并将所述解析结果按照时间顺序存储在数据库,其中,所述时间顺序是根据所述目标文件中的多个时序指标数据的生成时间确定的
。2.
根据权利要求1所述的方法,其特征在于,所述指标信息表用于记载多种类型的时序指标数据的多个编码

模型类型

模型内容

所述多个编码中每个编码关联的模型类型,以及所述每个编码关联的模型内容,其中,所述模型类型用于指示解析所述每个编码对应的时序指标数据的数据模型的类型,所述模型内容用于指示所述每个编码对应的时序指标数据的解析结果;在所述指标信息表中确定所述多个编码中每个编码对应的时序指标数据的类型,包括:在所述指标信息表中确定目标编码,其中,所述目标编码为与所述目标文件中的时序指标数据的编码相同的编码;在所述指标信息表中确定所述目标编码关联的模型类型,其中,所述模型类型为所述目标编码对应的时序数据的类型,所述模型类型包括;单指标模型

多指标模型
。3.
根据权利要求2所述的方法,其特征在于,依据解析方法和所述指标信息表对所述目标文件进行解析,包括:如果所述目标文件中仅存在一种类型的时序指标数据,确定利用单指标模型对所述目标文件进行解析;在所述指标信息表中确定所述单指标模型关联的第一类模型内容,其中,所述第一类模型内容包括:指标编码和端口;利用所述单指标模型对所述目标文件进行解析,得到符合所述第一类模型内容的第一类解析结果,其中,所述第一类解析结果包括:所述目标文件中的每个时序指标数据的编码和所述每个时序指标数据对应的端口;如果所述目标文件中存在多种类型的时序指标数据,确定利用多指标模型对所述目标文件进行解析
。4.
根据权利要求3所述的方法,其特征在于,利用多指标模型对所述目标文件进行解析,包括:确定所述时序指标数据的数据层级;在所述时序指标数据的数据层级为0层的情况下,在所述指标信息表中确定所述多指标模型关联的第二类模型内容,其中,所述第二类模型内容包括:编码;利用所述多指标模型对所述目标文件进行解析,得到符合所述第二类模型内容的第二类解析结果,其中,所述第二类解析结果包括:所述每个时序指标数据的编码

5.
根据权利要求4所述的方法,其特征在于,利用多指标模型对所述目标文件进行解析,还包括:如果所述时序指标数据的数据层级大于0层,在所述指标信息表中确定所述多指标模型关联的第三类模型内容,其中,所述第三类模型内容包括:端口

虚拟局域网标识符和编码;利用所述多指标模型对所述目标文件进行解析,得到符合所述第二类模型内容的第三类解析结果,其中,所述第三类解析结果包括:所述目标文件中的多个时序指标数据对应的一个端口

所述多个时序指标数据中每个时序指标数据对应的虚拟局域网标识符,以及所述每个时序指标数据的编码
。6.
根据权利要求1所述的方法,其特征在于,所述方法还包括:监控数据处理的过程,并在监控到所述数据处理发生异常时生成通知信息;确定发生异常的进程,其中,所述进程包括:通知消息进程

文件写入进程

文件解析进程和数据入库进程;并根据所述发生异常的进程确定接收所述通知消息的目标对象
。7.
根据权利要...

【专利技术属性】
技术研发人员:张永潘王凯程青松姬艳
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1