数据流处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:33629077 阅读:28 留言:0更新日期:2022-06-02 01:29
本公开关于一种数据流处理方法、装置、电子设备及存储介质,所述方法包括:获取源数据流;基于预设数据表模板对所述源数据流进行数据结构转换,得到源数据表;所述预设数据表模板与目标数据格式相对应;对所述源数据表中的数据进行处理,得到目标数据表;基于所述目标数据表,生成所述目标数据格式的目标数据流;将所述目标数据流发送到目标数据存储模块。本公开提高了数据流接入的扩展性以及增强了异常监控系统的稳定性。常监控系统的稳定性。常监控系统的稳定性。

【技术实现步骤摘要】
数据流处理方法、装置、电子设备及存储介质


[0001]本公开涉及大数据
,尤其涉及一种数据流处理方法、装置、电子设备及存储介质。

技术介绍

[0002]在项目运行过程中,可基于异常监控平台对其在运行过程中出现的异常信息进行监控,记录以及聚合等,具体可将项目运行过程中产生的数据流接入到异常监控平台中,以便于异常监控平台基于接入的数据流进行异常信息分析。
[0003]相关技术中,在将项目产生的数据流接入到异常监控平台时,需要异常监控平台针对每一个项目分别进行相应后台代码的修改;该数据流接入方法扩展性不强,并且随着对接项目数量的增多,修改后台代码的次数也会增多,从而导致异常监控系统的稳定性低。

技术实现思路

[0004]本公开提供一种数据流处理方法、装置、电子设备及存储介质,以至少解决相关技术中数据流接入扩展性低以及异常监控系统的稳定性低的问题。本公开的技术方案如下:
[0005]根据本公开实施例的第一方面,提供一种数据流处理方法,包括:
[0006]获取源数据流;
[0007]基于预设数据表模板本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据流处理方法,其特征在于,包括:获取源数据流;基于预设数据表模板对所述源数据流进行数据结构转换,得到源数据表;所述预设数据表模板与目标数据格式相对应;对所述源数据表中的数据进行处理,得到目标数据表;基于所述目标数据表,生成所述目标数据格式的目标数据流;将所述目标数据流发送到目标数据存储模块。2.根据权利要求1所述的方法,其特征在于,所述预设数据表模板中包括多个字段信息;所述基于预设数据表模板对所述源数据流进行数据结构转换,得到源数据表,包括:从所述源数据流中提取与所述多个字段信息分别对应的第一数据信息;将所述第一数据信息分别填充到各自对应的字段信息中,得到所述源数据表。3.根据权利要求1所述的方法,其特征在于,所述源数据流包括多个数据来源的源数据流;所述基于预设数据表模板对所述源数据流进行数据结构转换,得到源数据表包括:基于所述预设数据表模板对所述多个来源的源数据流分别进行数据结构转换,得到与所述多个来源的源数据流各自对应的源数据表。4.根据权利要求3所述的方法,其特征在于,所述预设数据表模板中包括多个字段信息;所述基于所述预设数据表模板对所述多个来源的源数据流分别进行数据结构转换,得到与所述多个来源的源数据流各自对应的源数据表,包括:对于所述多个来源的源数据流中的每个原始数据流,确定与所述原始数据流对应的预设数据表模板;从所述原始数据流中,提取与所述多个字段信息分别对应的第二数据信息;将所述第二数据信息分别填充到,所述原始数据流对应的预设数据表模板的所述多个字段信息中,得到与所述原始数据流对应的源数据表。5.根据权利要求1所述的...

【专利技术属性】
技术研发人员:刘洋
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1