实时数据管理方法、装置、设备、存储介质及产品制造方法及图纸

技术编号:43123515 阅读:24 留言:0更新日期:2024-10-26 10:02
本申请公开了一种实时数据管理方法、装置、设备、存储介质及计算机程序产品,属于数据处理技术领域。本申请通过从实时数据源处接收原始数据,并对原始数据进行加工处理,得到时序数据;将时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将时序螺旋缓存结构中超时数据回调至对象池,以供相关人员在时序螺旋缓存结构中查询相关数据,其中,时序螺旋缓存结构为具备预设数量个数据槽的环形数据缓存结构,数据槽内所缓存的数据是基于接收到的原始数据进行定期更新的,即通过具备多个数据槽的环形结构的时序螺旋缓存结构对时序数据进行缓存,并通过该时序螺旋缓存结构中各数据槽内定期更新数据的方式,实现对实时数据的综合性管理效果。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种实时数据管理方法、装置、设备、存储介质及计算机程序产品。


技术介绍

1、实时数据是指在特定时间段内持续不断生成的数据,如分析数据、流量数据等。这些数据需要被及时处理和存储,以支持各种应用场景的需求,例如,应用于实时流量分析系统、ddos攻击检测系统、网络通话感知系统、网络攻击态势系统等系统对应数据处理进程中。

2、当前在实时计算项目中依赖于时间窗口管理实时数据,依赖于编程语言本身对过时数据进行垃圾回收,即对实时数据的管理依赖于实时计算框架本身,通过使用时间窗口相关方法来确定实时数据的缓存时长,其具体计算过程需要满足数据计算场景的需求,因此,当前实时计算项目中,缺乏对实时数据的独立管理策略。


技术实现思路

1、本申请的主要目的在于提供一种实时数据管理方法、装置、设备、存储介质及计算机程序产品,旨在解决缺乏对实时数据进行独立管理情况的技术问题。

2、为实现上述目的,本申请提供一种实时数据管理方法,所述实时数据管理方法包括以下步骤:

3、从实时数据本文档来自技高网...

【技术保护点】

1.一种实时数据管理方法,其特征在于,所述实时数据管理方法包括以下步骤:

2.如权利要求1所述的方法,其特征在于,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池的步骤,包括:

3.如权利要求2所述的方法,其特征在于,所述将所述下一周期缓存位置对应数据槽中的超时数据回调至对象池的步骤,包括:

4.如权利要求3所述的方法,其特征在于,所述对所述超时数据进行属性重置,并将属性重置后的超时数据回调至对象池,使所述属性重置后的超时数据重复使用的步骤之后,所述方法还包括:

5.如权利要求1所述...

【技术特征摘要】

1.一种实时数据管理方法,其特征在于,所述实时数据管理方法包括以下步骤:

2.如权利要求1所述的方法,其特征在于,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将所述时序螺旋缓存结构中超时数据回调至对象池的步骤,包括:

3.如权利要求2所述的方法,其特征在于,所述将所述下一周期缓存位置对应数据槽中的超时数据回调至对象池的步骤,包括:

4.如权利要求3所述的方法,其特征在于,所述对所述超时数据进行属性重置,并将属性重置后的超时数据回调至对象池,使所述属性重置后的超时数据重复使用的步骤之后,所述方法还包括:

5.如权利要求1所述的方法,其特征在于,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中的步骤,包括:

6.如权利要求1所述的方法,其特征在于,所述将所述时序数据存储至预设的时序螺旋缓存结构对应数据槽中,并将...

【专利技术属性】
技术研发人员:于晶韩宗佑肖天翔王小东焦治谢懿魏来李海明师文袁胜郑伟李瑞强曹义显
申请(专利权)人:中国移动通信有限公司政企客户分公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1