一种数据管理方法及相关设备技术

技术编号:44733430 阅读:12 留言:0更新日期:2025-03-21 17:58
本申请属于人工智能和大数据领域,应用于科技金融领域中,涉及一种数据管理方法,包括:获取实时流类型的数据源的第一待处理数据以及离线类型的数据源的第二待处理数据;通过分布式消息队列将第一待处理数据按实时方式配置到目标数据库;通过离线数据库将第二待处理数据同步到目标数据库,目标数据库的各个参数根据源表的各个参数配置得到;基于目标数据库对数据进行数据管理。本申请还提供一种数据管理装置、计算机设备及存储介质。本申请解决了现有方法存在多种数据接入工具,实时接入效率低,业务实时指标较少,开发大量实时指标成本较高,缺乏全链路的数据库监控等的问题。

【技术实现步骤摘要】

本申请涉及人工智能和大数据,尤其涉及一种数据管理方法及相关设备


技术介绍

1、目前的业务主要是实时和离线上还是两套架构,比较割裂。不同数据源,存在多种数据接入工具,ogg等接入流程耗时较长,整体效率低,实时接入效率低、工具多、流程长;业务实时指标较少,平均一个实时指标近2w,开发大量实时指标成本较高;多种监控工具,缺乏全链路的数据库监控等问题。

2、现有方法存在多种数据接入工具,实时接入效率低,业务实时指标较少,开发大量实时指标成本较高,缺乏全链路的数据库监控等的问题。因此急需一种数据管理方法,解决现有方法存在多种数据接入工具,实时接入效率低,业务实时指标较少,开发大量实时指标成本较高,缺乏全链路的数据库监控等的问题。


技术实现思路

1、本申请实施例的目的在于提出一种数据管理方法及相关设备,以解决现有方法存在多种数据接入工具,实时接入效率低,业务实时指标较少,开发大量实时指标成本较高,缺乏全链路的数据库监控等的问题,其主要目的是通过基于hud i建立构建一体化实时数据采集系统,从任务、平台资源管本文档来自技高网...

【技术保护点】

1.一种数据管理方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的数据管理方法,其特征在于,所述通过分布式消息队列将所述第一待处理数据按实时方式配置到目标数据库,包括:

3.根据权利要求2所述的数据管理方法,其特征在于,在所述通过分布式消息队列将所述第一待处理数据按实时方式配置到目标数据库的流处理表之前,所述方法还包括:

4.根据权利要求3所述的数据管理方法,其特征在于,所述通过分布式消息队列将所述第一待处理数据按实时方式配置到所述目标数据库的流处理表,包括:

5.根据权利要求1所述的数据管理方法,其特征在于,所述通过离线数据库将所...

【技术特征摘要】

1.一种数据管理方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的数据管理方法,其特征在于,所述通过分布式消息队列将所述第一待处理数据按实时方式配置到目标数据库,包括:

3.根据权利要求2所述的数据管理方法,其特征在于,在所述通过分布式消息队列将所述第一待处理数据按实时方式配置到目标数据库的流处理表之前,所述方法还包括:

4.根据权利要求3所述的数据管理方法,其特征在于,所述通过分布式消息队列将所述第一待处理数据按实时方式配置到所述目标数据库的流处理表,包括:

5.根据权利要求1所述的数据管理方法,其特征在于,所述通过离线数据库将所述第二待处理数据同步到所述目标数据库,包括:

6.根据权利...

【专利技术属性】
技术研发人员:程洪涛
申请(专利权)人:中国平安人寿保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1