【技术实现步骤摘要】
本申请涉及人工智能和大数据,尤其涉及一种数据管理方法及相关设备。
技术介绍
1、目前的业务主要是实时和离线上还是两套架构,比较割裂。不同数据源,存在多种数据接入工具,ogg等接入流程耗时较长,整体效率低,实时接入效率低、工具多、流程长;业务实时指标较少,平均一个实时指标近2w,开发大量实时指标成本较高;多种监控工具,缺乏全链路的数据库监控等问题。
2、现有方法存在多种数据接入工具,实时接入效率低,业务实时指标较少,开发大量实时指标成本较高,缺乏全链路的数据库监控等的问题。因此急需一种数据管理方法,解决现有方法存在多种数据接入工具,实时接入效率低,业务实时指标较少,开发大量实时指标成本较高,缺乏全链路的数据库监控等的问题。
技术实现思路
1、本申请实施例的目的在于提出一种数据管理方法及相关设备,以解决现有方法存在多种数据接入工具,实时接入效率低,业务实时指标较少,开发大量实时指标成本较高,缺乏全链路的数据库监控等的问题,其主要目的是通过基于hud i建立构建一体化实时数据采集系统
...【技术保护点】
1.一种数据管理方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的数据管理方法,其特征在于,所述通过分布式消息队列将所述第一待处理数据按实时方式配置到目标数据库,包括:
3.根据权利要求2所述的数据管理方法,其特征在于,在所述通过分布式消息队列将所述第一待处理数据按实时方式配置到目标数据库的流处理表之前,所述方法还包括:
4.根据权利要求3所述的数据管理方法,其特征在于,所述通过分布式消息队列将所述第一待处理数据按实时方式配置到所述目标数据库的流处理表,包括:
5.根据权利要求1所述的数据管理方法,其特征在于,所
...【技术特征摘要】
1.一种数据管理方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的数据管理方法,其特征在于,所述通过分布式消息队列将所述第一待处理数据按实时方式配置到目标数据库,包括:
3.根据权利要求2所述的数据管理方法,其特征在于,在所述通过分布式消息队列将所述第一待处理数据按实时方式配置到目标数据库的流处理表之前,所述方法还包括:
4.根据权利要求3所述的数据管理方法,其特征在于,所述通过分布式消息队列将所述第一待处理数据按实时方式配置到所述目标数据库的流处理表,包括:
5.根据权利要求1所述的数据管理方法,其特征在于,所述通过离线数据库将所述第二待处理数据同步到所述目标数据库,包括:
6.根据权利...
【专利技术属性】
技术研发人员:程洪涛,
申请(专利权)人:中国平安人寿保险股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。