一种基于数据中台一站式数据处理系统技术方案

技术编号:42561663 阅读:22 留言:0更新日期:2024-08-29 00:31
本发明专利技术涉及数据处理系统领域的一种基于数据中台一站式数据处理系统,包括数据中台,数据中台上连接有数据采集端和应用端,数据应用端与数据中台直接设置有多个公共请求通道和核心请求通道,应用端包括外部应用端和与核心请求通道连接的主应用端;数据中台内设置有数据处理终端,数据中台包括:综合数据库、数据采集模块、监控模块和访问管理模块;可以实现在数据中台负载较大和待处理数据较多时,可快速切换数据中台工作状态,保证数据中台的数据处理速率,此时被授权的主应用请求仍可被处理,暂停外部应用端的请求处理仅定期对其批量处理,使数据中台集中处理数据时,仍可正常维持对应用端请求的处理。

【技术实现步骤摘要】

本专利技术涉及的一种基于数据中台一站式数据处理系统,特别是涉及应用于数据处理系统领域的一种基于数据中台一站式数据处理系统。


技术介绍

1、数据中台是一个集中的数据管理平台,它可以帮助企业整合、管理和优化数据资源,以支持更高效的数据分析和业务决策。数据中台的出现,解决了传统数据管理方式中的一些问题,如数据孤岛、数据不一致性等。通过数据中台,企业可以将数据从分散的系统和业务中整合到一个中心平台,方便进行统一的管理、调度和使用。

2、一站式数据处理系统是指集成了多个数据处理功能和工具的综合平台,用户可以在一个系统中完成数据的采集、清洗、存储、分析和可视化等多个环节的操作。

3、为解决数据处理系统对数据处理效率低的问题,市场中的某数据处理系统采用读写缓存的设计,具有一定的市场占比。

4、中国专利技术专利cn116880776b说明书公开了一种存储数据的数据处理系统,系统包括:第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器,第一预设盘和第二预设盘的缓存速度处于不同预设范围,且第一预设盘的缓存速度大于第二预设盘的缓存速度,本文档来自技高网...

【技术保护点】

1.一种基于数据中台一站式数据处理系统,其特征在于:包括数据中台,所述数据中台上连接有数据采集端和应用端,所述数据应用端与数据中台直接设置有多个公共请求通道和核心请求通道,所述应用端包括外部应用端和与核心请求通道连接的主应用端;

2.根据权利要求1所述的一种基于数据中台一站式数据处理系统,其特征在于:所述数据处理模块工作时调取后端数据库内数据进行处理,处理方式包括:数据转换、数据分析、数据脱敏、数据集成和数据可视化;所述核心数据库内的数据均经过数据转换处理,所述前端数据库内的数据均经过数据脱敏处理。

3.根据权利要求2所述的一种基于数据中台一站式数据处理系统,其特...

【技术特征摘要】

1.一种基于数据中台一站式数据处理系统,其特征在于:包括数据中台,所述数据中台上连接有数据采集端和应用端,所述数据应用端与数据中台直接设置有多个公共请求通道和核心请求通道,所述应用端包括外部应用端和与核心请求通道连接的主应用端;

2.根据权利要求1所述的一种基于数据中台一站式数据处理系统,其特征在于:所述数据处理模块工作时调取后端数据库内数据进行处理,处理方式包括:数据转换、数据分析、数据脱敏、数据集成和数据可视化;所述核心数据库内的数据均经过数据转换处理,所述前端数据库内的数据均经过数据脱敏处理。

3.根据权利要求2所述的一种基于数据中台一站式数据处理系统,其特征在于:所述公共请求通道暂停请求处理时,访问管理模块将核心请求通道请求处理速率的上限调整至设定值。

4.根据权利要求3所述的一种基于数据中台一站式数据处理系统,其特征在于:所述公共请求通道为漏桶通道,所述核心请求通道为令牌通道,所述公共请求通道暂停请求处理时,公共请求通道内请求积累,当请求积累量达到设定值时停止积累,在公共请求通道暂停请求处理时,每间隔设定时间对积累请求进行批量请求处理。

5.根据权利要求4所述的一种基于数据中台一站式数据处理系统,其特征在于:所述公共请求通道进行批量请求处理时,通道管理模块读取请求的目标数据,根据请求的目标数据进行分组,将指向同一目标数据的请求归类为...

【专利技术属性】
技术研发人员:孙佳丽孙琦卢锐轩胡聪姚振张翠翠刘翠玲丁鑫赵林燕侯皓宇胡志远
申请(专利权)人:国网安徽省电力有限公司信息通信分公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1