System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种面向POI的数据中台架构系统技术方案_技高网

一种面向POI的数据中台架构系统技术方案

技术编号:40316543 阅读:7 留言:0更新日期:2024-02-07 20:59
本发明专利技术涉及数据处理技术领域,尤其是一种面向POI的数据中台架构系统,包括基建组建模块,所述基建组建模块连接有应用模块,通过应用模块与Api Gateway模块连接,将数据传递至元数据服务模块中进行整合,并通过存储层统一接入接口将整理后的数据传递至统一储存模块中进行储存。以此打造数据驱动的智能业务,做到由”数字”到”智能”的转变,同一个业务线内,也分为算法、数仓、风控等多个租户,高定位不同的业务线,支持多业务、多租户。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种面向poi的数据中台架构系统。


技术介绍

1、地图app和相关应用、小程序等早就成为人们生活不可或缺的助手,然而随着现实生活场景的不断丰富以及移动互联网技术的发展,地图app和相关应用产生的数据量越来越多、数据种类越来越丰富,其内含的业务价值越来越大;

2、但大量的数据以数据孤岛的形式分散在各业务系统,现有的数据架构更重平台而轻规范,已经无法高效支撑业务的发展。


技术实现思路

1、本专利技术的目的是为了解决现有技术中存在的缺点,而提出的一种面向poi的数据中台架构系统。

2、为了实现上述目的,本专利技术采用了如下技术方案:

3、设计一种面向poi的数据中台架构系统,包括基建组建模块,所述基建组建模块连接有应用模块,通过应用模块与api gateway模块连接,将数据传递至元数据服务模块中进行整合,并通过存储层统一接入接口将整理后的数据传递至统一储存模块中进行储存。

4、优选的,所述基建组件模块包括hive模块、spark模块、flink模块、clickhouse模块以及kibana模块。

5、优选的,所述应用模块包括数据传输服务模块、三方应用模块以及数据查询服务模块,提供传输、应用以及查询的服务。

6、优选的,所述api gateway模块包括鉴权模块、流量控制模块、其请求路由模块以及监控报警模块。

7、优选的,所述元数据服务模块包括自定义配置组件模块、血缘关系组件模块、数字字典组件模块、数据特征组件模块以及前端集控终端模块。

8、优选的,所述api gateway模块与所述元数据服务模块之间还设置有审计和安全组件模块。

9、优选的,所述api gateway模块与所述元数据服务模块之间还设置有监控预警组件,通过对数据进行实时的监控,当遇到数据异常时及时对数据进行报警。

10、优选的,所述统一储存模块包括数据的加密/解密、脱敏、集合/分组、查以及实时/离线。

11、优选的,所述统一储存模块,用于持久化存储数据,通过抽象层api屏蔽各存储单元的接口,做到对业务无感知,目前支持的存储组件包括mysql、posgrlsql、redis、memcache、hive、kafka、oracle、es以及mongodb。

12、本专利技术提出的一种面向poi的数据中台架构系统,有益效果在于:该面向poi的数据中台架构系统,以此打造数据驱动的智能业务,做到由”数字”到”智能”的转变,同一个业务线内,也分为算法、数仓、风控等多个租户,高定位不同的业务线,支持多业务、多租户。

本文档来自技高网...

【技术保护点】

1.一种面向POI的数据中台架构系统,包括基建组建模块,其特征在于,所述基建组建模块连接有应用模块,通过应用模块与Api Gateway模块连接,将数据传递至元数据服务模块中进行整合,并通过存储层统一接入接口将整理后的数据传递至统一储存模块中进行储存。

2.根据权利要求1所述的面向POI的数据中台架构系统,其特征在于,所述基建组件模块包括Hive模块、Spark模块、Flink模块、clickhouse模块以及Kibana模块。

3.根据权利要求2所述的面向POI的数据中台架构系统,其特征在于,所述应用模块包括数据传输服务模块、三方应用模块以及数据查询服务模块,提供传输、应用以及查询的服务。

4.根据权利要求3所述的面向POI的数据中台架构系统,其特征在于,所述Api Gateway模块包括鉴权模块、流量控制模块、其请求路由模块以及监控报警模块。

5.根据权利要求4所述的面向POI的数据中台架构系统,其特征在于,所述元数据服务模块包括自定义配置组件模块、血缘关系组件模块、数字字典组件模块、数据特征组件模块以及前端集控终端模块。>

6.根据权利要求5所述的面向POI的数据中台架构系统,其特征在于,所述Api Gateway模块与所述元数据服务模块之间还设置有审计和安全组件模块。

7.根据权利要求6所述的面向POI的数据中台架构系统,其特征在于,所述Api Gateway模块与所述元数据服务模块之间还设置有监控预警组件,通过对数据进行实时的监控,当遇到数据异常时及时对数据进行报警。

8.根据权利要求7所述的面向POI的数据中台架构系统,其特征在于,所述统一储存模块包括数据的加密/解密、脱敏、集合/分组、查以及实时/离线。

9.根据权利要求8所述的面向POI的数据中台架构系统,其特征在于,所述统一储存模块,用于持久化存储数据,通过抽象层API屏蔽各存储单元的接口,做到对业务无感知,目前支持的存储组件包括mysql、posgrlsql、redis、memcache、hive、kafka、oracle、es以及mongodb。

...

【技术特征摘要】

1.一种面向poi的数据中台架构系统,包括基建组建模块,其特征在于,所述基建组建模块连接有应用模块,通过应用模块与api gateway模块连接,将数据传递至元数据服务模块中进行整合,并通过存储层统一接入接口将整理后的数据传递至统一储存模块中进行储存。

2.根据权利要求1所述的面向poi的数据中台架构系统,其特征在于,所述基建组件模块包括hive模块、spark模块、flink模块、clickhouse模块以及kibana模块。

3.根据权利要求2所述的面向poi的数据中台架构系统,其特征在于,所述应用模块包括数据传输服务模块、三方应用模块以及数据查询服务模块,提供传输、应用以及查询的服务。

4.根据权利要求3所述的面向poi的数据中台架构系统,其特征在于,所述api gateway模块包括鉴权模块、流量控制模块、其请求路由模块以及监控报警模块。

5.根据权利要求4所述的面向poi的数据中台架构系统,其特征在于,所述元数据服务模块包括自定义配置组件模块、血缘关...

【专利技术属性】
技术研发人员:朱宝
申请(专利权)人:合肥自然秩序科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1