【技术实现步骤摘要】
本专利技术涉及数据统计，具体是一种集数据的组织、整合、治理、融合及分析的统计系统。
技术介绍
1、在统一大数据平台建设及数据建模和治理方面，数据分散在不同网络，由于边界复杂，导致数据存在壁垒，形成数据孤岛。早期信息化建设以满足应急性需求为主要目的，缺乏统一规划，各类数据服务输出能力弱，缺乏数据治理、分析、应用人员和强有力的工具支撑，无手段或手段比较落后，难以满足支撑全种类的服务需求。当前，信息化正在开启以数据深度挖掘和融合应用为主要特征的智能化阶段，数字化向“万物数据化”发展，网络化向“万物皆互联”发展，智能化通过对数据的深度融合与挖掘，帮助人们采用新的视角和新的手段，掌握事物的全局态势和细微差别，归纳事物发展规律预测预判事物未来状态，分析各种计划和政策的可能结果为决策提供最佳选项。
2、传统的数据分析方法通常包括将数据导入excel，并借助excel的函数对数据进行聚合和统计分析。然而，这种传统数据分析方式存在以下问题：首先，当大量海量数据被导入到excel中时，受限于个人电脑的有限cpu和内存资源，excel文件可能会出现卡顿甚至无响应的情况。其次，个人电脑的计算资源通常不足以满足大规模数据的高效计算需求。这直接导致数据的处理时间延长，影响了数据处理的效率。因此，这些问题对于传统数据分析工具而言，不仅限制了数据规模的处理能力，还降低了数据分析的效率。
3、另一种方式是专业人员使用数据库客户端软件(如navicat)登录数据库服务器，然后通过编写专业的sql语句来进行数据的聚合分析。虽然这种方法克服了个
4、目前市场上存在一些数据建模系统，这些系统将数据存储在传统的关系型数据库中，并且其运行依赖于这些数据库。然而，面对海量数据的情况，这些模型的计算效率会非常低下，往往无法满足业务需求。
5、于是，在此提出一种集数据的组织、整合、治理、融合及分析的统计系统。
技术实现思路
1、解决的技术问题
2、本专利技术的目的就是为了解决以上提到的问题，一是使用excel进行数据分析统计，二是解决个人电脑或数据库服务器计算资源不足问题，三是解决只有编写sql语句专业人士才能进行数据分析问题，四是解决数据存储依然依赖关系型数据库的问题，本专利技术从4个维度进行了创新，能对各种数据进行更加有效、方便的组织、整合、治理，实现数据组织设计、数据整合治理和其他数据融合及分析统计。
3、技术方案
4、为实现上述目的，本专利技术提供如下技术方案：一种集数据的组织、整合、治理、融合及分析的统计系统，包括作为反向代理服务器的前置nginx模块；
5、提供不同微服务之间的通信和相互操作的网关服务模块；
6、管理用户访问权限和认证的服务的统一鉴权服务模块；
7、管理和监控后端系统服务的平台管理服务模块；
8、构建出所需的数据模型、计算出所需的结果集的数据建模服务模块；
9、管理和控制数据模型计算出的结果集数据访问的数据审批服务模块；
10、提供数据文件或内容下载功能服务的数据下载服务模块；
11、对敏感数据进行修改、隐藏或替换的数据脱敏服务模块；
12、提供接口文档和接口访问服务的openapi服务模块；
13、帮助构建和管理微服务架构中的服务发现、配置管理和服务治理方面问题的nacos注册中心和配置中心；
14、保护分布式系统中的应用程序免受不良流量和异常情况的影响的sentinel模块；
15、监控和管理分布式系统中的应用程序的性能、调用关系和资源使用情况的skywalking模块；
16、提供分布式协调和管理的平台的zookeeper模块；
17、支持海量数据的实时或离线同步的seatunnel模块；
18、提供处理和分析大规模数据的spark模块；
19、用于数据传输、数据存储、数据流处理、事件驱动架构的kafka模块；
20、用于管理和存储大规模分布式数据的redis集群；
21、用于版本控制系统，协同开发、跟踪代码变化、处理分支合并和记录提交历史的git模块；
22、用于代码自动化构建、测试和部署的jenkins模块；
23、用于自动化部署、管理和扩展容器化的k8s集群；
24、用于大规模数据分析和实时查询的clickhouse库；
25、提供分布式任务调度和工作流管理系统的dolphinscheduler调度模块；
26、组织、管理、存储、处理和分析大规模数据的大数据平台模块。。
27、优选的，所述前置nginx模块在客户端和后端服务器之间起中介作用，所述客户端包括app、web页面和外部服务接入，前置nginx模块的输出端连接网关服务模块，网关服务模块的输出端连接统一鉴权服务模块和微服务集群，所述网关服务模块的输出端还连接nacos注册中心、配置中心、sentinel模块和skywalking模块组成的集群，所述统一鉴权服务模块和微服务集群的输出端同时连接redis集群，微服务集群还连接外接服务和平台ob模块，微服务集群中包含数据建模服务模块，该数据建模服务模块连接数据库，数据库输出端连接中间件，所述微服务集群输入端还连接有k8s集群，所述k8s集群连接jenkins模块，所述jenkins模块连接git模块，所述数据库的输入端还连接一网共享数据模块和自定义上传数据模块。
28、优选的，所述微服务集群包括平台管理服务模块、数据建模服务模块、数据审批服务模块、数据下载服务模块、数据脱敏服务模块和openapi服务模块，其中平台管理服务模块与数据审批服务模块双向连接，平台管理服务模块与数据下载服务模块双向连接，平台管理服务模块与据建模服务模块双向连接，openapi服务模块的输出端连接平台管理服务模块，数据脱敏服务模块的输出端连接数据下载服务模块。
29、优选的，所述数据库包括clickhouse库、dolphinscheduler调度和大数据平台模块，其中大数据平台模块通过dolphinscheduler调度连接clickhouse库。
30、优选的，所述外接服务包括邮件服务和短信服务。
31、优选的，所述中间件包括zookeeper模块、seatunnel模块、spark模块和kafka模块。
32、有益效果：
33、与现有技术相比，该集数据的组织、整合、治理、融合及分析的统计系统具备如下有益效果：
34、一、本专利技术与传统的使用excel等数据分析工具或者专业人士手写sql语句进行数据聚合分析统计相比，本专利技术采用了直观的“拖拉拽”方式，使普通人也能够轻易进行本文档来自技高网...
【技术保护点】
1.一种集数据的组织、整合、治理、融合及分析的统计系统，其特征在于：包括作为反向代理服务器的前置Nginx模块；
2.根据权利要求1所述的一种集数据的组织、整合、治理、融合及分析的统计系统，其特征在于：所述前置Nginx模块在客户端和后端服务器之间起中介作用，所述客户端包括APP、Web页面和外部服务接入，前置Nginx模块的输出端连接网关服务模块，网关服务模块的输出端连接统一鉴权服务模块和微服务集群，所述网关服务模块的输出端还连接nacos注册中心、配置中心、sentinel模块和skyWalking模块组成的集群，所述统一鉴权服务模块和微服务集群的输出端同时连接Redis集群，微服务集群还连接外接服务和平台OB模块，微服务集群中包含数据建模服务模块，该数据建模服务模块连接数据库，数据库输出端连接中间件，所述微服务集群输入端还连接有K8s集群，所述K8s集群连接Jenkins模块，所述Jenkins模块连接Git模块，所述数据库的输入端还连接一网共享数据模块和自定义上传数据模块。
3.根据权利要求1所述的一种集数据的组织、整合、治理、融合及分析的统计系统
4.根据权利要求1所述的一种集数据的组织、整合、治理、融合及分析的统计系统，其特征在于：所述数据库包括ClickHouse库、DolphinScheduler调度和大数据平台模块，其中大数据平台模块通过DolphinScheduler调度连接ClickHouse库。
5.根据权利要求1所述的一种集数据的组织、整合、治理、融合及分析的统计系统，其特征在于：所述外接服务包括邮件服务和短信服务。
6.根据权利要求1所述的一种集数据的组织、整合、治理、融合及分析的统计系统，其特征在于：所述中间件包括zooKeeper模块、SeaTunnel模块、Spark模块和Kafka模块。
...【技术特征摘要】
1.一种集数据的组织、整合、治理、融合及分析的统计系统，其特征在于：包括作为反向代理服务器的前置nginx模块；
2.根据权利要求1所述的一种集数据的组织、整合、治理、融合及分析的统计系统，其特征在于：所述前置nginx模块在客户端和后端服务器之间起中介作用，所述客户端包括app、web页面和外部服务接入，前置nginx模块的输出端连接网关服务模块，网关服务模块的输出端连接统一鉴权服务模块和微服务集群，所述网关服务模块的输出端还连接nacos注册中心、配置中心、sentinel模块和skywalking模块组成的集群，所述统一鉴权服务模块和微服务集群的输出端同时连接redis集群，微服务集群还连接外接服务和平台ob模块，微服务集群中包含数据建模服务模块，该数据建模服务模块连接数据库，数据库输出端连接中间件，所述微服务集群输入端还连接有k8s集群，所述k8s集群连接jenkins模块，所述jenkins模块连接git模块，所述数据库的输入端还连接一网共享数据模块和自定义上传数据模块。
3.根据权利要求1所述的一种集数据的组织、整合、治理、融合及分析的统计系统...
【专利技术属性】
技术研发人员：颜昊，黄利，唐峰峰，王浩，敖伟，张健，
申请(专利权)人：惠州市科晟信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。