一种数据集成平台数据服务的系统技术方案

本发明专利技术公开了一种数据集成平台数据服务的系统，其系统，包括数据库服务器、数据集成平台、数据应用系统；所述数据集成平台通过ETL的方式向所述数据库服务器提取数据，所述数据集成平台通过Webservice+FTP+Kafka的方式实现数据服务，向所述数据应用系统提供数据访问。通过数据服务提供数据访问，避免了直连数据库时可能导致数据集成平台运行不稳定、宕机的风险，规范了数据接口，也方便进行访问权限控制、访问统计，便于开展数据管理，有效地提高数据集成平台的综合效率。集成平台的综合效率。集成平台的综合效率。

【技术实现步骤摘要】
一种数据集成平台数据服务的系统


[0001]本专利技术涉及数据服务，具体涉及了一种数据集成平台数据服务的系统。

技术介绍

[0002]根据自身业务需求建设了一定规模的数据应用系统，其中部分数据从数据集成平台获取，因为缺乏有效数据共享机制，数据应用系统主要通过DBLink方式连接到数据集成平台获取数据，访问入口不统一，可能会占用数据集成平台大量的资源，引起数据集成平台运行不稳定、宕机，存在较大安全隐患，不能管控数据应用系统的访问频率、访问时间，不能统计访问情况等，数据管理并不规范。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种数据集成平台数据服务的系统，通过数据服务提供数据访问，避免了直连数据库时可能导致数据集成平台运行不稳定、宕机的风险，规范了数据接口，也方便进行访问权限控制、访问统计，便于开展数据管理，有效地提高数据集成平台的综合效率。
[0004]为了解决上述技术问题，本专利技术实施例提供了一种数据集成平台数据服务的系统，其系统包括数据库服务器、数据集成平台、数据应用系统；所述数据集成平台通过ETL的方式向所述数据库服务器提取数据，所述数据集成平台通过Webservice+FTP+Kafka的方式实现数据服务，向所述数据应用系统提供数据访问。
[0005]所述数据集成平台，包括：使用Hadoop集群，分成数据采集模块、数据存储模块、数据仓库与数据集市模块、数据服务模块，数据采集模块从所述数据库服务器抽取数据，保存到数据存储模块，通过数据模型、主题数据创建数据仓库与数据集市模块，再通过数据服务模块向数据应用系统提供数据。
[0006]所述数据采集模块连接到数据库服务器的数据库，通过ETL的方式抽取数据。
[0007]所述数据存储模块构造Hadoop集群作为数据存储，所述数据采集模块以ETL方式抽取数据后，再连接到Hadoop集群进行数据存储。
[0008]所述数据服务模块数据服务接收所述数据应用系统的数据请求，连接到所述数据存储模块、所述数据仓库与数据集市模块查询数据，将数据进行处理，传输至所述数据应用系统。
[0009]所述数据仓库与数据集市模块，包括：基于数据存储层Hadoop集群的数据，通过数据模型、主题数据方式进行处理，并把处理好的数据保存到所述数据仓库与数据集市模块。
[0010]所述Webservice+FTP+Kafka，包括：根据项目情况自行选择数据服务的方式，或根据数据量来判断提供方式。
[0011]所述根据数据量来判断提供方式，包括：数据量少于10000条时，优先通过Webservice方式提供数据服务；数据量大于或等于10000条时，根据数据需求系统的接口适配情况，选择FTP或Kafka方式提供数据服务。
[0012]所述FTP方式，包括：数据库服务器连接FTP服务器作为中转返回数据；数据应用系统调用数据服务接口，向数据集成平台发送数据请求后，再定时向数据集成平台发送查询请求查询进度，待数据准备好并放置到FTP服务器后再下载进行消费。
[0013]所述Kafka方式，包括：Kafka任务执行器、Kafka服务器；数据集成平台接口服务器接收数据应用系统的数据请求，转发给Kafka任务执行器，Kafka任务执行器连接到数据集成平台的数据库服务器进行数据查询，将获取到的数据推送到Kafka服务器上，数据应用系统通过数据服务接口查询数据的状态。
[0014]本专利技术实施例提供了一种数据集成平台数据服务的系统，通过数据服务提供数据访问，避免了直连数据库时可能导致数据集成平台运行不稳定、宕机的风险，规范了数据接口，也方便进行访问权限控制、访问统计，便于开展数据管理，有效地提高数据集成平台的综合效率。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0016]图1是一种数据集成平台数据服务的系统的结构示意图。
[0017]图2是一种数据集成平台数据服务的系统的数据集成平台结构示意图。
[0018]图3是一种数据集成平台数据服务的系统的FTP连接结构示意图。
[0019]图4是一种数据集成平台数据服务的系统的Kafka连接结构示意图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0021]实施例
[0022]参阅图1，图1是一种数据集成平台数据服务的系统的结构示意图。
[0023]参考图1，本专利技术实施例提供了一种数据集成平台数据服务的系统，其系统包括数据库服务器103、数据集成平台102、数据应用系统101；所述数据集成平台102通过ETL的方式向所述数据库服务器103提取数据，所述数据集成平台102通过Webservice+FTP+Kafka的方式实现数据服务，向所述数据应用系统101提供数据访问。
[0024]所述数据集成平台102，包括：使用Hadoop集群，分成数据采集模块、数据存储模块、数据仓库与数据集市模块、数据服务模块，数据采集模块从所述数据库服务器103抽取数据，保存到数据存储模块，通过数据模型、主题数据创建数据仓库与数据集市模块，再通过数据服务模块向所述数据应用系统101提供数据。
[0025]所述数据采集模块连接到数据库服务器103的数据库，通过ETL的方式抽取数据。
[0026]所述数据存储模块构造Hadoop集群作为数据存储，所述数据采集模块以ETL方式
抽取数据后，再连接到Hadoop集群进行数据存储。
[0027]所述数据服务模块数据服务接收数据应用系统的数据请求，连接到数据存储模块、数据仓库与数据集市模块查询数据，再封装好向所述数据应用系统101提供数据。
[0028]所述数据采集模块连接到数据库服务器103的数据库，通过ETL的方式抽取数据。
[0029]所述数据存储模块构造Hadoop集群作为数据存储，数据采集以ETL方式抽取数据后，再连接到Hadoop集群进行数据存储。
[0030]所述数据服务模块接收数据应用系统101的数据请求，连接到数据存储模块、数据仓库与数据集市模块查询数据，数据进行处理，上传至数据应用系统101。
[0031]所述数据仓库与数据集市模块基于数据存储层Hadoop集群的数据，通过数据模型、主题数据等方式进行处理，并把处理好的数据保存到数据仓库与数据集市。
[0032]所述Webservice+FTP+Kafka，包括：根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据集成平台数据服务的系统，其特征在于，所述系统，包括数据库服务器、数据集成平台、数据应用系统；所述数据集成平台通过ETL的方式向所述数据库服务器提取数据，所述数据集成平台通过Webservice+FTP+Kafka的方式实现数据服务，向所述数据应用系统提供数据访问。2.根据权利要求1所述的系统，其特征在于，所述数据集成平台，包括：使用Hadoop集群，分成数据采集模块、数据存储模块、数据仓库与数据集市模块、数据服务模块，数据采集模块从所述数据库服务器获取数据，保存到数据存储模块，通过数据模型、主题数据创建数据仓库与数据集市模块，再通过数据服务模块向数据应用系统提供数据。3.根据权利要求2所述的系统，其特征在于，所述数据采集模块连接到数据库服务器的数据库，通过ETL的方式抽取数据。4.根据权利要求2所述的系统，其特征在于，所述数据存储模块构造Hadoop集群作为数据存储，所述数据采集模块以ETL方式获取数据后，再连接到Hadoop集群进行数据存储。5.根据权利要求2所述的系统，其特征在于，所述数据服务模块数据服务接收数据所述应用系统的数据请求，连接到所述数据存储模块、数据仓库与所述数据集市模块查询数据，将数据进行处理，传输至所述数据应用系统。6.根据权利要求2所述的系统，其特征在于，所述数据仓库与数据集市模块，包括：基...

【专利技术属性】
技术研发人员：孟椿智，
申请(专利权)人：广西电网有限责任公司，
类型：发明
国别省市：