一种流批一体化的数据处理系统技术方案

本发明专利技术涉及数据处理技术领域，且公开了一种流批一体化的数据处理系统，包括系统模块总成，所述系统模块总成包括数据采集模块、数据传输模块、数据加密模块、数据处理模块，所述数据采集模块采用数据中台的方法收集数据库中的数据，且数据采集模块与数据传输模块相连接，数据传输模块包括多个数据管道，所述数据加密模块与数据传输模块和数据采集模块相连接。本发明专利技术通过数据管道对应数据源的微服务组件将数据转化为以主题划分的消息集合，利用消息系统的分区功能对数据管道进行并发设置，实现数据的并行处理，高效且低成本实现数据的异构整合和提高数据质量的加工。构整合和提高数据质量的加工。构整合和提高数据质量的加工。

【技术实现步骤摘要】
一种流批一体化的数据处理系统


[0001]本专利技术涉及数据处理
，尤其涉及一种流批一体化的数据处理系统。

技术介绍

[0002]企业在应对大量数据源管理时，容易产生混乱或不能实现分布式的部署，无法应对大规模数据的接入。市面上的很多数据处理平台，大体根据自己特有情况进行个性定制，微服务是指在功能不变的情况下，把一个大型的单个应用程序和服务拆分为多个可管理的服务。
[0003]在现有技术中，对数据的处理不能进行划分，从而并行处理，效率低，而且不能利用数据中台流批一体化技术实现进行数据融合，对于数据价值和提炼的效率较低，因此，提出一种流批一体化的数据处理系统显得非常必要。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种流批一体化的数据处理系统，解决了现有的企业数据处理系统对数据的处理不能进行划分，从而并行处理，效率低，而且不能利用数据中台流批一体化技术实现进行数据融合，对于数据价值和提炼的效率较低，不能满足人们的需求的问题。
[0006](二)技术方案
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
[0008]一种流批一体化的数据处理系统，包括系统模块总成，所述系统模块总成包括数据采集模块、数据传输模块、数据加密模块、数据处理模块，所述数据采集模块采用数据中台的方法收集数据库中的数据，且数据采集模块与数据传输模块相连接，数据传输模块包括多个数据管道，所述数据加密模块与数据传输模块和数据采集模块相连接，所述数据处理模块包括数据接收模块、特征提取模块和模型模块，且特征提取模块与数据接收模块相连接，特征提取模块在接收到数据接收模块接收的数据后对数据信息进行特征提取，然后通过模型模块利用数据中台流批一体化技术实现多源数据的融合，构建数据融合模型，所述模型模块连接有服务器终端，服务器终端与网页端或手机端连接，所述模型模块连接有数据解析模块，数据解析模块在接收到新的数据后把其通过数据传输模块传输到模型模块进行解析、计算处理，然后传输到服务器终端。
[0009]在前述方案的基础上，所述微服务组件从数据管道中获取数据，并通过运行容器中的应用进行数据的处理。
[0010]进一步的，所述系统模块总成包括储存模块，储存模块与数据采集模块和模型模块相连接。
[0011]作为本专利技术再进一步的方案，所述数据处理模块连接有数据整合模块，数据整合模块与数据接收模块和储存模块相连接。
[0012]在前述方案的基础上，所述数据处理模块连接有数据清洗模块，数据清洗模块把数据采集模块采集的数据进行过滤、转换、结构化定义。
[0013]进一步的，所述系统模块总成包括安全模块，安全模块在用户登录时进行安全验证，验证方式包括密码、指纹、人脸识别的一种或多种。
[0014]作为本专利技术再进一步的方案，所述数据处理模块连接有数据转换模块，数据转换模块与数据传输模块和数据采集模块相连接。
[0015]在前述方案的基础上，所述微服务组件从数据管道中获取数据后对数据进行分配，分配方式包括主动拉取、开放接入端口，开放接入端口由业务方主动调用。
[0016]本专利技术的有益效果为：
[0017]1.本专利技术通过数据管道对应数据源的微服务组件将数据转化为以主题划分的消息集合，利用消息系统的分区功能对数据管道进行并发设置，实现数据的并行处理，高效且低成本实现数据的异构整合和提高数据质量的加工。
[0018]2.本专利技术采用数据中台进行数据融合，通过对数据进行归类识别，搭建数据模型，对企业数据进行多维分析，精准识别数据特性，提升数据价值和提炼数据特征的工作成效。
[0019]3.本专利技术中，通过数据清洗模块的设置能够对采集的数据进行过滤、转换、结构化定义，从而提高数据的代表性。
附图说明
[0020]图1为本专利技术提出的一种流批一体化的数据处理系统的系统框架流程结构示意图。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设置”应做广义理解，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
[0022]实施例1
[0023]参照图1，一种流批一体化的数据处理系统，包括系统模块总成，系统模块总成包括数据采集模块、数据传输模块、数据加密模块、数据处理模块，数据采集模块采用数据中台的方法收集数据库中的数据，且数据采集模块与数据传输模块相连接，数据传输模块包括多个数据管道，数据管道对应数据源的微服务组件将数据转化为以主题划分的消息集合，利用消息系统的分区功能对数据管道进行并发设置，实现数据的并行处理，高效且低成本实现数据的异构整合和提高数据质量的加工，数据加密模块与数据传输模块和数据采集模块相连接，数据处理模块包括数据接收模块、特征提取模块和模型模块，且特征提取模块与数据接收模块相连接，特征提取模块在接收到数据接收模块接收的数据后对数据信息进行特征提取，然后通过模型模块利用数据中台流批一体化技术实现多源数据的融合，构建数据融合模型，采用数据中台进行数据融合，通过对数据进行归类识别，搭建数据模型，对企业数据进行多维分析，精准识别数据特性，提升数据价值和提炼数据特征的工作成效，模型模块连接有服务器终端，服务器终端与网页端或手机端连接，模型模块连接有数据解析
模块，数据解析模块在接收到新的数据后把其通过数据传输模块传输到模型模块进行解析、计算处理，然后传输到服务器终端。
[0024]本专利技术中，系统模块总成包括储存模块，储存模块与数据采集模块和模型模块相连接，数据处理模块连接有数据整合模块，数据整合模块与数据接收模块和储存模块相连接，数据处理模块连接有数据清洗模块，数据清洗模块把数据采集模块采集的数据进行过滤、转换、结构化定义，通过数据清洗模块的设置能够对采集的数据进行过滤、转换、结构化定义，从而提高数据的代表性，系统模块总成包括安全模块，安全模块在用户登录时进行安全验证，验证方式包括密码、指纹、人脸识别的一种或多种，数据处理模块连接有数据转换模块，数据转换模块与数据传输模块和数据采集模块相连接。
[0025]实施例2
[0026]参照图1，一种流批一体化的数据处理系统，包括系统模块总成，系统模块总成包括数据采集模块、数据传输模块、数据加密模块、数据处理模块，数据采集模块采用数据中台的方法收集数据库中的数据，且数据采集模块与数据传输模块相连接，数据传输模块包括多个数据管道，数据管道对应数据源的微服务组件将数据转化为以主题划分的消息集合，利用消息系统的分区功能对数据管道进行并发设置，实现数据的并行处理，高效且低成本实现数据的异构整合和提高数据质量的加工，数据加密模块与数据传输模块和数据采集模块相连接，数据处理模块包括数据接收模块、特征提取模块和模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流批一体化的数据处理系统，包括系统模块总成，其特征在于，所述系统模块总成包括数据采集模块、数据传输模块、数据加密模块、数据处理模块，所述数据采集模块采用数据中台的方法收集数据库中的数据，且数据采集模块与数据传输模块相连接，数据传输模块包括多个数据管道，所述数据加密模块与数据传输模块和数据采集模块相连接，所述数据处理模块包括数据接收模块、特征提取模块和模型模块，且特征提取模块与数据接收模块相连接，特征提取模块在接收到数据接收模块接收的数据后对数据信息进行特征提取，然后通过模型模块利用数据中台流批一体化技术实现多源数据的融合，构建数据融合模型，所述模型模块连接有服务器终端，服务器终端与网页端或手机端连接，所述模型模块连接有数据解析模块，数据解析模块在接收到新的数据后把其通过数据传输模块传输到模型模块进行解析、计算处理，然后传输到服务器终端。2.根据权利要求1所述的一种流批一体化的数据处理系统，其特征在于，所述微服务组件从数据管道中获取数据，并通过运行容器中的应用进行数据的处理。3.根据权利要求2所述的一种流批一体化...

【专利技术属性】
技术研发人员：黄羿衡，
申请(专利权)人：江苏苏云信息科技有限公司，
类型：发明
国别省市：