数据处理系统、管理中心和数据处理方法技术方案

本发明专利技术公开了一种数据处理系统，属于网络技术领域。所述系统包括：管理中心、分别与管理中心相连的接入子系统、计算子系统和存储子系统，接入子系统还与计算子系统相连，计算子系统还与存储子系统相连。本发明专利技术通过管理中心获取各个数据集分别对应的配置信息，并根据配置信息为各个数据集生成对应的配置文件和数据集标识，各个子系统根据对应的配置文件对数据集进行处理；使得该系统可以根据用户的配置完成各种类型的数据的处理；从而解决了由于要处理多种类型的数据而需要开发建立多套系统导致需要花费大量资源和时间的问题；达到了一种数据处理系统只需通过简单的配置即可完成多种数据类型的处理的效果。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种数据处理系统，属于网络
。所述系统包括：管理中心、分别与管理中心相连的接入子系统、计算子系统和存储子系统，接入子系统还与计算子系统相连，计算子系统还与存储子系统相连。本专利技术通过管理中心获取各个数据集分别对应的配置信息，并根据配置信息为各个数据集生成对应的配置文件和数据集标识，各个子系统根据对应的配置文件对数据集进行处理；使得该系统可以根据用户的配置完成各种类型的数据的处理；从而解决了由于要处理多种类型的数据而需要开发建立多套系统导致需要花费大量资源和时间的问题；达到了一种数据处理系统只需通过简单的配置即可完成多种数据类型的处理的效果。【专利说明】
本专利技术涉及信息
，特别涉及一种数据处理系统、管理中心和数据处理方 法。
技术介绍
随着计算机和网络通信技术的飞速发展，企业要处理的数据爆炸式的增长，数 据量已经从 TB (1024GB=1TB)级别升到 PB (1024TB=1PB)级、EB (1024PB=1EB)、甚至 ZB (1024EB=1ZB)级别，所以对于海量数据的处理需要一整套的数据处理系统来完成。 通常情况下，不同类型的企业所要产生的数据的类型也不一样，那么对数据的处 理要求也不一样，所以不同企业的数据处理系统也不一样。比如，教育机构的数据处理系统 和银行机构的数据处理系统因为对数据的处理要求不同，所以二者也不同。 这种情况下，如果一个企业需要处理多种类型的数据，那么就需要多套数据处理 系统。而一套数据处理系统的开发到建立需要花费大量的资源和时间，并且系统的稳定性 也较差。
技术实现思路
为了解决由于要处理多种类型的数据而需要开发建立多套系统导致需要花费大 量资源和时间的问题，本专利技术实施例提供了一种数据处理方法及装置。所述技术方案如 下： 第一方面，提供了一种数据处理系统，所述系统包括：管理中心、分别与所述管理 中心相连的接入子系统、计算子系统和存储子系统，所述接入子系统还与所述计算子系统 相连，所述计算子系统还与所述存储子系统相连； 所述管理中心，用于获取至少两个数据集所分别对应的配置信息，并根据所述至 少两个数据集所分别对应的配置信息为所述至少两个数据集分别生成各自的配置文件和 数据集标识，所述配置文件包括接入配置子文件、计算配置子文件和存储配置子文件；分别 向所述接入子系统、所述计算子系统和所述存储子系统发送对应的配置子文件和所述数据 集标识； 所述接入子系统，用于接收所述至少两个数据集和各自对应的所述数据集标识， 查询与各个数据集标识对应的接入配置子文件，并根据所述接入配置子文件将各个数据集 和各个数据集对应的数据集标识发送给所述计算子系统； 所述计算子系统，用于接收各个数据集和各个数据集对应的数据集标识，查询与 各个数据集标识对应的计算配置子文件，并根据所述计算配置子文件对各个数据集进行相 同或者不同的统计分析以得到对应的结果数据集，并将各个数据集标识和对应的所述结果 数据集发送给所述存储子系统； 所述存储子系统，用于接收各个数据集标识和对应的所述结果数据集，查询与各 个数据集标识对应的存储配置子文件，根据所述存储配置子文件将所述结果数据集按照相 同或不同的方式存储至不同存储位置。 第二方面，提供了一种管理中心，所述管理中心，包括： 获取模块，用于获取至少两个数据集所分别对应的配置信息； 生成模块，根据所述获取模块获取到的至少两个数据集所分别对应的配置信息为 所述至少两个数据集分别生成各自的配置文件和数据集标识，所述配置文件包括接入配置 子文件、计算配置子文件和存储配置子文件； 发送模块，用于分别向接入子系统、计算子系统和存储子系统发送对应的配置子 文件和所述数据集标识，以便所述接入子系统在接收到所述至少两个数据集和各自对应的 所述数据集标识之后，查询与各个数据集标识对应的接入配置子文件，并根据所述接入配 置子文件将各个数据集和各个数据集对应的数据集标识发送给所述计算子系统；以便所述 计算子系统在接收到所述接入子系统发送的各个数据集和各个数据集对应的数据集标识 之后，查询与各个数据集标识对应的计算配置子文件，并根据所述计算配置子文件对所述 各个数据集进行相同或者不同的统计分析以得到对应的结果数据集，并将各个数据集标识 和对应的所述结果数据集发送给所述存储子系统；以便所述存储子系统在接收到所述计算 子系统发送的各个数据集标识和对应的所述结果数据集之后，查询与各个数据集标识对应 的存储配置子文件，根据所述存储配置子文件将所述结果数据集按照相同或不同的方式存 储至不同存储位置。 第二方面，提供了数据处理方法，用于第一方面所述的数据处理系统中的管理中 心，所述方法包括： 获取至少两个数据集所分别对应的配置信息， 根据所述至少两个数据集所分别对应的配置信息为所述至少两个数据集分别生 成各自的配置文件和数据集标识，所述配置文件包括接入配置子文件、计算配置子文件和 存储配置子文件； 分别向所述接入子系统、所述计算子系统和所述存储子系统发送对应的配置子文 件和所述数据集标识，以便所述接入子系统在接收到所述至少两个数据集和各自对应的所 述数据集标识之后，查询与各个数据集标识对应的接入配置子文件，并根据所述接入配置 子文件将各个数据集和各个数据集对应的数据集标识发送给所述计算子系统；以便所述计 算子系统在接收到所述接入子系统发送的各个数据集和各个数据集对应的数据集标识之 后，查询与各个数据集标识对应的计算配置子文件，并根据所述计算配置子文件对所述各 个数据集进行相同或者不同的统计分析以得到对应的结果数据集，并将各个数据集标识和 对应的所述结果数据集发送给所述存储子系统；以便所述存储子系统在接收到所述计算子 系统发送的各个数据集标识和对应的所述结果数据集之后，查询与各个数据集标识对应的 存储配置子文件，根据所述存储配置子文件将所述结果数据集按照相同或不同的方式存储 至不同存储位置。 本专利技术实施例提供的技术方案带来的有益效果是： 通过管理中心获取各个数据集分别对应的配置信息，并根据配置信息为各个数据 集生成对应的配置文件和数据集标识，并将配置文件中各个配置子文件和数据集标识分别 发送给接入子系统、计算子系统和存储子系统，以便接入子系统、计算子系统和存储子系统 分别根据对应的配置子文件对各个数据集进行处理；使得该系统可以根据用户的配置完成 各种类型的数据的处理；从而解决了由于要处理多种类型的数据而需要开发建立多套系统 导致需要花费大量资源和时间的问题；达到了一种数据处理系统只需通过简单的配置即可 完成多种数据类型的处理的效果。 【专利附图】【附图说明】 为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 的附图。 图1是本专利技术实施例一提供的数据处理系统的结构示意图； 图2是本专利技术实施例二提供的数据处理系统的结构示意图； 图3是本专利技术实施例二提供的本文档来自技高网...

【技术保护点】
一种数据处理系统，其特征在于，所述系统包括：管理中心、分别与所述管理中心相连的接入子系统、计算子系统和存储子系统，所述接入子系统还与所述计算子系统相连，所述计算子系统还与所述存储子系统相连；所述管理中心，用于获取至少两个数据集所分别对应的配置信息，并根据所述至少两个数据集所分别对应的配置信息为所述至少两个数据集分别生成各自的配置文件和数据集标识，所述配置文件包括接入配置子文件、计算配置子文件和存储配置子文件；分别向所述接入子系统、所述计算子系统和所述存储子系统发送对应的配置子文件和所述数据集标识；所述接入子系统，用于接收所述至少两个数据集和各自对应的所述数据集标识，查询与各个数据集标识对应的接入配置子文件，并根据所述接入配置子文件将各个数据集和各个数据集对应的数据集标识发送给所述计算子系统；所述计算子系统，用于接收各个数据集和各个数据集对应的数据集标识，查询与各个数据集标识对应的计算配置子文件，并根据所述计算配置子文件对各个数据集进行相同或者不同的统计分析以得到对应的结果数据集，并将各个数据集标识和对应的所述结果数据集发送给所述存储子系统；所述存储子系统，用于接收各个数据集标识和对应的所述结果数据集，查询与各个数据集标识对应的存储配置子文件，根据所述存储配置子文件将所述结果数据集按照相同或不同的方式存储至不同存储位置。...

【技术特征摘要】

【专利技术属性】
技术研发人员：付凯，罗伟，杨帅，何涛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44