一种数据处理系统及数据处理方法技术方案

本发明专利技术提供了一种数据处理系统及数据处理方法，该数据处理系统包括：关系型数据库、大规模并行处理MPP数据库和数据同步模块；所述关系型数据库，用于根据用户的触发，获取待处理的第一数据，其中，所述第一数据的数据量大于预设的数据量阈值；所述数据同步模块，用于从所述关系型数据库获取所述第一数据，并将所述第一数据发送给所述MPP数据库；所述MPP数据库，用于对所述第一数据进行处理，获得第一数据处理结果；所述数据同步模块，还用于从所述MPP数据库获取所述第一数据处理结果，并将所述第一数据处理结果发送给所述关系型数据库；所述关系型数据库，还用于对所述第一数据处理结果进行展示。本方案能够提高用户的使用体验。

【技术实现步骤摘要】
一种数据处理系统及数据处理方法
本专利技术涉及数据处理
，特别涉及一种数据处理系统及数据处理方法。
技术介绍
随着计算机技术的不断发展与进步，企事业单位以及政府部门所需要处理的数据量急剧增加，为了满足用户对数据进行查询和处理的需求，通常采用数据库对海量数据进行处理。目前，一般通过关系型数据库或大规模并行处理(MassiveParallelProcessor，MPP)数据库对海量数据进行处理。针对目前对海量数据进行处理的方法，关系型数据库可以提供高并发的交互式查询，但无法处理海量结构化数据的负载关联分析计算，MPP数据库具有较强的处理海量数据的能力，但是由于并发量不足无法提供高效的查询服务。因此，现有技术通过关系型数据或MPP数据库对海量数据进行处理的方法，由于关系型数据库处理海量数据能力不足，MPP数据库处理数据查询能力不足，导致两种数据库均无法满足用户的需求，导致用户的使用体验较差。
技术实现思路
本专利技术实施例提供了一种数据处理系统和数据处理方法，能够提高用户的使用体验。第一方面，本专利技术实施例提供了一种数据处理系统，包括：关系型数据库、大规模并行处理MPP数据库和数据同步模块；所述关系型数据库，用于根据用户的触发，获取待处理的第一数据，其中，所述第一数据的数据量大于预设的数据量阈值；所述数据同步模块，用于从所述关系型数据库获取所述第一数据，并将所述第一数据发送给所述MPP数据库；所述MPP数据库，用于对所述第一数据进行处理，获得第一数据处理结果；所述数据同步模块，还用于从所述MPP数据库获取所述第一数据处理结果，并将所述第一数据处理结果发送给所述关系型数据库；所述关系型数据库，还用于对所述第一数据处理结果进行展示。可选地，该数据处理系统进一步包括：数据库表迁移模块；所述数据库表迁移模块，用于在所述数据同步模块将所述第一数据发送给所述MPP数据库之前，将所述关系型数据库中的数据库表迁移到所述MPP数据库中；所述数据同步模块，用于根据被迁移到所述MPP数据库中的所述数据库表，将所述第一数据存储到所述MPP数据库中。可选地，所述关系型数据库，还用于根据所述用户的触发，获取待处理的第二数据，对所述第二数据进行处理获得第二数据处理结果，并对所述第二数据处理结果进行展示，其中，所述第二数据的数据量小于所述数据量阈值。可选地，所述关系型数据库，用于根据所述用户的触发判断所述第二数据是否存储在所述MPP数据库，如果是，向所述数据同步模块发送第一数据同步指令，否则直接读取存储在所述关系型数据库中的所述第二数据；所述数据同步模块，还用于根据所述第一数据同步指令，从所述MPP数据库中获取所述第二数据，并将所述第二数据发送给所述关系型数据库。可选地，所述MPP数据库，还用于根据所述用户的触发，向所述数据同步模块发送第二数据同步指令；所述数据同步模块，还用于根据所述第二数据同步指令，从所述关系型数据库获取待处理的第三数据，并将所述第三数据发送给所述MPP数据库，其中，所述第三数据的数据量大于所述数据量阈值；所述MPP数据库，还用于对所述第三数据进行处理，获得第三数据处理结果，并发对所述第三数据处理结果进行展示。可选地，所述关系型数据库包括：Oracle数据库。可选地，所述MPP数据库包括：GreenPlum数据库。第二方面，本专利技术实施例还提供了一种基于第一方面提供的任意一种数据处理系统进行数据处理的方法，包括：利用所述关系型数据库，根据用户的触发获取待处理的第一数据，其中，所述第一数据的数据量大于预设的数据量阈值；利用所述数据同步模块将所述关系型数据库获取到的所述第一数据发送给所述MPP数据库；利用所述MPP数据库对所述第一数据进行处理，获得第一数据处理结果；利用所述数据同步模块将所述MPP数据库获得的所述第一数据处理结果发送给所述关系型数据库；利用所述关系型数据库对所述第一数据处理结果进行展示。可选地，在所述利用所述数据同步模块将所述关系型数据库获取到的所述第一数据发送给所述MPP数据库之前，进一步包括：利用所述数据库表迁移模块将所述关系型数据库中的数据库表迁移到所述MPP数据库中；所述将所述关系型数据库获取到的所述第一数据发送给所述MPP数据库，包括：根据被迁移到所述MPP数据库中的所述数据库表，将所述第一数据存储到所述MPP数据库中。可选地，该数据处理方法进一步包括：利用所述关系型数据库，根据所述用户的触发获取待处理的第二数据，对所述第二数据进行处理获得第二数据处理结果后，对所述第二数据处理结果进行展示，其中，所述第二数据的数据量小于所述数据量阈值。可选地，该数据处理方法进一步包括：利用所述MPP数据库，根据所述用户的触发向所述数据同步模块发送第二数据同步指令；利用所述数据同步模块，根据所述第二数据同步指令，从所述关系型数据库获取待处理的第三数据，并将所述第三数据发送给所述MPP数据库，其中，所述第三数据的数据量大于所述数据量阈值；利用所述MPP数据库对所述第三数据进行处理，获得第三数据处理结果；利用所述MPP数据库对所述第三数据处理结果进行展示。本专利技术实施例提供的数据处理系统和数据处理方法，关系型数据库根据用户的触发获取到数据量大于预设数据量阈值的第一数据后，数据同步模块从关系型数据库获取第一数据，并将获取到的第一数据发送给MPP数据库，MPP数据库对第一数据进行处理获得第一数据处理结果后，数据同步模块从MPP数据库获取第一数据处理结果，并将获取到的第一数据处理结果发送给关系型数据库，由关系型数据库将第一数据处理结果展示给用户。由此可见，通过数据同步模块实现关系型数据库与MPP数据库之间的数据交换，由MPP数据库完成海量数据处理的工作，由关系型数据库完成海量数据查询结果的工作，综合关系型数据库和MPP数据库的优势，满足用户对海量数据进行查询和处理的需求，从而可以提升用户的使用体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的一种数据处理系统的示意图；图2是本专利技术一个实施例提供的另一种数据处理系统的示意图；图3是本专利技术一个实施例提供的一种数据处理方法的流程图；图4是本专利技术一个实施例提供的另一种数据处理方法的流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供了一种数据处理系统，该系统可以包括：关系型数据库101、大规模并行处理MPP数据库102和数据同步模块103；所述关系型数据库101，用于根据用户的触发，获取待处理的第一数据，其中，所述第一数据的数据量大于预设的数据量阈值；所述数据同步模块103，用于从所述关系型数据库101获取所述第一数据，并将所述第一数据发送给所述本文档来自技高网...

【技术保护点】
一种数据处理系统，其特征在于，包括：关系型数据库、大规模并行处理MPP数据库和数据同步模块；所述关系型数据库，用于根据用户的触发，获取待处理的第一数据，其中，所述第一数据的数据量大于预设的数据量阈值；所述数据同步模块，用于从所述关系型数据库获取所述第一数据，并将所述第一数据发送给所述MPP数据库；所述MPP数据库，用于对所述第一数据进行处理，获得第一数据处理结果；所述数据同步模块，还用于从所述MPP数据库获取所述第一数据处理结果，并将所述第一数据处理结果发送给所述关系型数据库；所述关系型数据库，还用于对所述第一数据处理结果进行展示。

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：关系型数据库、大规模并行处理MPP数据库和数据同步模块；所述关系型数据库，用于根据用户的触发，获取待处理的第一数据，其中，所述第一数据的数据量大于预设的数据量阈值；所述数据同步模块，用于从所述关系型数据库获取所述第一数据，并将所述第一数据发送给所述MPP数据库；所述MPP数据库，用于对所述第一数据进行处理，获得第一数据处理结果；所述数据同步模块，还用于从所述MPP数据库获取所述第一数据处理结果，并将所述第一数据处理结果发送给所述关系型数据库；所述关系型数据库，还用于对所述第一数据处理结果进行展示。2.根据权利要求1所述的系统，其特征在于，进一步包括：数据库表迁移模块；所述数据库表迁移模块，用于在所述数据同步模块将所述第一数据发送给所述MPP数据库之前，将所述关系型数据库中的数据库表迁移到所述MPP数据库中；所述数据同步模块，用于根据被迁移到所述MPP数据库中的所述数据库表，将所述第一数据存储到所述MPP数据库中。3.根据权利要求1所述的系统，其特征在于，所述关系型数据库，还用于根据所述用户的触发，获取待处理的第二数据，对所述第二数据进行处理获得第二数据处理结果，并对所述第二数据处理结果进行展示，其中，所述第二数据的数据量小于所述数据量阈值。4.根据权利要求3所述的系统，其特征在于，所述关系型数据库，用于根据所述用户的触发判断所述第二数据是否存储在所述MPP数据库，如果是，向所述数据同步模块发送第一数据同步指令，否则直接读取存储在所述关系型数据库中的所述第二数据；所述数据同步模块，还用于根据所述第一数据同步指令，从所述MPP数据库中获取所述第二数据，并将所述第二数据发送给所述关系型数据库。5.根据权利要求1所述的系统，其特征在于，所述MPP数据库，还用于根据所述用户的触发，向所述数据同步模块发送第二数据同步指令；所述数据同步模块，还用于根据所述第二数据同步指令，从所述关系型数据库获取待处理的第三数据，并将所述第三数据发送给所述MPP数据库，其中，所述第三数据的数据量大于所述数据量阈值；所述MPP数据库，还...

【专利技术属性】
技术研发人员：李硕，徐兵兵，侯冬刚，
申请(专利权)人：山东浪潮商用系统有限公司，
类型：发明
国别省市：山东,37