一种数据处理系统及方法技术方案

本申请实施例提供了一种数据处理系统及方法，其中，该系统包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。本申请实施例降低了对大量数据的处理难度。

【技术实现步骤摘要】
一种数据处理系统及方法
本申请涉及大数据
，具体而言，涉及一种数据处理系统及方法。
技术介绍
如今，随着技术的发展，越来越多的企业或工厂都开始使用电子化管理，在这过程中就必然会产生大量的数据，如何将这些数据快速地导入数据库以便及时进行数据处理就成为了一个迫切需要解决的问题。现有技术中，在大量数据导入数据库之前，会预先对这些大量数据进行预先处理，以确保这些数据能够满足预先设定的存储格式，由于这些大量数据可能来自不同的源数据库，且每个源数据库中的存储格式各不相同，在对这些数据进行预处理时，需要分别建立与各个数据对应的不同的处理方法，当有大量不同格式的数据需要进行预处理时，就会较为繁琐。综上，目前对数据进行预处理时，需要建立与各个数据对应的不同的处理方法，在执行时较为繁琐。
技术实现思路
有鉴于此，本申请的目的在于提供一种数据处理系统及方法，以降低对大量数据的处理难度。第一方面，本申请实施例提供了一种数据处理系统，包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；所述数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，所述数据处理系统还包括：子处理类型代码块生成模块，用于对各处理类型包含的子处理类型进行统计，得到子处理类型集，为所述子处理类型集中的每一子处理类型生成对应的子处理类型代码块，将所述子处理类型代码块发送至所述模板管理模块。结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，所述模板管理模块，包括：代码接收子模块，用于接收输入的子处理类型代码块，并将所述子处理类型代码块发送至所述通用模板生成子模块；通用模板生成子模块，用于存储由所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成的数据处理通用模板。结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，所述数据输入模块在接收输入的所述待处理源数据之后，具体用于：检测所述源数据是否符合预设格式，若否，按照预设格式对所述待处理源数据进行格式转换，并将格式转换后的待处理源数据发送至所述数据处理模块；若是，将所述待处理源数据发送至所述数据处理模块。结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，所述待处理源数据包括多种类型的数据，所述数据输入模块包括多种类型的数据接口，每一类型的数据接口对应接收一类型的数据。结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，所述模板构建模块，包括：指令接收子模块，用于接收所述用户输入的所述脚本指令，获取所述脚本指令中携带的对应的子处理类型；模板调用子模块，用于按照所述子处理类型调用所述数据处理通用模板，并根据所述数据处理通用模板组成所述数据处理定制模板。结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第六种可能的实施方式，所述模板构建模块，具体用于：依据脚本指令中包含的处理类型，确定该处理类型包含的子处理类型；依据各子处理类型之间的逻辑关系以及获取的数据处理通用模板，构建所述数据处理定制模板。结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第七种可能的实施方式，所述数据处理系统还包括：数据通信子模块，用于接收到数据处理通用模板更新指令时，将所述更新指令发送至所述模板管理模块，所述更新指令包括新的子处理类型代码块；所述模板管理模块，还用于基于所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成并存储新的数据处理通用模板。第二方面，本申请实施例提供了一种数据处理方法，所述方法包括：接收输入的待处理源数据；按照用户输入的脚本指令，获取所述脚本指令对应的预先存储的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据所述待处理源数据的处理类型生成；通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，所述接收输入的待处理源数据之前，所述方法还包括：对各处理类型包含的子处理类型进行统计，得到子处理类型集，为所述子处理类型集中的每一子处理类型生成对应的子处理类型代码块；存储由所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成的数据处理通用模板。与现有技术相比，本申请实施例提供的数据处理系统，包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。这样，在接收到输入的待处理源数据后，通过待处理源数据的处理类型直接调用预先存储的多种数据处理通用模板构建数据处理定制模板，并通过该数据处理定制模板对待处理源数据进行处理，这样即使对于编辑水平不高的用户，也可以简便的完成对待处理数据进行处理，从而降低了对大量数据的处理难度。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本申请实施例所提供的第一种数据处理系统结构示意图；图2示出了本申请实施例所提供的第二种数据处理系统结构示意图；图3示出了本申请实施例所提供的第三种数据处理系统结构示意图；图4示出了本申请实施例所提供的一种数据处理方法流程示意图。图标：101-模板管理模块；102-模板构建模块；103-数据输入模块；104-数据处理模块；105-子处理类型代码块生成模块；106-数据通信模块。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例提供了一种数据处理系统，如图1所示，包括：模板管理模块101，用于存储多种数据处理通用模板。这些本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；所述数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：模板管理模块，用于存储多种数据处理通用模板；模板构建模块，用于按照用户输入的脚本指令，获取所述脚本指令对应的数据处理通用模板，基于获取的数据处理通用模板构建数据处理定制模板，所述脚本指令依据待处理源数据的处理类型生成；数据输入模块，用于接收输入的所述待处理源数据，并将所述待处理源数据发送至数据处理模块；所述数据处理模块，用于接收到所述待处理源数据后，通过构建的所述数据处理定制模板对所述待处理源数据进行处理后输出。2.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括：子处理类型代码块生成模块，用于对各处理类型包含的子处理类型进行统计，得到子处理类型集，为所述子处理类型集中的每一子处理类型生成对应的子处理类型代码块，将所述子处理类型代码块发送至所述模板管理模块。3.根据权利要求2所述的系统，其特征在于，所述模板管理模块，包括：代码接收子模块，用于接收输入的子处理类型代码块，并将所述子处理类型代码块发送至所述通用模板生成子模块；通用模板生成子模块，用于存储由所述子处理类型代码块和所述子处理类型代码块对应的子处理类型组成的数据处理通用模板。4.根据权利要求1所述的系统，其特征在于，所述数据输入模块在接收输入的所述待处理源数据之后，具体用于：检测所述源数据是否符合预设格式，若否，按照预设格式对所述待处理源数据进行格式转换，并将格式转换后的待处理源数据发送至所述数据处理模块；若是，将所述待处理源数据发送至所述数据处理模块。5.根据权利要求1所述的系统，其特征在于，所述待处理源数据包括多种类型的数据，所述数据输入模块包括多种类型的数据接口，每一类型的数据接口对应接收...

【专利技术属性】
技术研发人员：汪向前，
申请(专利权)人：北京京安佳新技术有限公司，
类型：发明
国别省市：北京,11