基于大数据平台的数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种基于大数据平台的数据处理方法及装置，其中方法包括：加载数据；读取所述数据对应的配置文件中一个或多个插件的配置信息；根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本发明专利技术无需开发代码，只需要通过配置文件即可实现数据处理的逻辑，基于插件满足数据处理需求，有效提高数据处理效率，减少工作量，降低成本。

Data processing method and device based on big data platform

【技术实现步骤摘要】
基于大数据平台的数据处理方法及装置
本专利技术涉及数据处理
，尤其涉及基于大数据平台的数据处理方法及装置。
技术介绍
随着计算机和网络技术的发展，电子设备的普及，越来越多的用户使用网络，为此产生了大量的数据，为了快速从海量数据中获得真正的业务价值，大数据平台应运而生。现有的基于大数据平台的数据处理通常都需要开发代码，整个流程包含需求、开发、测试、部署等多个环节，每个环节通常需要专业的人员参与，并且需要根据实际的业务需求单独开发，耗时长，工作量大且成本高。
技术实现思路
本专利技术实施例提供一种基于大数据平台的数据处理方法，用以进行数据处理，提高数据处理效率，减少处理工作量，降低成本，该方法包括：加载数据；读取所述数据对应的配置文件中一个或多个插件的配置信息；根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本专利技术实施例提供一种基于大数据平台的数据处理装置，用以进行数据处理，提高数据处理效率，减少处理工作量，降低成本，该装置包括：加载模块，用于加载数据；读取模块，用于读取所述数据对应的配置文件中一个或多个插件的配置信息；处理模块，用于根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于大数据平台的数据处理方法。本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于大数据平台的数据处理方法。相对于现有技术中通过开发代码、各环节通常需要专业的人员参与，并且需要根据实际的业务需求单独开发的方案而言，本专利技术实施例通过加载数据；读取所述数据对应的配置文件中一个或多个插件的配置信息；根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本专利技术实施例基于大数据平台的数据处理无需开发代码，只需要通过配置文件即可实现数据处理的逻辑，基于插件的思想，满足数据处理需求，有效提高数据处理效率，减少处理工作量，降低成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术实施例中基于大数据平台的数据处理方法示意图；图2为本专利技术实施例中基于大数据平台的数据处理方法示意图；图3为本专利技术实施例中根据插件的配置信息对DataFrame格式的数据进行处理的示意图；图4为本专利技术实施例中基于大数据平台的数据处理装置结构图；图5为本专利技术实施例中基于大数据平台的数据处理装置结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。如前所述，现有的基于大数据平台的数据处理存在如下问题：1、通常都需要专业人员参与，数据源类型多、数据处理过程复杂、性能优化难度大，限制了普通用户的使用；2、通常都需要开发代码，整个流程包含需求、开发、测试、部署等多个环节，每个环节通常需要专业的人员参与，处理效率低，工作量大，成本高；3、数据处理的流程一般包括读取、处理、写入三个环节，每个环节通常都需要根据实际的业务需求单独开发，功能重用度低，成本高。为了提高数据处理效率，减少处理工作量，降低成本，本专利技术实施例提供一种基于大数据平台的数据处理方法，如图1所示，该方法可以包括：步骤101、加载数据；步骤102、读取所述数据对应的配置文件中一个或多个插件的配置信息；步骤103、根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。由图1所示可以得知，本专利技术实施例通过加载数据；读取所述数据对应的配置文件中一个或多个插件的配置信息；根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。本专利技术实施例基于大数据平台的数据处理无需开发代码，只需要通过配置文件即可实现数据处理的逻辑，基于插件的思想，满足数据处理需求，有效提高数据处理效率，减少处理工作量，降低成本。具体实施时，加载数据。实施例中，在加载数据过程中，以API接口的方式对外发布。通过该API接口，仅需使用者读取数据即可完成数据的加载。具体实施时，读取所述数据对应的配置文件中一个或多个插件的配置信息。专利技术人发现，现有的基于大数据平台的数据处理通常都需要开发代码，整个流程包含需求、开发、测试、部署等多个环节，每个环节通常需要专业的人员参与，并且需要根据实际的业务需求单独开发，耗时长，工作量大且成本高，因此，本专利技术实施例基于插件的思想，只需要通过配置文件即可实现数据处理的逻辑，从而满足各种数据处理需求，无需开发代码，有效提高数据处理效率，减少处理工作量，降低成本。实施例中，所述数据对应的配置文件中一个或多个插件的配置信息中，定义了数据处理的操作内容。具体实施时，根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。实施例中，若读取所述数据对应的配置文件中多个插件的配置信息，则对所述多个插件进行排序，根据所述数据对应的配置文件中多个插件的配置信息，按序对所述数据进行处理。对于每个插件，在进行处理时需要首先加载上游数据，然后根据该插件的配置信息对该上游数据进行处理，处理后的结果将作为下一个插件的上游数据。实施例中，对所述数据进行处理还包括：sql语句处理。实施例中，对所述数据进行处理还包括：正则表达式处理，基于一组分隔符拆分数据处理，使用分隔符对字段进行分割处理，缓存数据处理，取topn处理，将一行分裂为多行处理，每行数据增加唯一的id处理，sql语句处理，多个字段连接处理，替换处理，排序处理其中之一或任意组合，如表1所示。表1插件名插件对应的处理grok正则表达式处理dissect基于一组分隔符拆分数据处理sep使用分隔符对字段进行分割处理cache...

【技术保护点】
1.一种基于大数据平台的数据处理方法，其特征在于，包括：/n加载数据；/n读取所述数据对应的配置文件中一个或多个插件的配置信息；/n根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。/n

【技术特征摘要】
1.一种基于大数据平台的数据处理方法，其特征在于，包括：
加载数据；
读取所述数据对应的配置文件中一个或多个插件的配置信息；
根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，其中对所述数据进行处理包括：加工处理和/或解析处理。


2.如权利要求1所述的方法，其特征在于，还包括：对处理后的数据进行存储。


3.如权利要求2所述的方法，其特征在于，加载数据之后，将所述数据转换为DataFrame格式的数据；
根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述数据进行处理，包括：根据所述数据对应的配置文件中一个或多个插件的配置信息，对所述DataFrame格式的数据进行处理；
对处理后的数据进行存储，包括：对处理后的DataFrame格式的数据进行存储。


4.如权利要求1所述的方法，其特征在于，包括：
若读取所述数据对应的配置文件中多个插件的配置信息，则对所述多个插件进行排序，根据所述数据对应的配置文件中多个插件的配置信息，按序对所述数据进行处理。


5.一种基于大数据平台的数据处理装置，其特征在于，包括：
加载模块，用于加载数据；
读取模块，用于读取所述数据对应的配置文件中一个或多个插件的配置信息；<...

【专利技术属性】
技术研发人员：周朝卫，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：北京;11