数据预处理方法，装置，存储介质及电子设备制造方法及图纸

本公开涉及一种数据预处理方法，装置，存储介质及电子设备。该方法包括：获取用户通过图形用户界面GUI设置的预处理逻辑配置项；根据所述配置项配置对数据进行预处理的逻辑规则；在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。

Data preprocessing methods, devices, storage media and electronic devices

The present disclosure relates to a data preprocessing method, a device, a storage medium and an electronic device. The method includes: acquiring the pre-processing logic configuration items set by the user through GUI; configuring the logical rules for data pre-processing according to the configuration items; calling the rule logic engine to execute the configured logic rules for the data to be processed after obtaining the data to be processed, and obtaining the results of data pre-processing.

【技术实现步骤摘要】
数据预处理方法，装置，存储介质及电子设备
本公开涉及数据预处理领域，具体地，涉及一种数据预处理方法，装置，存储介质及电子设备。
技术介绍
在大数据背景下，软件处理的数据由传统的数据库数据扩展到了日志数据、机器数据、传感器数据等，与传统的数据库数据相比，其他数据具有结构不良好，价值密度低以及关联更加复杂等特点。因此在大数据分析前进行数据预处理是十分必要的，预处理能够将非结构化数据向结构化数据转换，便后续处理，并从海量数据中提取有价值信息，以及实现非关系形数据的数据关联。相关数据预处理技术中，通常是有针对性的编写处理程序，技术门槛高，要求具备一定技术能力与经验的软件工程师来完成，并且，编写的预处理程序多是一次性使用，不具有推广复用的能力。另外，相关技术也可以使用基于批处理作业配置的软件，相比较于专业编程，使用门槛得到了降低，但是仍然需要学习专业性配置的方法。
技术实现思路
本公开的主要目的是提供一种数据预处理方法，装置，存储介质及电子设备，用以解决现有数据预处理逻辑规则的配置专业性要求较高，配置过程复杂的技术问题。为了实现上述目的，本公开实施例第一方面提供一种数据预处理方法，所述方法包括：获取用户通过图形用户界面GUI设置的预处理逻辑配置项；根据所述配置项配置对数据进行预处理的逻辑规则；在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。可选地，所述获取用户通过图形用户界面GUI设置的预处理逻辑配置项，包括：在所述GUI上呈现历史存储的预处理逻辑配置项，其中，所述历史存储的预处理逻辑配置项是所述用户上一次设置的配置项或者是其他用户设置的配置项；通过用户的GUI设置，对所述历史存储的预处理逻辑配置项进行变更；所述根据所述配置项配置对数据进行预处理的逻辑规则，包括：根据已变更的所述配置项配置对数据进行预处理的逻辑规则。可选地，在所述根据所述配置项配置对数据进行预处理的逻辑规则之后，所述方法还包括：对已配置的逻辑规则进行校验；在对所述已配置的逻辑规则校验成功时，调用规则逻辑引擎以管道的形式执行所述已配置的逻辑规则，并返回执行结果供用户预览。可选地，所述GUI提供以下设置中的一者或多者用于用户选择配置项：用于结构化解析操作的一般设置，用于划分数据处理分支事件的分支设置，用于针对每一分支事件进行后续处理的后置设置。本公开实施例第二方面提供一种数据预处理装置，包括：获取模块，用于获取用户通过图形用户界面GUI设置的预处理逻辑配置项；配置模块，用于根据所述配置项配置对数据进行预处理的逻辑规则；预处理模块，用于在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。可选地，所述获取模块包括：呈现子模块，用于在所述GUI上呈现历史存储的预处理逻辑配置项，其中，所述历史存储的预处理逻辑配置项是所述用户上一次设置的配置项或者是其他用户设置的配置项；变更子模块，用于通过用户的GUI设置，对所述历史存储的预处理逻辑配置项进行变更；所述配置模块用于，根据已变更的所述配置项配置对数据进行预处理的逻辑规则。可选地，还包括：规则校验模块，用于在所述根据所述配置项配置对数据进行预处理的逻辑规则之后，对已配置的逻辑规则进行校验；预览模块，用于在对所述已配置的逻辑规则校验成功时，调用规则逻辑引擎以管道的形式执行所述已配置的逻辑规则，并返回执行结果供用户预览。可选地，所述GUI提供以下设置中的一者或多者用于用户选择配置项：用于结构化解析操作的一般设置，用于划分数据处理分支事件的分支设置，用于针对每一分支事件进行后续处理的后置设置。本公开实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。本公开实施例第四方面提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。采用上述技术方案，至少可以达到如下技术效果：提供预处理逻辑配置项设置的GUI界面，供用户简单直观的进行操作，降低学习成本，并根据用户设置的配置项对数据进行预处理的逻辑规则，这样，在获取到待处理的数据后，针对该待处理的数据可以调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。也就是说，用户只需在GUI界面设置好配置项，本公开技术方案根据用户设置的配置项可以自动配置好数据预处理的逻辑规则，针对待处理的数据执行该逻辑规则即可得到数据预处理结果，简化了配置过程，降低了学习成本。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是本公开实施例提供的一种数据预处理方法的流程示意图；图2是本公开实施例提供的一种执行图1所示方法的功能模块的示意图；图3是本公开实施例提供的一种数据预处理的预览功能的实现流程图；图4是本公开实施例提供的一种GUI配置界面以及预览模块的示意图；图5是本公开实施例提供的一种配置项选择的示意图；图6是本公开实施例提供的一种数据预处理装置的结构示意图；图7是本公开实施例提供的另一种数据预处理装置的结构示意图；图8是本公开实施例提供的一种电子设备的结构示意图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。本公开实施例提供一种数据预处理方法，如图1所示，该方法包括：S101、获取用户通过图形用户界面GUI设置的预处理逻辑配置项。其中，所述GUI是用于预处理逻辑配置的用户操作界面，具体可基于图像化软件进行设计，例如图像化数据挖掘软件DataInsight，本公开实施例可以利用DataInsight提供基于GUI配置的可视化功能，将预先定义的配置项(用于配置数据预处理的逻辑规则)通过GUI呈现给用户，方便用户基于GUI进行配置项的增加，减少，变更等操作。S102、根据所述配置项配置对数据进行预处理的逻辑规则。S103、在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。采用上述方法，提供预处理逻辑配置项设置的GUI界面，供用户简单直观的进行操作，降低学习成本，并根据用户设置的配置项对数据进行预处理的逻辑规则，这样，在获取到待处理的数据后，针对该待处理的数据可以调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。也就是说，用户只需在GUI界面设置好配置项，本公开技术方案根据用户设置的配置项可以自动配置好数据预处理的逻辑规则，针对待处理的数据执行该逻辑规则即可得到数据预处理结果，简化了配置过程，降低了学习成本。在本公开实施例的一种可能的实现方式中，还可以提供配置结果预览功能，便于用户修正配置项的设置，具体地，在步骤S102根据所述配置项配置对数据进行预处理的逻辑规则之后，还包括：对已配置的逻辑规则进行校验；在对所述已配置的逻辑规则校验成功时，调用规则逻辑引擎以管道的形式执行所述已配置的逻辑规则，并返回执行结果供用户预览。示例地，本公开实施例在具体实施时本文档来自技高网...

【技术保护点】
1.一种数据预处理方法，其特征在于，所述方法包括：获取用户通过图形用户界面GUI设置的预处理逻辑配置项；根据所述配置项配置对数据进行预处理的逻辑规则；在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。

【技术特征摘要】
1.一种数据预处理方法，其特征在于，所述方法包括：获取用户通过图形用户界面GUI设置的预处理逻辑配置项；根据所述配置项配置对数据进行预处理的逻辑规则；在获取到待处理的数据后，针对该待处理的数据调用规则逻辑引擎执行已配置的逻辑规则，得到数据预处理结果。2.根据权利要求1所述的方法，其特征在于，所述获取用户通过图形用户界面GUI设置的预处理逻辑配置项，包括：在所述GUI上呈现历史存储的预处理逻辑配置项，其中，所述历史存储的预处理逻辑配置项是所述用户上一次设置的配置项或者是其他用户设置的配置项；通过用户的GUI设置，对所述历史存储的预处理逻辑配置项进行变更；所述根据所述配置项配置对数据进行预处理的逻辑规则，包括：根据已变更的所述配置项配置对数据进行预处理的逻辑规则。3.根据权利要求1所述的方法，其特征在于，在所述根据所述配置项配置对数据进行预处理的逻辑规则之后，所述方法还包括：对已配置的逻辑规则进行校验；在对所述已配置的逻辑规则校验成功时，调用规则逻辑引擎以管道的形式执行所述已配置的逻辑规则，并返回执行结果供用户预览。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述GUI提供以下设置中的一者或多者用于用户选择配置项：用于结构化解析操作的一般设置，用于划分数据处理分支事件的分支设置，用于针对每一分支事件进行后续处理的后置设置。5.一种数据预处理装置，其特征在于，包括：获取模块，用于获取用户通过图形用户界面GUI设置的预处理逻辑配置项；配置模块，用于根据所述配置项配置对...

【专利技术属性】
技术研发人员：唐亮，谢新强，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21