一种利用数据结构控制数据准备过程的方法技术

本发明专利技术提供了一种利用数据结构控制数据准备过程的方法，属于大数据技术保护领域,方法名称：Pluto。基于业务的数据准备过程是由数据处理和业务映射两个主要流程构成的,同时，数据处理和业务映射过程都需要一系列标准化的控制和保护机制。通过对数据处理和业务映射过程的高度抽象，把两个过程的控制和保护以数据结构的方式进行封装。利用这种数据准备方法，可以把数据处理和业务映射流程以标准化的方式进行整合，并利用数据结构的方式来执行控制，这种方法具有极高的通用性和便利性。

A method of using data structure to control the process of data preparation

The present invention provides a method for controlling the data preparation process by using the data structure, which belongs to the field of large data technology protection, the name of the method: Pluto. Business based data preparation process is composed of two main processes, data processing and business mapping. At the same time, data processing and business mapping process require a series of standardized control and protection mechanisms. By high abstraction of data processing and business mapping, the control and protection of the two processes are encapsulated in a data structure. Using this data preparation method, data processing and business mapping process can be integrated in a standardized way, and data structure can be used to perform control. This method is highly versatile and convenient.

【技术实现步骤摘要】
一种利用数据结构控制数据准备过程的方法
本专利技术涉及数据转化和业务映射过程控制的方法，特别是一种利用数据结构控制数据准备过程的方法。
技术介绍
随着信息技术的高速发展，人类社会产生的数据量越来越大。大数据不仅体现在数量上的庞大，还有涉及到的数据内容比较广泛，数据格式的多样化，以及计算过程的复杂性等，大数据分析能够从海量的数据中提取出最有价值的信息，在知识发现领域具有关键性作用。对海量的数据进行大数据分析，就需要根据数据分析业务的需求，对数据进行标准和有效的转化。根据纽约时报对大数据科学的统计，数据准备在整个数据分析周期的时间消耗占比超过80％，因此，找到一种通用而且高效的数据准备方法就变得至关重要了。目前数据分析领域的数据准备和业务分析两个过程是非常独立的，数据准备由精通数据处理的开发人员来完成，而业务分析主要是由精通业务的数据分析师来完成，导致在数据准备过程中，数据处理的开发人员不了解业务的需求，而数据分析师也不熟悉数据处理的开发技术，从而导致增加了沟通成本，降低工作效率。
技术实现思路
本专利技术的目的在于：针对上述现有数据转化和业务分析过程相互独立，从而导致数据准备过程中的重复工作、效率低下的问题，本专利技术提供一种利用数据结构控制数据准备过程的方法。本专利技术采用的技术方案如下：一种利用数据结构控制数据准备过程的方法，包括以下步骤：S101，数据抽取流程：将数据源的数据文件，以数据接口的方式进行抽取，获得源数据；获取数据抽取流程中的配置信息，然后将数据抽取流程需要的配置信息进行结构化处理；S102，数据概要分析流程：对步骤S101获得的源数据进行概要分析，以保证源数据的合法性与合理性；并获取数据概要分析流程中的配置信息，然后将数据概要分析流程的配置信息进行结构化处理；S103，数据异常处理流程：对步骤S102概要分析后的数据进行异常处理，消除数据中的异常情况；获取异常处理流程中的配置信息，然后将数据异常处理流程的配置信息进行结构化处理；S104，数据清洗流程：对步骤S103异常处理后的数据进行清洗，以保证数据的有效性、提高数据质量；获取数据清洗流程中的配置信息，然后将数据清洗流程的配置信息进行结构化处理；S105，数据转换流程：定义数据字段，将步骤S104中经过数据清洗后的数据按照已经定义好的数据字段进行转换，获得转换后的数据字段；获取数据转换流程中的配置信息，然后将数据转换流程的配置信息进行标准化处理；S106，业务映射流程：将数据分析需要的业务指标、业务逻辑、运算过程映射到S105数据转换完成后的数据字段上；S107，数据准备输出流程：定义数据准备输出的结果数据、输出配置信息，并对数据准备输出的结果数据、输出配置信息进行结构化处理；S108，将S101，S102，S103，S104，S105，S106，S107流程的结构化配置信息封装到数据结构中。所述的一种利用数据结构控制数据准备过程的方法，步骤S101中进行数据抽取时，不同的数据接口使用不同的抽取技术和接口方式。所述的一种利用数据结构控制数据准备过程的方法，步骤S102中数据概要分析的分析方法包括列分析、交叉列分析、表分析和交叉表分析四大类型，概要分析的具体的分析内容包括值域分析、基数分析、类型监测、数据分布、波动监测、异常值监测、功能相关性分析、主键唯一性分析、表基础分析、外键分析和血缘分析。所述的一种利用数据结构控制数据准备过程的方法，步骤S103数据异常处理流程中的数据异常包括句法异常、语义异常和覆盖异常，不同的数据异常类型进行相应的异常处理。所述的一种利用数据结构控制数据准备过程的方法，步骤S104中，数据清洗的内容包括数据审计、数据工作流规范、数据工作流执行和数据后加工与处理，数据清洗的方法包括数值修正、数据整形、数据逻辑优化和数据修复。所述的一种利用数据结构控制数据准备过程的方法，步骤S105中，数据转换流程中包括数字到数字的转换，语义变量到数字的转换、命题逻辑转换、离散化、二值化和粒度转换。所述的一种利用数据结构控制数据准备过程的方法，业务映射包括全量映射、差量映射和无映射三种情况。8.根据权利要求1所述的一种利用数据结构控制数据准备过程的方法，其特征在于，步骤108中，步骤S101，S102，S103，S104，S105，S106，S107流程的结构化配置信息均封装到同一种数据结构中。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：一、采用本方案所述的技术方案的数据准备方法，将数据转化过程和数据映射过程标准化，直接利用数据结构来配置数据转化和业务映射的控制，无论是开发人员还是数据分析人员，都可以通过简单的配置数据准备的结构件流程，就可以完成数据准备的任务。从而使数据准备和数据分析结合得以实现。通过这种标准化的数据准备方法，我们可以准确和方便控制每一个数据准备的过程，并随时可以根据结果来调整和优化数据准备的流程和参数，让数据准备实现动态的控制和优化过程。能够大大节约在数据准备时的重复工作的时间，提高工作效率。二、通过本专利技术所述方案进行数据准备，可以将数据以需要的数据结构保存起来，在数据分析时，操作者可以自己定义并获取所需要的数据。三、该方法能够避免技术融合中带来的额外开销，有效提升便利性。四、数据的抽取和数据处理过程的控制都按照准标准化接口方式来设计，提高了方法在技术实现上的通用性，通过该方法准备好的数据同样具有较高的通用性。附图说明图1是本专利技术的方法流程图；图2是本专利技术实施例一的流层图；具体实施方式本说明书中公开的所有特征，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。下面结合图1、图2对本专利技术作详细说明。如图1所示，一种利用数据结构控制数据准备过程的方法，包括以下步骤：一种利用数据结构控制数据准备过程的方法，包括以下步骤：S101，数据抽取流程：将数据源的数据文件，以数据接口的方式进行抽取，获得源数据；获取数据抽取流程中的配置信息，然后将数据抽取流程需要的配置信息进行结构化处理；S102，数据概要分析流程：对步骤S101获得的源数据进行概要分析，以保证源数据的合法性与合理性；并获取数据概要分析流程中的配置信息，然后将数据概要分析流程的配置信息进行结构化处理；S103，数据异常处理流程：对步骤S102概要分析后的数据进行异常处理，消除数据中的异常情况；获取异常处理流程中的配置信息，然后将数据异常处理流程的配置信息进行结构化处理；S104，数据清洗流程：对步骤S103异常处理后的数据进行清洗，以保证数据的有效性、提高数据质量；获取数据清洗流程中的配置信息，然后将数据清洗流程的配置信息进行结构化处理；S105，数据转换流程：定义数据字段，将步骤S104中经过数据清洗后的数据按照已经定义好的数据字段进行转换，获得转换后的数据字段；获取数据转换流程中的配置信息，然后将数据转换流程的配置信息进行标准化处理；S106，业务映射流程：将数据分析需要的业务指标、业务逻辑、运算过程映射到S105数据转换完成后的数据字段上；S107，数据准备输出流程：定义数据准备输出的结果数据、输出配置信息，并对数据准备输出的结果数据、输出配置信息进行结构化处理；S108，将S101，S102，S103，S104，S105，S106，S107流本文档来自技高网...

【技术保护点】
一种利用数据结构控制数据准备过程的方法，其特征在于，包括以下步骤：S101，数据抽取流程：将数据源的数据文件，以数据接口的方式进行抽取，获得源数据；获取数据抽取流程中的配置信息，然后将数据抽取流程需要的配置信息进行结构化处理；S102，数据概要分析流程：对步骤S101获得的源数据进行概要分析，以保证源数据的合法性与合理性；并获取数据概要分析流程中的配置信息，然后将数据概要分析流程的配置信息进行结构化处理；S103，数据异常处理流程：对步骤S102概要分析后的数据进行异常处理，消除数据中的异常情况；获取异常处理流程中的配置信息，然后将数据异常处理流程的配置信息进行结构化处理；S104，数据清洗流程：对步骤S103异常处理后的数据进行清洗，以保证数据的有效性、提高数据质量；获取数据清洗流程中的配置信息，然后将数据清洗流程的配置信息进行结构化处理；S105，数据转换流程：定义数据字段，将步骤S104中经过数据清洗后的数据按照已经定义好的数据字段进行转换，获得转换后的数据字段；获取数据转换流程中的配置信息，然后将数据转换流程的配置信息进行标准化处理；S106，业务映射流程：将数据分析需要的业务指标、业务逻辑、运算过程映射到S105数据转换完成后的数据字段上；S107，数据准备输出流程：定义数据准备输出的结果数据、输出配置信息，并对数据准备输出的结果数据、输出配置信息进行结构化处理；S108，将S101，S102，S103，S104，S105，S106，S107流程的结构化配置信息封装到数据结构中。...

【技术特征摘要】
1.一种利用数据结构控制数据准备过程的方法，其特征在于，包括以下步骤：S101，数据抽取流程：将数据源的数据文件，以数据接口的方式进行抽取，获得源数据；获取数据抽取流程中的配置信息，然后将数据抽取流程需要的配置信息进行结构化处理；S102，数据概要分析流程：对步骤S101获得的源数据进行概要分析，以保证源数据的合法性与合理性；并获取数据概要分析流程中的配置信息，然后将数据概要分析流程的配置信息进行结构化处理；S103，数据异常处理流程：对步骤S102概要分析后的数据进行异常处理，消除数据中的异常情况；获取异常处理流程中的配置信息，然后将数据异常处理流程的配置信息进行结构化处理；S104，数据清洗流程：对步骤S103异常处理后的数据进行清洗，以保证数据的有效性、提高数据质量；获取数据清洗流程中的配置信息，然后将数据清洗流程的配置信息进行结构化处理；S105，数据转换流程：定义数据字段，将步骤S104中经过数据清洗后的数据按照已经定义好的数据字段进行转换，获得转换后的数据字段；获取数据转换流程中的配置信息，然后将数据转换流程的配置信息进行标准化处理；S106，业务映射流程：将数据分析需要的业务指标、业务逻辑、运算过程映射到S105数据转换完成后的数据字段上；S107，数据准备输出流程：定义数据准备输出的结果数据、输出配置信息，并对数据准备输出的结果数据、输出配置信息进行结构化处理；S108，将S101，S102，S103，S104，S105，S106，S107流程的结构化配置信息封装到数据结构中。2.根据权利要求1所述的一种利用数据结构控制数据...

【专利技术属性】
技术研发人员：贺俊华，傅玉生，王永波，鲜东，
申请(专利权)人：成都优易数据有限公司，
类型：发明
国别省市：四川,51