一种数据获取方法及其装置制造方法及图纸

本发明专利技术公开了一种数据获取方法及其装置。该方法，包括：获取原始数据；将所述原始数据，设置在Excel表格中，所述Excel表格的第一列包括目标表字段名，所述Excel表格的第二列包括所述目标表字段名的配置项，所述Excel表格的第三列用于设置所述原始数据，所述目标表字段名与对应的所述原始数据设置在同一行；根据设置在Excel表格中的规则引擎，获取目标数据。实现了通过原始数据获得适用于数据平台进行数据分析的目标数据。

A method of data acquisition and its device

The invention discloses a data acquisition method and a device thereof. The method includes: obtaining the original data; setting the original data in the Excel table, the first column of the Excel table including the target table field name, the second column of the Excel table including the configuration item of the target table field name, and the third column of the table is used to set the original data, and the target table is set. The field name is set on the same line with the corresponding raw data; the target data is obtained based on the rule engine set in the Excel table. The target data that is suitable for data platform for data analysis is achieved through raw data.

【技术实现步骤摘要】
一种数据获取方法及其装置
本专利技术涉及数据处理技术，尤指一种数据获取方法及其装置。
技术介绍
随着科技的发展以及信息的流通，人们需要处理的数据也在成几何倍数的递增。通常，现有技术是通过数据抽取工具把数据从关系型数据库中抽取到大数据平台上进行后续的数据分析。举例来讲，首先，通过数据抽取工具从关系型数据库中抽取网吧的上网数据，该上网数据至少包括：上网者姓名、身份证信息、电话、开始上网时间，结束上网时间，接着，通过数据平台将该上网数据进行数据分析以获得目标结果，例如，获得哪个时间段的上网人数最多的信息。然而，本领域技术人员在实现上述现有技术的过程中发现，从各关系型数据库抽取的数据由于数据格式的不同，导致不适合用于数据平台进行数据分析。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种数据获取方法及其装置，能够解决从各关系型数据库抽取的数据不适合用于数据平台进行数据分析的技术问题。为了达到本专利技术目的，本专利技术提供了一种数据获取方法，包括：获取原始数据；将所述原始数据，设置在Excel表格中，所述Excel表格的第一列包括目标表字段名，所述Excel表格的第二列包括所述目标表字段名的配置项，所述Excel表格的第三列用于设置所述原始数据，所述目标表字段名与对应的所述原始数据设置在同一行；根据设置在Excel表格中的规则引擎，获取目标数据。进一步的，所述规则引擎，至少包括：第一规则引擎；所述根据设置在Excel表格中的规则引擎，获取目标数据，包括：根据所述第一规则引擎和参数，获得所述目标数据，所述参数至少包括：所述原始数据，或者常量。进一步的，所述规则引擎，还包括：第一规则引擎和第二规则引擎；所述根据设置在Excel表格中的规则引擎，获取目标数据，包括：根据所述第一规则引擎和参数，获得第一规则引擎结果，根据所述第二规则引擎和所述第一规则引擎结果，获得所述目标数据，所述参数至少包括：所述原始数据，或者常量。进一步的，所述规则引擎的填写规范，包括：等于号的左边填写所述目标表字段名以及下划线，在下划线的后面填写数字，所述等于号的右边填写规则名称，所述规则名称后面使用括号，在所述括号中填写规则参数，所述规则参数包括所述目标表字段名和/或常量，当本次等于号左边填写的所述目标表字段名为上一次规则引擎中的左边填写的所述目标表字段名时，本次等于号左边的下划线后面的数字进行加1，所述数字包括大于或等于1的整数。进一步的，所述Excel表格还包括：设置在所述Excel表格第一行的表头，所述表头至少包括目标表字段名、配置项字段名。本专利技术提供了一种数据获取装置，包括：获取模块，用于获取原始数据；设置模块，用于将所述原始数据，设置在Excel表格中，所述Excel表格的第一列包括目标表字段名，所述Excel表格的第二列包括所述目标表字段名的配置项，所述Excel表格的第三列用于设置所述原始数据，所述目标表字段名与对应的所述原始数据设置在同一行；处理模块，用于根据设置在Excel表格中的规则引擎，获取目标数据。进一步的，所述规则引擎，至少包括：第一规则引擎；所述处理模块，用于根据所述第一规则引擎和参数，获得所述目标数据，所述参数至少包括：所述原始数据，或者常量。进一步的，所述规则引擎，还包括：第一规则引擎和第二规则引擎；所述处理模块，用于根据所述第一规则引擎和参数，获得第一规则引擎结果，根据所述第二规则引擎和所述第一规则引擎结果，获得所述目标数据，所述参数至少包括：所述原始数据，或者常量。进一步的，所述规则引擎的填写规范，包括：等于号的左边填写所述目标表字段名以及下划线，在下划线的后面填写数字，所述等于号的右边填写规则名称，所述规则名称后面使用括号，在所述括号中填写规则参数，所述规则参数包括所述目标表字段名和/或常量，当本次等于号左边填写的所述目标表字段名为上一次规则引擎中的左边填写的所述目标表字段名时，本次等于号左边的下划线后面的数字进行加1，所述数字包括大于或等于1的整数。进一步的，所述Excel表格还包括：设置在所述Excel表格第一行的表头，所述表头至少包括目标表字段名、配置项字段名。与现有技术相比，本专利技术提供的数据获取方法及其装置，其中，该方法，包括：获取原始数据；将所述原始数据，设置在Excel表格中，所述Excel表格的第一列包括目标表字段名，所述Excel表格的第二列包括所述目标表字段名的配置项，所述Excel表格的第三列用于设置所述原始数据，所述目标表字段名与对应的所述原始数据设置在同一行；根据设置在Excel表格中的规则引擎，获取目标数据。实现了通过原始数据获得适用于数据平台进行数据分析的目标数据。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1为本专利技术数据获取方法一实施例的流程示意图；图2为本专利技术数据获取装置一实施例的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1为本专利技术数据获取方法一实施例的流程示意图；如图1所示，本实施例的执行主体是数据获取装置，本专利技术提供的数据获取方法，包括：步骤101、获取原始数据。具体的，该原始数据可以从准备进行数据分析的数据库中获取。步骤102、将所述原始数据，设置在Excel表格中。具体的，所述Excel表格的第一列包括目标表字段名，所述Excel表格的第二列包括所述目标表字段名的配置项，所述Excel表格的第三列用于设置所述原始数据，所述目标表字段名与对应的所述原始数据设置在同一行；需要说明的是，本实施例中第一列可以是Excel表格中任意一列或多列的组合，同时，第二列也可以是Excel表格中任意一列或多列的组合，第三列可以是Excel表格中任意一列或多列的组合。例如，第一列可以包括Excel表格中的两列，一列包括目标表字段的英文名，另一列包括目标表字段的中文名；举例来讲，配置项可以包括以下任意一项或其组合：备注des，是否主属性，分布式文件系统HDFS下标，数据类型，时间格式，是否长字符串，索引类型，基数，是否多值，联合规则，搜索类型，主键类型，关系中主键原名，后缀列下标，测试缺省值。每个配置项可以设置在一列，也就是说，第二列也可以是Excel表格中的多列。步骤103、根据设置在Excel表格中的规则引擎，获取目标数据。对于根据设置在Excel表格中的规则引擎，获取目标数据至少包括以下两种实现方式：第一种实现方式、所述规则引擎，至少包括：第一规则引擎；所述第一规则引擎包括根据参数，获得第一规则引擎结果的规则，所述参数至少包括：所述原始数据，或者常量。也就是本文档来自技高网...

【技术保护点】
1.一种数据获取方法，其特征在于，包括：获取原始数据；将所述原始数据，设置在Excel表格中，所述Excel表格的第一列包括目标表字段名，所述Excel表格的第二列包括所述目标表字段名的配置项，所述Excel表格的第三列用于设置所述原始数据，所述目标表字段名与对应的所述原始数据设置在同一行；根据设置在Excel表格中的规则引擎，获取目标数据。

【技术特征摘要】
1.一种数据获取方法，其特征在于，包括：获取原始数据；将所述原始数据，设置在Excel表格中，所述Excel表格的第一列包括目标表字段名，所述Excel表格的第二列包括所述目标表字段名的配置项，所述Excel表格的第三列用于设置所述原始数据，所述目标表字段名与对应的所述原始数据设置在同一行；根据设置在Excel表格中的规则引擎，获取目标数据。2.根据权利要求1所述的数据获取方法，其特征在于，所述规则引擎，至少包括：第一规则引擎；所述根据设置在Excel表格中的规则引擎，获取目标数据，包括：根据所述第一规则引擎和参数，获得所述目标数据，所述参数至少包括：所述原始数据，或者常量。3.根据权利要求1所述的数据获取方法，其特征在于，所述规则引擎，还包括：第一规则引擎和第二规则引擎；所述根据设置在Excel表格中的规则引擎，获取目标数据，包括：根据所述第一规则引擎和参数，获得第一规则引擎结果，根据所述第二规则引擎和所述第一规则引擎结果，获得所述目标数据，所述参数至少包括：所述原始数据，或者常量。4.根据权利要求1-3任一项所述的数据获取方法，其特征在于，所述规则引擎的填写规范，包括：等于号的左边填写所述目标表字段名以及下划线，在所述下划线的后面填写数字，所述等于号的右边填写规则名称，所述规则名称后面使用括号，在所述括号中填写规则参数，所述规则参数包括所述目标表字段名和/或常量，当本次等于号左边填写的所述目标表字段名为上一次规则引擎中的左边填写的所述目标表字段名时，本次等于号左边的下划线后面的数字进行加1，所述数字包括大于或等于1的整数。5.根据权利要求4所述的数据获取方法，其特征在于，所述Excel表格还包括：设置在所述Excel表格第一行的表头，所述表头至少包括目标...

【专利技术属性】
技术研发人员：张毅然，王怀志，冯是聪，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京,11