一种数据宽表生成方法、装置及系统制造方法及图纸

本发明专利技术实施例涉及数据处理技术领域，公开了一种数据宽表生成方法、装置及系统，该方法包括：接收用户输入的生成数据宽表所需的配置信息；根据配置信息建立与数据宽表对应的至少两个配置步骤；确定至少两个配置步骤之间的关联关系；根据至少两个配置步骤之间的关联关系，按序执行每一个配置步骤，生成数据宽表。该方式不依赖工作人员的开发能力，大大提升了数据宽表的生成速率，进而提升宽表生成进度，增加了用户体验度。

A Data Wide Table Generation Method, Device and System

The embodiment of the present invention relates to the field of data processing technology, and discloses a method, device and system for generating data wide tables, which includes: receiving configuration information needed for generating data wide tables input by users; establishing at least two configuration steps corresponding to data wide tables according to configuration information; determining the relationship between at least two configuration steps; and according to at least two configuration steps. The relationship between the steps, in order to execute each configuration step, generate a data wide table. This method does not depend on the development ability of the staff, and greatly improves the generation rate of the data wide table, and then improves the generation progress of the wide table, and increases the user experience.

【技术实现步骤摘要】
一种数据宽表生成方法、装置及系统
本专利技术实施例涉及数据处理
，具体涉及一种数据宽表生成方法、装置及系统。
技术介绍
任何数据分析的系统都离不开宽表的处理。对于宽表创建，目前都是由业务人员或软件开发商编写数据库存储过程来实现，对编写的存储过程使用JOB执行周期性的调度生成。而这就要求程序开发人员熟悉数据库过程与具体业务，否则编写不出合适的过程。如果将当前执行步骤中的数据表作为基表，基于基表生成的表作为数据目标表；那么数据宽表则是最终生成的数据目标表。每一个数据目标表的生成都需要开发人员熟悉，包括数据库编写程序代码的能力和业务流程的熟悉度，业务流程的熟悉度可以短时间内熟悉，但是编写程序代码的能力却不能短时间提升。因此，经验较少的工作人员则不容易编写出数据宽表生成的程序代码。那么，如何避免数据宽表的每一次生成都需要开发人员的开发能力较高才能完成，否则数据宽表的生成速率无法保障，成为亟待解决的问题。
技术实现思路
为此，本专利技术实施例提供一种数据宽表生成方法，以解决现有技术中由于数据宽表的每一次生成都对开发人员的开发能力要求较高，而导致的数据宽表的生成速率较低，进而降低宽表生成进度的问题。为了实现上述目的，本专利技术的实施方式提供如下技术方案：在本专利技术的实施方式的第一方面中，提供了一种数据宽表生成方法，包括：接收用户输入的生成数据宽表所需的配置信息；根据配置信息建立与数据宽表对应的至少两个配置步骤；确定至少两个配置步骤之间的关联关系；根据至少两个配置步骤之间的关联关系，调用预设执行指令，按序执行每一个配置步骤，直至生成数据宽表。在本专利技术的一个实施例中，配置属性包括如下中的一项或多项：用户名、表名、与数据表对应的时间标记、显示名、表空间或者表类别。在本专利技术的另一实施例中，配置信息包括：源表信息、配置属性以及数据处理规则；配置步骤包括：根据源表信息，从预建立的数据库中调取源表；根据配置属性和数据处理规则对源表进行处理，生成数据宽表。在本专利技术的又一实施例中，数据处理规则包括：数据转换表达式、转换条件和转换类型。在本专利技术的再一个实施例中，当源表数量包括至少两个时，配置信息还包括：配置至少两个源表之间的关联关系，至少两个源表包含一个主表，除主表之外的源表为关联表；根据配置属性和数据处理规则对源表进行处理，生成数据宽表，具体包括：根据数据处理规则以及配置属性，对主表和关联表进行处理，生成数据宽表。配置信息中还包括：过滤条件；根据数在本专利技术的再一个实施例中，据转换规则以及配置属性，对主表和关联表进行处理之前，方法还包括：对主表与关联表进行过滤。在本专利技术的再一个实施例中，根据配置属性和数据处理规则对源表进行处理，生成数据宽表之后，方法还包括：统计生成数据宽表的时间；当生成数据宽表的时间超过第一预设阈值时，统计源表中主表或关联表的数据量；当主表的数据量超过第二预设阈值时，根据主表的过滤条件统计主表属性引用次数；当主表属性引用次数超过第三预设阈值时，推荐用户根据主表属性对主表建立索引；和/或，当关联表的数据量超过第二预设阈值时，根据关联表的关联关系以及关联表的过滤条件统计关联表属性引用次数；当关联表属性引用次数超过第三预设阈值时，推荐用户根据关联表属性对关联表建立索引。在本专利技术的再一个实施例中，配置信息还包括如下中的一项或多项：增加新字段、删除已有字段、插入数据、修改数据或者删除数据。在本专利技术的实施方式的第二方面中，提供了一种数据宽表生成装置，包括：接收单元，用于接收用户输入的生成数据宽表所需的配置信息；配置单元，用于根据配置信息建立与数据宽表对应的至少两个配置步骤；确定至少两个配置步骤之间的关联关系；处理单元，用于根据至少两个配置步骤之间的关联关系，按序执行每一个配置步骤，生成数据宽表。在本专利技术的实施方式的第三方面中，提供了宽表数据管理器，用于接收用户输入的生成数据宽表的所需的配置信息，配置信息包括：源表信息、配置属性以及数据处理规则；宽表处理程序智能生成引擎，用于根据配置信息建立与数据宽表对应的至少两个配置步骤；确定至少两个配置步骤之间的关联关系；任务调度器，用于根据至少两个配置步骤之间的关联关系，按序执行每一个配置步骤，生成数据宽表。在本专利技术的实施方式的第四方面中，提供了一种计算机存储介质，其特征在于，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种数据宽表生成系统执行如上所述的一种数据宽表生成方法对应的步骤。根据本专利技术的实施方式，具有如下优点：配置信息由工作人员事先配置好，系统会自动生成与配置信息相对应的配置步骤，并确定至少两个配置步骤之间的关联关系。最终根据多个任务之间的关联关系，调用预设执行指令，按序执行每一个配置步骤，直至生成数据宽表。即，该方式不依赖当前操作该工作的工作人员的开发能力，在最初由工作人员编写好流程框架后，后续操作人员只需在流程框架中配置生成数据宽表的相应参数，具体执行动作将由系统自动调用预先编写好的执行指令生成。大大提升了数据宽表的生成速率，进而提升宽表生成进度，增加了用户体验度。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。图1为本专利技术的一实施例提供的一种数据宽表生成方法流程示意图；图2为本专利技术的另一实施例提供的一种数据宽表生成装置结构示意图；图3为本专利技术的另一实施例提供的一种数据宽表生成系统结构示意图。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供了一种数据宽表生成方法，具体如图1所示，图1为本专利技术实施例1提供的一种数据宽表生成方法流程示意图。该方法包括：步骤110，接收用户输入的生成数据宽表所需的配置信息。具体的，其配置信息可以包括源表信息、配置属性以及数据处理规则等。可选的，配置属性，是数据表的可配置属性。包括如下中一项或多项：用户名、表名、与数据表对应的时间标记、显示名、表空间、表类别等。其中，数据宽表类别可以包括数据宽表、派生引用表、临时过渡表三类。派生引用表和临时过渡表是生成数据宽表过程中所生成或者用到的数据表。可选的，数据处理规则可以包括：数据转换表达式、转换条件和转换类型。步骤120，根据配置信息建立与数据宽表对应的至少两个配置步骤。在用户配置后配置信息后，系统可以自动生成配置步骤。具体的，可以包括：根据源表信息，从预建立的数据库中调取源表；根据配置属性和数据处理规则对源表进行处理，生成数据宽表。步骤130，确定至少两个配置步骤之间的关联关系。具体的，确定至少两个配置步骤之间的关联关系，实际就是确定至少两个配置步骤之间的依赖关系。谁先执行，谁后执行，或是并行执行，或者按照优先级进行排序后执行等等。在本实施例的步骤120中介绍的步骤，本实施主要是配置确定这两个配置步骤之本文档来自技高网...

【技术保护点】
1.一种数据宽表生成方法，其特征在于，所述方法包括：接收用户输入的生成数据宽表所需的配置信息；根据所述配置信息建立与所述数据宽表对应的至少两个配置步骤；确定所述至少两个配置步骤之间的关联关系；根据所述至少两个配置步骤之间的关联关系，调用预设执行指令，按序执行每一个配置步骤，直至生成数据宽表。

【技术特征摘要】
1.一种数据宽表生成方法，其特征在于，所述方法包括：接收用户输入的生成数据宽表所需的配置信息；根据所述配置信息建立与所述数据宽表对应的至少两个配置步骤；确定所述至少两个配置步骤之间的关联关系；根据所述至少两个配置步骤之间的关联关系，调用预设执行指令，按序执行每一个配置步骤，直至生成数据宽表。2.根据权利要求1所述的方法，其特征在于，所述配置信息包括：源表信息、配置属性以及数据处理规则；所述配置步骤包括：根据所述源表信息，从预建立的数据库中调取源表；根据所述配置属性和所述数据处理规则对所述源表进行处理，生成数据宽表。3.根据权利要求1所述的方法，其特征在于，所述配置属性包括如下中的一项或多项：用户名、表名、与所述数据表对应的时间标记、显示名、表空间或者表类别。4.根据权利要求1所述的方法，其特征在于，所述数据处理规则包括：数据转换表达式、转换条件和转换类型。5.根据权利要求2所述的方法，其特征在于，当所述源表的数量包括至少两个时，所述配置信息还包括：配置所述至少两个源表之间的关联关系，所述至少两个源表包含一个主表，除所述主表之外的源表为关联表；所述根据所述配置属性和所述数据处理规则对所述源表进行处理，生成数据宽表，具体包括：根据所述数据处理规则以及配置属性，对所述主表和关联表进行处理，生成数据宽表。6.根据权利要求5所述的方法，其特征在于，所述配置信息中还包括：主表过滤条件；所述根据所述数据处理规则以及配置属性，对所述主表和关联表进行处理之前，所述方法还包括：对所述主表进行过滤。7.根据权利要求5所述的方法，其特征在于，所述根据所述配置属性和所述数据处理规则对所述源表进行处理，生成数据宽表之后，所述方法还...

【专利技术属性】
技术研发人员：娄必伟，陶文亮，王力，
申请(专利权)人：贵州工程应用技术学院，
类型：发明
国别省市：贵州,52