一种ETL模型生成方法及装置制造方法及图纸

本申请提供一种ETL模型生成方法及装置，应用于ETL开发平台，ETL开发平台包括至少一种扩展，每种扩展包括至少一个第一数据模型，第一数据模型为以组件作为最小构成单元生成的指示特定数据处理流程的模型。该方法通过接收携带ETL分析需求的ETL模型生成请求；确定ETL需求分析包括的各个工程，分别属于每个工程的各个工作流组，以及分别属于每个工作流组的各个工作流；针对每个工程，利用工程所属的扩展中的第一数据模型，生成与工程对应的数据模型(数据模型包括工程中的各个工作流组中每个工作流对应的第二数据模型)；根据各个数据模型，生成与ETL模型生成请求对应的ETL目标数据模型的方式，实现了生成ETL模型的目的。

【技术实现步骤摘要】

本专利技术涉及数据处理
，特别是涉及一种ETL模型生成方法及装置。
技术介绍
信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理系统和办公自动化系统，用来记录事务处理的各种相关数据。据统计，记录的事务处理的数据每2～3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占在总数据的2％～4％左右。可见，企业并没有最大化地利用已存储的数据资源，以致于浪费了很多的时间和资金，也失去制定关键商业决策的最佳契机。于是，企业如何把数据转换为需要的信息、知识，已经成了提高核心竞争力的主要方向。目前，企业一般通过使用ETL达到将数据转换为需要的信息、知识的目的，以提高企业核心竞争力。其中，ETL为Extract-Transform-Load的缩写，中文名称为数据抽取、转换和加载。ETL是数据仓库的核心和灵魂，负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。随着ETL在企业应用中地位的提升，ETL模型生成技术也越来越受到人们关注。ETL模型生成技术对于ETL在企业应用中起着举足轻重的基础作用，是不可或缺的一环。
技术实现思路
有鉴于此，本专利技术实施例提供一种ETL模型生成方法及装置，以实现生成ETL模型的目的。为了实现上述目的，本专利技术实施例提供的技术方案如下：一种ETL模型生成方法，应用于ETL开发平台，所述ETL开发平台包括至少一种扩展，每种所述扩展对应ETL作业中的唯一种业务处理方式；每种所述扩展包括至少一个第一数据模型，所述第一数据模型为以组件作为最小构成单元生成的指示特定数据处理流程的模型；所述组件指示所述特定数据处理流程中的单个处理动作；该方法包括：接收ETL模型生成请求，所述ETL模型生成请求中携带ETL需求分析；确定所述ETL需求分析包括的各个工程，分别属于每个所述工程的各个工作流组，以及分别属于每个所述工作流组的各个工作流；针对每个所述工程，利用所述工程所属的扩展中的第一数据模型，生成与所述工程对应的数据模型，所述数据模型包括：所述工程中的各个工作流组中每个工作流对应的第二数据模型；根据各个所述数据模型，生成与所述ETL模型生成请求对应的ETL目标数据模型。优选的，所述利用所述工程所属的扩展中的第一数据模型，生成与所述工程对应的数据模型，包括：针对所述工程中的各个工作流组中的每个工作流，利用所述工程所属的扩展中的第一数据模型，生成与所述工作流对应的第二数据模型；其中，所述利用所述工程所属的扩展中的第一数据模型，生成与所述工作流对应的第二数据模型包括，响应接收到的用户输入的与所述工作流对应的建模操作，根据所述建模操作中包括的各个第一数据模型以及各个所述第一数据模型的数据处理流程，生成与所述工作流对应的第二数据模型。优选的，所述根据各个所述数据模型，生成与所述ETL模型生成请求对应的ETL目标数据模型，包括：将所有所述数据模型的集合，作为与所述ETL模型生成请求对应的ETL目标数据模型；其中，所述集合中的每个数据模型分别对应一个唯一的第一标识信息，所述第一标识信息指示与其对应的数据模型所对应工程；所述数据模型中的每个第二数据模型分别对应一个唯一的第二标识信息，所述第二标识信息指示与其对应的第二数据模型所对应的工作流，以及所述工作流所属的工作流组，以及所述工作流组所属的工程。优选的，还包括：利用所述第一标识信息和第二标识信息，关联显示所述ETL目标数据模型中的各个数据模型；针对每个所述数据模型，关联显示属于所述数据模型的每个工作流组；针对每个所述工作流组，关联显示属于所述工作流组的每个工作流对应的第二数据模型。优选的，还包括：接收ETL文件生成请求，所述ETL文件生成请求中包括ETL文件格式需求；根据所述ETL目标数据模型，生成满足所述ETL文件格式需求的ETL文件。优选的，当所述ETL文件格式需求为生成的ETL文件的格式适用于任何数据平台时，根据所述ETL目标数据模型，生成的ETL文件为可被任何所述数据平台识别的ETL中间结果文件；其中，所述ETL中间结果文件所应用的数据平台，可接收携带第一目标格式要求的转换请求，将所述中间结果文件转换成满足所述第一目标格式要求的ETL文件。优选的，当所述ETL文件格式需求为生成的ETL文件的格式适用于目标数据平台时，根据所述ETL目标数据模型，生成的ETL文件为满足所述目标数据平台的第二目标格式要求的ETL文件。优选的，还包括：将所述ETL文件发送至共享服务器，以实现所述ETL文件的共享。优选的，还包括：响应接收到的ETL测试请求，将所述ETL文件发送至远程服务器；接收所述远程服务器反馈的所述ETL文件的测试结果。一种ETL模型生成装置，应用于ETL开发平台，所述ETL开发平台包括至少一种扩展，每种所述扩展对应ETL作业中的唯一种业务处理方式；每种所述扩展包括至少一个第一数据模型，所述第一数据模型为以组件作为最小构成单元生成的指示特定数据处理流程的模型；所述组件指示所述特定数据处理流程中的单个处理动作；该装置包括：请求接收单元，用于接收ETL模型生成请求，所述ETL模型生成请求中携带ETL需求分析；信息确定单元，用于确定所述ETL需求分析包括的各个工程，分别属于每个所述工程的各个工作流组，以及分别属于每个所述工作流组的各个工作流；数据模型生成单元，用于针对每个所述工程，利用所述工程所属的扩展中的第一数据模型，生成与所述工程对应的数据模型，所述数据模型包括：所述工程中的各个工作流组中每个工作流对应的第二数据模型；ETL目标数据模型生成单元，用于根据各个所述数据模型，生成与所述ETL模型生成请求对应的ETL目标数据模型。本申请提供一种ETL模型生成方法及装置，应用于ETL开发平台，ETL开发平台包括至少一种扩展，每种扩展包括至少一个第一数据模型，第一数据模型为以组件作为最小构成单元生成的指示特定数据处理流程的模型。该方法通过接收携带ETL分析需求的ETL模型生成请求；确定ETL需求分析包括的各个工程，分别属于每个工程的各个工作流组，以及分别属于每个工作流组的各个工作流；针对每个工程，利用工程所属的扩展中的第一数据模型，生成与工程对应的数据模型(其中，数据模型包括工程中的各个工作流组中每个工作流对应的第二数据模型)；进而根据各个数据模型，生成与ETL模型生成请求对应的ETL目标数据模型的方式，实现了生成ETL模型的目的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种ETL模型生成方法流程图；图2为本申请实施例提供的另一种ETL模型生成方法流程图；图3为本申请实施例提供的一种ETL模型生成装置的结构示意图；图4为本申请实施例提供的另一种ETL模型生成装置的结构示意图；图5为本申请实施例提供的又一种ETL模型生成装置的结构示意图。具体实施方式为了使本技本文档来自技高网...

【技术保护点】
一种ETL模型生成方法，其特征在于，应用于ETL开发平台，所述ETL开发平台包括至少一种扩展，每种所述扩展对应ETL作业中的唯一种业务处理方式；每种所述扩展包括至少一个第一数据模型，所述第一数据模型为以组件作为最小构成单元生成的指示特定数据处理流程的模型；所述组件指示所述特定数据处理流程中的单个处理动作；该方法包括：接收ETL模型生成请求，所述ETL模型生成请求中携带ETL需求分析；确定所述ETL需求分析包括的各个工程，分别属于每个所述工程的各个工作流组，以及分别属于每个所述工作流组的各个工作流；针对每个所述工程，利用所述工程所属的扩展中的第一数据模型，生成与所述工程对应的数据模型，所述数据模型包括：所述工程中的各个工作流组中每个工作流对应的第二数据模型；根据各个所述数据模型，生成与所述ETL模型生成请求对应的ETL目标数据模型。

【技术特征摘要】
1.一种ETL模型生成方法，其特征在于，应用于ETL开发平台，所述ETL开发平台包括至少一种扩展，每种所述扩展对应ETL作业中的唯一种业务处理方式；每种所述扩展包括至少一个第一数据模型，所述第一数据模型为以组件作为最小构成单元生成的指示特定数据处理流程的模型；所述组件指示所述特定数据处理流程中的单个处理动作；该方法包括：接收ETL模型生成请求，所述ETL模型生成请求中携带ETL需求分析；确定所述ETL需求分析包括的各个工程，分别属于每个所述工程的各个工作流组，以及分别属于每个所述工作流组的各个工作流；针对每个所述工程，利用所述工程所属的扩展中的第一数据模型，生成与所述工程对应的数据模型，所述数据模型包括：所述工程中的各个工作流组中每个工作流对应的第二数据模型；根据各个所述数据模型，生成与所述ETL模型生成请求对应的ETL目标数据模型。2.根据权利要求1所述的方法，其特征在于，所述利用所述工程所属的扩展中的第一数据模型，生成与所述工程对应的数据模型，包括：针对所述工程中的各个工作流组中的每个工作流，利用所述工程所属的扩展中的第一数据模型，生成与所述工作流对应的第二数据模型；其中，所述利用所述工程所属的扩展中的第一数据模型，生成与所述工作流对应的第二数据模型包括，响应接收到的用户输入的与所述工作流对应的建模操作，根据所述建模操作中包括的各个第一数据模型以及各个所述第一数据模型的数据处理流程，生成与所述工作流对应的第二数据模型。3.根据权利要求2所述的方法，其特征在于，所述根据各个所述数据模型，生成与所述ETL模型生成请求对应的ETL目标数据模型，包括：将所有所述数据模型的集合，作为与所述ETL模型生成请求对应的ETL目标数据模型；其中，所述集合中的每个数据模型分别对应一个唯一的第一标识信息，所述第一标识信息指示与其对应的数据模型所对应工程；所述数据模型中的每个第二数据模型分别对应一个唯一的第二标识信息，所述第二标识信息指
\t示与其对应的第二数据模型所对应的工作流，以及所述工作流所属的工作流组，以及所述工作流组所属的工程。4.根据权利要求3所述的方法，其特征在于，还包括：利用所述第一标识信息和第二标识信息，关联显示所述ETL目标数据模型中的各个数据模型；针对每个所述数据模型，关联显示属于所述数据模型的每个工作流组；针...

【专利技术属性】
技术研发人员：常青，陈宏晓，游黎，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：北京;11