业务系统分析方法和装置制造方法及图纸

本公开公开了一种业务系统分析方法和装置，涉及数据分析技术领域。本公开实施例中，通过获取各业务系统分别对应的各ETL作业的技术元数据和业务元数据，以及通过DAG工作流作业调度系统提取各ETL作业之间的依赖元数据，所述依赖元数据包括各ETL作业间的执行逻辑关系，并根据获取到的技术元数据、业务元数据和依赖元数据，分析业务系统之间的关联关系，使得对企业的业务系统进行分析时，能够基于不同业务系统对应的各ETL作业间的执行逻辑关系，对业务系统之间的关联关系进行综合分析，以满足对随着企业业务系统增多和业务数据增长所带来的日益复杂的业务系统分析要求。

【技术实现步骤摘要】
业务系统分析方法和装置
本公开涉及数据分析
，尤其涉及一种业务系统分析方法和装置。
技术介绍
企业通常具有多个业务系统，分别涉及企业各个方面的业务。对于企业而言，通过对各业务系统进行分析，能够对企业找到经济增长点及优化运营策略提供可靠参考依据。目前，业务系统分析的方法通常是通过分别对每个抽取-转换-装载(Extract-Transform-Load，ETL)作业进行分析，即，对单个ETL作业中的多任务间逻辑关系、数据源、目标源、字段处理规则、数据治理规则等元数据进行提取和分析，得到各ETL作业分别对应的分析结果。但是，随着企业所涉及的业务越来越复杂，业务系统也越来越多，采用上述现有的业务系统分析方法时，只能分析得到各ETL作业的分析结果，无法综合分析出各业务系统之间的关联关系，从而导致无法满足企业日益复杂的业务系统分析要求。
技术实现思路
本公开提供一种业务系统分析方法和装置，用于解决现有技术中存在的无法综合分析出各业务系统之间的关联关系，从而导致无法满足企业日益复杂的业务系统分析要求的技术问题。为实现上述目的，本公开实施例第一方面提供一种业务系统分析方法，所述方法包括：获取各业务系统分别对应的各ETL作业的技术元数据和业务元数据；通过有向无环图DAG工作流作业调度系统，提取各ETL作业之间的依赖元数据，所述依赖元数据包括各ETL作业间的执行逻辑关系；根据技术元数据、业务元数据和依赖元数据，分析业务系统之间的关联关系。第二方面，本公开实施例提供一种业务系统分析装置，包括：获取模块、提取模块和分析模块；获取模块，用于获取各业务系统分别对应的各ETL作业的技术元数据和业务元数据；提取模块，用于通过有向无环图DAG工作流作业调度系统，提取各ETL作业之间的依赖元数据，所述依赖元数据包括各ETL作业间的执行逻辑关系；分析模块，用于根据技术元数据、业务元数据和依赖元数据，分析业务系统之间的关联关系。第三方面，本公开实施例提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面所述的业务系统分析方法。第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面所述的业务系统分析方法。基于上述任一方面，本公开实施例具有以下有益效果：本公开实施例中，通过获取各业务系统分别对应的各ETL作业的技术元数据和业务元数据，以及通过DAG工作流作业调度系统提取各ETL作业之间的依赖元数据，所述依赖元数据包括各ETL作业间的执行逻辑关系，并根据技术元数据、业务元数据和依赖元数据，分析业务系统之间的关联关系，使得对企业业务系统进行分析，能够基于不同业务系统对应的各ETL作业间的执行逻辑关系，对业务系统之间的关联关系进行分析，以满足对随着企业业务系统增多和业务数据增长所带来的日益复杂的业务系统分析要求。附图说明图1示出了本公开实施例提供的现有业务系统关联关系的示意图；图2为本公开实施例提供的业务系统分析方法的流程示意图；图3为本公开实施例提供的业务系统分析方法的另一流程示意图；图4为本公开实施例提供的业务系统分析方法的又一流程示意图；图5为本公开实施例提供的业务系统关联关系的示意图；图6为本公开实施例提供的业务系统分析方法的又一流程示意图；图7为本公开实施例提供的业务系统分析装置的结构示意图；图8为本公开实施例提供的业务系统分析装置的另一结构示意图；图9为本公开实施例提供的业务系统分析装置的又一结构示意图；图10为本公开实施例提供的电子设备的结构示意图。本公开目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。对于企业而言，可以对来自不同业务系统的业务数据进行分析，得到分析结果，并能够根据分析结果为用户提供更好的服务和/或为企业自身制定更优的运营策略。通常企业会涉及多个业务系统，而每个业务系统可能会涉及多个ETL作业，即，针对一个业务系统而言，可以采用不同的ETL作业对该一个业务系统对应的不同类型的业务数据(源数据)分别进行相应的ETL处理，而每个ETL作业中会包含一种或多种ETL任务。其中，一个ETL作业中的一种或多种ETL任务可以按照转换规则、字段处理规则和数据治理规则等对该ETL作业对应的数据源中的数据进行处理。而对于一个企业而言，业务系统分析通常是指通过对该企业的多个业务系统对应的多个ETL作业分别进行分析，即，分别对单个ETL作业中的多任务间逻辑关系、数据源、目标源、字段处理规则、数据治理规则等元数据进行提取和分析，最终得到各个ETL作业分别对应的分析结果，组成该企业的业务系统分析结果。其中，元数据(Metadata)被定义为关于数据的数据，在企业的数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据。图1示出了本公开实施例提供的现有业务系统关联关系的示意图。例如，假设一个企业中存在三个业务系统，分别为业务系统1、业务系统2和业务系统3，其中，业务系统1涉及的ETL作业为ETL作业1，涉及到的数据源为数据库1和数据库2(即可以理解为，ETL作业1的数据源为数据库1和数据库2)，业务系统1的数据仓库为业务库1(即可以理解为，ETL作业1的目标源为业务库1)；业务系统2涉及的ETL作业为ETL作业2，涉及到的数据源为数据库3和业务库1，业务系统2的数据仓库为业务库2；业务系统3涉及的ETL作业为ETL作业3和ETL作业4，涉及到的数据源为数据库3和数据库4，业务系统3的数据仓库为业务库3。如图1所示，该企业的作业调度系统中包含有上述3个业务系统所涉及的4个ETL作业：ETL作业1、ETL作业2、ETL作业3和ETL作业4，根据现有的元数据管理系统对该企业业务系统分析如下：1)ETL作业1中的多个ETL任务分别按照数据质量规则对数据库1和数据2中的数据进行处理，即ETL作业1的数据源为数据库1和数据库2；经过ETL作业1处理后的数据进入到业务库1，即ETL作业1的目标源为业务库1。其中，数据质量规则是指为保证数据质量而对数据的处理规则，例如，对ETL作业1中的某个ETL任务，其对应的数据质量规则可以是一种或多种数据清洗规则，能够对数据库1和数据库2中的数据进行数据清洗，将错误数据和垃圾数据进行清理，以保证数据的质量。2)ETL作业2中的多个ETL任务分别按照字段替换规则、数据校验规则等对业务库1和数据库3中的数据进行处理，即ETL作业2的数据源为业务库1和数据库3。例如，ETL作业2中的ETL任务1按照字段替换规则对数据库3种的数据进行处理，可以是按照字段替换规则将数据库3中的不规则字段替换为规则字段，使得数据规范化。ETL任务N2按照数据校验规则对业务库1中的数据进行处理，可以是按照数据校验规则对业务库1中的文件名、报文头、账户记录等进行数据校验。经过ETL作业2处理后的数据进入到业务库2，即ETL作业2的目标源为业务库2。3)ETL作业3中的多个ETL任务分别按照数据过滤规则、数据质量规则等对数据库3和数据库4中的数据进行处理，即ETL作业3的数据源为数据库3和数本文档来自技高网...

【技术保护点】
1.一种业务系统分析方法，其特征在于，所述方法包括：获取各业务系统分别对应的各抽取‑转换‑装载ETL作业的技术元数据和业务元数据；通过有向无环图DAG工作流作业调度系统，提取各ETL作业之间的依赖元数据，所述依赖元数据包括各ETL作业间的执行逻辑关系；根据所述技术元数据、业务元数据和依赖元数据，分析业务系统之间的关联关系。

【技术特征摘要】
1.一种业务系统分析方法，其特征在于，所述方法包括：获取各业务系统分别对应的各抽取-转换-装载ETL作业的技术元数据和业务元数据；通过有向无环图DAG工作流作业调度系统，提取各ETL作业之间的依赖元数据，所述依赖元数据包括各ETL作业间的执行逻辑关系；根据所述技术元数据、业务元数据和依赖元数据，分析业务系统之间的关联关系。2.根据权利要求1所述的方法，其特征在于，所述提取各ETL作业之间的依赖元数据，包括：获取所述各ETL作业的作业执行信息，其中，所述作业执行信息包括所述各ETL作业的执行时间和执行条件；根据所述各ETL作业的执行时间和执行条件，生成所述各ETL作业对应的静态执行列表。3.根据权利要求2所述的方法，其特征在于，所述根据所述技术元数据、业务元数据和依赖元数据，分析业务系统之间的关联关系，包括：将所述业务元数据、所述技术元数据和所述静态执行列表的数据格式转换为相同的标准文本格式；根据具有相同标准文本格式的所述业务元数据、所述技术元数据和所述静态执行列表，构建所述各业务系统之间的关系视图。4.根据权利要求3所述的方法，其特征在于，所述标准文本格式为可扩展标记语言XML。5.根据权利要求2所述的方法，其特征在于，所述根据所述各ETL作业的执行时间和执行条件，生成所述各ETL作业对应的静态执行列表之后，所述方法还包括：按照预设更新规则更新所述静态执行列表。6.一...

【专利技术属性】
技术研发人员：孟利娟，李日光，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南,41