【技术实现步骤摘要】
一种构建统一ETL的实施方法
[0001]本专利技术公开一种方法,涉及决策分析系统的建设领域，具体地说是一种构建统一ETL的实施方法。
技术介绍
[0002]随着大数据时代的蓬勃发展，决策分析系统建设质量要求不断提高，高效高质量的ETL系统直接关系到决策分析系统建设的成败。系统实施过程中数据需求指标灵活易变，业务逻辑规则纷繁复杂，数据处理规则零碎具体，但数据开发人员缺乏统一的技术规范及人员频繁流动，容易导致决策分析系统因ETL实施缺乏质量把控而效率低下，并且准确性无法保证。
技术实现思路
[0003]本专利技术针对现有技术的问题，提供一种构建统一ETL的实施方法，可在OLAP系统的建设实施中，统一地设计和实现ETL数据处理，节约人力开发成本的同时提高开发质量，统一开发规范，让数据处理过程更加规范高效统一。
[0004]本专利技术提出的具体方案是：
[0005]一种构建统一ETL的实施方法，分析数据源的数据内在逻辑结构，
[0006]根据数据处理的业务目标和处理规则梳理业务规则，并根据业...
【技术保护点】
【技术特征摘要】
1.一种构建统一ETL的实施方法，其特征是分析数据源的数据内在逻辑结构，根据数据处理的业务目标和处理规则梳理业务规则，并根据业务规则和数据源结构分析总结数据处理算法，设计数据映射，其中参考基础映射的初始化涉及的数据处理源表和目标表基础元数据信息，选择相应的数据处理算法，开发数据规则，其中根据数据映射内容和处理规则将业务规则转化为可执行的代码表达式，根据数据映射内容以及数据处理算法利用脚本生成器生成要执行的ETL脚本，测试脚本并调整处理规则，完成构建ETL。2.根据权利要求1所述的一种构建统一ETL的实施方法，其特征是所述分析数据源的数据内在逻辑结构之前，包括：爬取数据源，所述爬取数据源是指只采集网页的列表页数据或采集列表页和翻页数据或者采集列表页、翻页及详情页数据。3.根据权利要求2所述的一种构建统一ETL的实施方法，其特征是所述分析数据源的数据内在逻辑结构，包括：判断列表页和翻页数据的逻辑结构是否一致，判断数据合并后是否存在重复情况，分析梳理列表页和详情页之间或者翻页与详情页之间的关联关系。4.根据权利要求1所述的一种构建统一ETL的实施方法，其特征是所述梳理业务规则，包括：根据源数据的数据内在逻辑结构与业务上的唯一性要求确定数据业务的唯一键，完成数据统一视图的整合机制，保证各业务数据之间的逻辑关联性。5.根据权利要求1所述的一种构建统一ETL的实施方法，其特征是根据所述测试脚本的测试结果，调整处理规则，根据调整后的处理规则生成更新的ETL脚本，迭代优化ETL。6.一种构建统一ETL的实施系统，其特征是包括分析整理模块...
【专利技术属性】
技术研发人员：李源，刘方文，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。