一种基于大数据Hadoop平台ODS自动化同步技术创新方法技术

本发明专利技术涉及一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：具体包含以下步骤：（1）ODS系统自动获取源系统表的结构变更，并发出同步表结构请求；（2）根据系统是否请求同步表结构判断是否执行表结构同步，并决定是立刻执行还是延期执行；（3）ODS系统实施自动化同步。本发明专利技术自动化实现ODS数据源新增、修改、数据同步，避免人工误操作导致的数据问题。自动化让ODS开发过程更高效，开发作业更规范，易于管理和维护，实现了版本变更到技术实现的直接映射。

An Innovative Method of ODS Automation Synchronization Technology Based on Big Data Hadoop Platform

【技术实现步骤摘要】
一种基于大数据Hadoop平台ODS自动化同步技术创新方法
本专利技术涉及ODS自动化同步
，具体涉及一种基于大数据Hadoop平台ODS自动化同步技术创新方法。
技术介绍
随着公司业务的发展，多种合作渠道的接入、多元化业务模式的扩展以及核心系统的功能优化，导致源数据频繁变更，如表结构新增、修改、系统切换等。大数据仓库作为下游系统，必须保证完整的业务数据同步接入上线，以快速支撑业务部门的数据分析，这无疑是个巨大的挑战。传统ODS维护方法都是花费大量的工作量和人力成本，依靠人工操作来同步数据源，步骤多且繁琐，一个环节修改失误甚至会导致数据事故，无法保证底层数据稳定可靠。在此背景下急需一种安全、可靠、高效的ODS同步方法。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于大数据Hadoop平台ODS自动化同步技术创新方法。为解决以上技术问题，本专利技术的技术方案为：提供一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：具体包含以下步骤：（1）ODS系统自动获取源系统表的结构变更，并发出同步表结构请求；（2）根据系统是否请求同步表结构判断是否执行表结构同步，并决定是立刻执行还是延期执行；（3）ODS系统实施自动化同步。进一步的，所述步骤（1）中自动获取源系统表的结构变更，并发出同步表结构请求主要包括以下步骤：①IT研发人员将涉及变更的表在每月的版本日通过页面方式上报至系统，并对源系统表标注标签，标签分类：常规表、中间表、临时表、备份表；②ODS系统内部每天定时自动比对ETL系统和源系统表结构，自动捕获异常表，并自动请求同步表结构；③业务/开发人员或者ETL人员根据业务需求如果发现表结构不同步，通过页面操作方式向ODS系统发出请求同步请求操作。进一步的，所述步骤（1）中自动获取的结构变更的源系统表包括新增表、删除表、字段长度变更、字段类型修改。进一步的，所述所述步骤（2）中决定是立刻执行还是延期执行表结构同步的方法为：ODS系统引擎自动根据预先设定的表结构的变更政策，选择合适的时间进行变更，所述变更政策为：①通过表标签的规则来控制同步机制，如常规表正常同步，中间表和临时表不同步，备份表延迟同步，延迟时间后台配置；②通过表的白名单和黑名单策略来控制同步机制，如白名单正常同步，黑名单不同步，灰名单延迟同步，延迟时间后台配置；③通过制定ETL调度和ODS同步的优先级来控制同步机制，当ODS同步之前发现有对应任务实例生成或任务正在执行，延期执行表结构同步，建立任务实例依赖，待任务实例执行结束再执行表结构同步；④当ODS同步过程中发现有对应任务实例生成，任务实例挂起，待ODS同步结束再触发任务实例继续执行；⑤若ODS同步过程前后都没有发现对应任务实例生成，则ODS正常执行。进一步的，所述步骤（3）中实时自动同步包括以下步骤：①ODS系统执行接入新表；②ODS系统执行表结构同步。进一步的，所述步骤①中的ODS系统执行接入新表的具体步骤包括：A、配置新建Hive表、加入元数据管理平台；B、新建ETL任务及配置抽数HQL，新建/修改任务流；C、新建事件并配置任务流内的任务依赖和任务流间的事件依赖关系。进一步的，所述步骤②中的系统执行表结构同步时的具体步骤包括：A、访问生产系统，自动同步ODS表结构；B、修改ETL任务HQL抽数脚本；C、同步数据。本专利技术和现有技术相比，产生的有益效果为：本专利技术的一种基于大数据Hadoop平台ODS自动化同步技术创新方法，自动化实现ODS数据源新增、修改、数据同步，避免人工误操作导致的数据问题。自动化让ODS开发过程更高效，开发作业更规范，易于管理和维护，实现了版本变更到技术实现的直接映射。附图说明为了更清晰地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的一种基于大数据Hadoop平台ODS自动化同步技术创新方法的步骤流程图。图2为本专利技术的ODS系统执行接入新表的流程图。图3为本专利技术的ODS系统执行表结构同步的流程图。具体实施方式下面将通过具体实施方式对本专利技术的技术方案进行清楚、完整地描述。本专利技术的提供一种基于大数据Hadoop平台ODS自动化同步技术创新方法，如图1所示，具体包含以下步骤：（1）ODS系统自动获取源系统表的结构变更，并发出同步表结构请求，自动获取的结构变更的源系统表包括新增表、删除表、字段长度变更、字段类型修改。自动获取源系统表的结构变更，并发出同步表结构请求主要包括以下步骤：①IT研发人员将涉及变更的表在每月的版本日通过页面方式上报至系统，并对源系统表标注标签，标签分类：常规表、中间表、临时表、备份表；②ODS系统内部每天定时自动比对ETL系统和源系统表结构，自动捕获异常表，并自动请求同步表结构；③业务/开发人员或者ETL人员根据业务需求如果发现表结构不同步，通过页面操作方式向ODS系统发出请求同步请求操作。（2）根据系统是否请求同步表结构判断是否执行表结构同步，并决定是立刻执行还是延期执行，决定是立刻执行还是延期执行表结构同步的方法为：ODS系统引擎自动根据预先设定的表结构的变更政策，选择合适的时间进行变更，所述变更政策为：①通过表标签的规则来控制同步机制，如常规表正常同步，中间表和临时表不同步，备份表延迟同步，延迟时间后台配置；②通过表的白名单和黑名单策略来控制同步机制，如白名单正常同步，黑名单不同步，灰名单延迟同步，延迟时间后台配置；③通过制定ETL调度和ODS同步的优先级来控制同步机制，当ODS同步之前发现有对应任务实例生成或任务正在执行，延期执行表结构同步，建立任务实例依赖，待任务实例执行结束再执行表结构同步；④当ODS同步过程中发现有对应任务实例生成，任务实例挂起，待ODS同步结束再触发任务实例继续执行；⑤若ODS同步过程前后都没有发现对应任务实例生成，则ODS正常执行。（3）ODS系统实施自动化同步，实施自动同步包括以下步骤：①ODS系统执行接入新表，如图2所示，具体步骤包括：A、配置新建Hive表、加入元数据管理平台；B、新建ETL任务及配置抽数HQL，新建/修改任务流；C、新建事件并配置任务流内的任务依赖和任务流间的事件依赖关系。②ODS系统执行表结构同步，如图3所示，系统执行表结构同步时的具体步骤包括：A、访问生产系统，自动同步ODS表结构；B、修改ETL任务HQL抽数脚本；C、同步数据。上面所述的实施例仅仅是本专利技术的优选实施方式进行描述，并非对本专利技术的构思和范围进行限定，在不脱离本专利技术设计构思的前提下，本领域中普通工程技术人员对本专利技术的技术方案作出的各种变型和改进均应落入本专利技术的保护范围，本专利技术的请求保护的
技术实现思路
，已经全部记载在技术要求书中。本文档来自技高网...

【技术保护点】
1.一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：具体包含以下步骤：（1）ODS系统自动获取源系统表的结构变更，并发出同步表结构请求；（2）根据系统是否请求同步表结构判断是否执行表结构同步，并决定是立刻执行还是延期执行；（3）ODS系统实施自动化同步。

【技术特征摘要】
1.一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：具体包含以下步骤：（1）ODS系统自动获取源系统表的结构变更，并发出同步表结构请求；（2）根据系统是否请求同步表结构判断是否执行表结构同步，并决定是立刻执行还是延期执行；（3）ODS系统实施自动化同步。2.根据权利要求1所述的一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：所述步骤（1）中自动获取源系统表的结构变更，并发出同步表结构请求主要包括以下步骤：①IT研发人员将涉及变更的表在每月的版本日通过页面方式上报至系统，并对源系统表标注标签，标签分类：常规表、中间表、临时表、备份表；②ODS系统内部每天定时自动比对ETL系统和源系统表结构，自动捕获异常表，并自动请求同步表结构；③业务/开发人员或者ETL人员根据业务需求如果发现表结构不同步，通过页面操作方式向ODS系统发出请求同步请求操作。3.根据权利要求1所述的一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：所述步骤（1）中自动获取的结构变更的源系统表包括新增表、删除表、字段长度变更、字段类型修改。4.根据权利要求1所述的一种基于大数据Hadoop平台ODS自动化同步技术创新方法，其特征在于：所述所述步骤（2）中决定是立刻执行还是延期执行表结构同步的方法为：ODS系统引擎自动根据预先设定的表结构的变更政策，选择合适的时间进行变更，所述变更政策为：①通过表标签的规则来控制同步机制...

【专利技术属性】
技术研发人员：王德敏，张程，史梦丽，裴宝山，祁洁，
申请(专利权)人：苏宁消费金融有限公司，
类型：发明
国别省市：江苏,32