大数据平台主数据实时同步方法及系统技术方案

本发明专利技术公开了一种大数据平台主数据实时同步方法，包括实时接口模块、批量同步模块、任务管理模块以及数据服务模块；所述批量同步模块用于在系统资源匮乏时同步时效性要求低的主数据；所述实时接口模块用于在系统资源充足时同步所有主数据，在系统资源匮乏时同步时效性要求高的主数据；所述任务管理模块用于切分和调度各个数据同步作业；所述数据服务模块用于提供各个应用访问已同步的数据，本发明专利技术通过根据系统资源占用率选择不同的同步方式将数据从源系统同步到大数据，在保数据同步稳定性的同时也保证数据同步的实时性，并且在数据服务模块中通过实时组件Redis向外部提供数据访问服务，保证了访问的高效实时性和准确性。保证了访问的高效实时性和准确性。保证了访问的高效实时性和准确性。

【技术实现步骤摘要】
大数据平台主数据实时同步方法及系统


[0001]本专利技术属于交通综合自动化
，尤其涉及一种大数据平台主数据实时同步方法及系统。

技术介绍

[0002]目前轨道交通安全生产网内，随着运营数据量的增大和数据类型的增多，越来越多地采取大数据平台进行海量生产数据汇总和存储，并进行数据治理，最终形成数据资产地图。
[0003]目前大数据平台内，对于无时无刻不在产生的海量生产数据，比如设备和点的运行状态、传感器的状态变化等，可以通过流处理方法，在数据ETL后，实时传递到大数据平台内并共享出去。但是对于相对稳定的主数据，比如说设备和点的属性等，目前都是通过定期同步的方法来处理。这种主数据的定期同步，一般采用大数据平台的数据同步组件，比如Sqoop组件，定时把数据从源系统同步到大数据平台内存储主数据的关系数据库表中。
[0004]早期的大数据平台没有实时流处理业务，只用于历史数据的存储，业务也都是T+1类型。这种情况下，即便主数据变化有滞后，对业务也影响不大。但是随着轨道交通运营业务的增长，大数据平台内用于各种智慧运营的实时流任务也越来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据平台主数据实时同步系统，其特征在于，包括：实时接口模块、批量同步模块、任务管理模块以及数据服务模块；所述批量同步模块用于在系统资源匮乏时同步时效性要求低的主数据；所述实时接口模块用于在系统资源充足时同步所有主数据，在系统资源匮乏时同步时效性要求高的主数据；所述任务管理模块用于切分和调度各个数据同步作业；所述数据服务模块用于提供各个应用访问已同步的数据。2.基于权利要求1所述系统的一种大数据平台主数据实时同步方法，其特征在于，在系统资源匮乏时通过批量同步模块同步时效性要求低的主数据，通过实时接口模块同步时效性要求高的主数据；在系统资源充足时通过实时接口模块同步所有主数据；通过任务管理模块对数据同步作业进行切分和调度；通过数据服务模块向各个应用提供已同步数据的访问。3.根据权利要求2所述的一种大数据平台主数据实时同步方法，其特征在于，批量同步模块同步主数据采用Sqoop组件，定期把主数据从各个数据源同步到...

【专利技术属性】
技术研发人员：陈莉莉，张赛桥，狄颖琪，张振山，胡波，张浩，费洋，
申请(专利权)人：南瑞轨道交通技术有限公司，
类型：发明
国别省市：