一种用于大数据集成的全自动化方法及系统技术方案

本发明专利技术公开了一种用于大数据集成的全自动化方法，其方法部分包括如下步骤：S1用于获取源数据源的步骤；S2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤；S3用于将源数据源同步至目标数据源的步骤。本发明专利技术所公开的用于大数据集成的全自动化方法，可自动发现源数据源新增的表和字段，并自动维护到同步过程中，大大节省了员工的开发时间，提高了开发效率。开发效率。

【技术实现步骤摘要】
一种用于大数据集成的全自动化方法及系统


[0001]本专利技术涉及计算机领域，尤其涉及一种用于大数据集成的全自动化方法及系统。

技术介绍

[0002]目前同步数据需要手动维护源数据源和目标数据源，当源数据源增加表或字段后，需要再手动将新增的表和字段维护到同步过程中，费事费力，还容易出错。

技术实现思路

[0003]本专利技术的目的是提供一种用于大数据集成的全自动化方法及系统。
[0004]本专利技术所提供的用于大数据集成的全自动化方法，包括如下步骤：
[0005]S1用于获取源数据源的步骤；
[0006]S2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤；
[0007]S3用于将源数据源同步至目标数据源的步骤。
[0008]优选的，所述S1用于获取源数据源的步骤，包括：
[0009]S11用于调用定时调库模块接口定时获取源数据源。
[0010]优选的，所述S2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤，包括：
[0011]S21用于对源数据源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于大数据集成的全自动化方法，其特征在于，包括如下步骤：S1用于获取源数据源的步骤；S2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤；S3用于将源数据源同步至目标数据源的步骤。2.如权利要求1所述的用于大数据集成的全自动化方法，其特征在于，所述S1用于获取源数据源的步骤，包括：S11用于调用定时调库模块接口定时获取源数据源。3.如权利要求2所述的用于大数据集成的全自动化方法，其特征在于，所述S2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤，包括：S21用于对源数据源进行扫描，并与目标数据源进行比对，并得出比对结果的步骤；S22用于将比对结果发送至下游服务器的步骤；S23用于从下游服务器获取反馈结果，执行下一步指令的步骤。4.如权利要求3所述的用于大数据集成的全自动化方法，其特征在于，所述S23用于从下游服务器获取反馈结果，执行下一步指令的步骤，包括：S231用于判断反馈结果，若反馈结果同意同步，则继续执行S3；若反馈结果不同意同步，则任务完成的步骤。5.如权利要求4所述的用于大数据集成的全自动化方法，其特征在于，所述S3用于将源数据源同步至目标数据源的步骤，包括：S31若源数据源相比于目标数据源有新增表和字段信息，则将新增的表和字段同步到目标数据源中；S32若源数据源相比于目标数据源有减少的表和字段信息，则将减少的表和字段在目标数据源中删除。6.如权利要求5所述的用于大数据集成的全自动化方法，其特征在于，还包括监控系统的存活状况和异常状况的步骤。7.如权利要求6所述的用于大数据集成的全自动化方法，其特征在于，还包括生成日志的步骤。8.一种用于大数据集成的全自动化系统，...

【专利技术属性】
技术研发人员：金家芳，李忠龙，方志强，
申请(专利权)人：上海维信荟智金融科技有限公司，
类型：发明
国别省市：