一种基于配置化的将系统数据传输至数据湖的方法和系统技术方案

本发明专利技术涉及一种基于配置化的将系统数据传输至数据湖的方法和系统，包括利用统一服务组件配置化地从各微服务数据库中提取数据；根据配置生成入湖文件，并利用FEX文件传输平台将所述入湖文件传输至数据湖平台；在所述数据湖平台对所述入湖文件进行解析和存储，并执行数据清洗和加工；根据业务需求，卸载湖内数据文件至目标系统，以供进一步分析和应用。该方案的灵活性和通用性显著，支持跨服务数据提取，优化了资源任务调度，解决了性能安全问题。

【技术实现步骤摘要】

本专利技术涉及计算机，尤其涉及一种基于配置化的将系统数据传输至数据湖的方法和系统。

技术介绍

1、在当今数字化时代，银行业务的快速发展催生了对数据处理和分析的巨大需求。云端数据湖技术应运而生，以其强大的计算能力和存储能力，成为银行业数据管理的中坚力量。数据湖的实施不仅极大地缓解了源系统的数据计算压力，还通过打破系统间的数据壁垒，实现了数据价值的最大化。

2、然而，现有技术在将源系统数据库数据高效、稳定地卸载至数据湖方面存在局限。特别是在微服务架构广泛应用的今天，如何确保数据的实时性、准确性以及系统性能的稳定性，成为了一个亟待解决的问题。

3、本专利技术正是在这样的背景下应运而生。它创新性地融合了微服务架构、云端数据湖以及fex文件传输平台，打通了数据流转的链路，提出了一种基于配置化的将系统数据传输至数据湖的方法，该方法不仅实现了源系统数据库数据向数据湖的高效传输，而且通过合理分配微服务应用资源，保障了数据入湖过程的性能稳定和准确性。

技术实现思路

1、为解决现有技术的不足，本专利技术实本文档来自技高网...

【技术保护点】

1.一种基于配置化的将系统数据传输至数据湖的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：

3.根据权利要求2所述的方法，其特征在于，所述配置策略的信息包括但不限于：卸载类型、入湖频率、文件类型、编码格式下发路径名称。

4.根据权利要求3所述的方法，其特征在于，所述步骤S3还包括：将所述入湖文件通过湖内加工算子进行数据清洗与加工以供其他各系统使用。

5.根据权利要求1所述的方法，其特征在于，所述统一服务组件还用于管理入湖文件的存储、归档、清理，以及定义卸载文件接口。</p>

6.根据...

【技术特征摘要】

1.一种基于配置化的将系统数据传输至数据湖的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述步骤s1进一步包括：

3.根据权利要求2所述的方法，其特征在于，所述配置策略的信息包括但不限于：卸载类型、入湖频率、文件类型、编码格式下发路径名称。

4.根据权利要求3所述的方法，其特征在于，所述步骤s3还包括：将所述入湖文件通过湖内加工算子进行数据清洗与加工以供其他各系统使用。

5.根据权利要求1所述的方法，其特征在于，所述统一服务组件还用于管理入湖文件的存储、归档、清理，以及定义卸载文件接口。

6.根据权利要求4所述的方法，其特征在于，所述数据湖平台与fex文件传输平台之间的...

【专利技术属性】
技术研发人员：沈阳鹏，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：