数据入湖的处理方法、管理系统、终端设备和存储介质技术方案

本申请涉及数据处理技术领域，公开了一种数据入湖的处理方法、管理系统、终端设备和存储介质；该方法包括采集数据库中的业务数据，并监听变更事件；所述变更事件为所述数据库的数据日志中数据结构变更记录的事件；对所述业务数据和所述变更事件进行分流处理，分别得到主消息和变更消息；将所述变更消息经协处理器处理后与所述主消息进行消费写入数据湖。本申请能够提高整个数据库的数据写入数据湖的同步时效性。

【技术实现步骤摘要】

本申请涉及数据处理，尤其涉及一种数据入湖的处理方法、管理系统、终端设备和存储介质。

技术介绍

1、随着数字化转型的快速发展，数据体量也在快速增长，数据湖凭其高效实时摄入、读取效率以及相对传统大数据仓技术较好的相容性，被很多企业、公司引入到大数据平台中。

2、数据湖是一个存储大规模结构化和非结构化数据的集合体，它可以容纳来自各种数据库/数据源的数据，包括日志文件数据、数据库数据、传感器数据等；基于此，数据湖原生提供了事务性管理、版本控制能力、数据结构变更能力，支持实时数据同步。

3、目前对于数据库或数据源中的数据一般采用离线调度或表单写入数据湖的方式进行实时同步：

4、（1）离线调度是指任务按一定时间间隔启动，在调度系统上进行任务配置，同步时效一般为每天、每小时等，其数据同步时效较大、时间延迟较高，无法满足时效要求高的应用场景。

5、（2）表单写入的入湖方式，在面对大型数据库、数据表较多的数据库，需要对每个表均配置单独的任务，会消耗大量的资源，且数据结构变更时需要人工维护，存在一定时间上的滞后性，无法及时处理，本文档来自技高网...

【技术保护点】

1.一种数据入湖的处理方法，其特征在于，包括：

2.根据权利要求1所述的数据入湖的处理方法，其特征在于，所述对所述业务数据和所述变更事件进行分流处理，分别得到主消息和变更消息，包括：

3.根据权利要求2所述的数据入湖的处理方法，其特征在于，所述主数据流包括所述业务数据和所述变更事件；所述侧输出流包括所述变更事件。

4.根据权利要求3所述的数据入湖的处理方法，其特征在于，所述主消息包括所述业务数据和数据消息队列主题；

5.根据权利要求4所述的数据入湖的处理方法，其特征在于，所述将所述变更消息经协处理器处理后与所述主消息进行消费写入数据湖，包括...

【技术特征摘要】

1.一种数据入湖的处理方法，其特征在于，包括：

2.根据权利要求1所述的数据入湖的处理方法，其特征在于，所述对所述业务数据和所述变更事件进行分流处理，分别得到主消息和变更消息，包括：

3.根据权利要求2所述的数据入湖的处理方法，其特征在于，所述主数据流包括所述业务数据和所述变更事件；所述侧输出流包括所述变更事件。

4.根据权利要求3所述的数据入湖的处理方法，其特征在于，所述主消息包括所述业务数据和数据消息队列主题；

5.根据权利要求4所述的数据入湖的处理方法，其特征在于，所述将所述变更消息经协处理器处理后与所述主消息进行消费写入数据湖，包括：

6.根据权利要求5所述的数据入...

【专利技术属性】
技术研发人员：李尊健，赵禛，
申请(专利权)人：天津金城银行股份有限公司，
类型：发明
国别省市：