数据处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开实施例公开了一种数据处理方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取对关系型数据库的当前操作；确定所述当前操作涉及的操作信息；将所述操作信息缓存到消息队列中；利用flume引擎从所述消息队列中实时获取所述操作信息，并将其传送至非关系型数据库中进行存储。该技术方案实现了非关系型数据库与关系型数据库之间同步的实时性，为用户提供了能够进行交互性查询的实时数据平台。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及计算机可读存储介质
本公开涉及计算机
，具体涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
与用户交互的web系统中，线上业务数据通常存放在关系型数据库中，因此，传统关系型数据库里面的数据具有极高的价值，但是关系型数据库不支持大规模的数据分析查询操作，也不支持大数据领域的海量数据的分析工作，因此需要将数据从关系型数据库迁移到非关系型数据库中，建立数据模型，进而做进一步的数据分析工作。
技术实现思路
本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。第一方面，本公开实施例中提供了一种数据处理方法。具体的，所述数据处理方法，包括：获取对关系型数据库的当前操作；确定所述当前操作涉及的操作信息；将所述操作信息缓存到消息队列中；利用flume引擎从所述消息队列中实时获取所述操作信息，并将其传送至非关系型数据库中进行存储。结合第一方面，本公开在第一方面的第一种实现方式中，获取对关系型数据库的当前操作，包括：响应于对所述关系型数据库的数据增加、数据修改和数据删除中的任意一个，获取所述当前操作。结合第一方面，本公开在第一方面的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：获取对关系型数据库的当前操作；确定所述当前操作涉及的操作信息；将所述操作信息缓存到消息队列中；利用flume引擎从所述消息队列中实时获取所述操作信息，并将其传送至非关系型数据库中进行存储。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取对关系型数据库的当前操作；确定所述当前操作涉及的操作信息；将所述操作信息缓存到消息队列中；利用flume引擎从所述消息队列中实时获取所述操作信息，并将其传送至非关系型数据库中进行存储。2.根据权利要求1所述的数据处理方法，其特征在于，获取对关系型数据库的当前操作，包括：响应于对所述关系型数据库的数据增加、数据修改和数据删除中的任意一个，获取所述当前操作。3.根据权利要求1所述的数据处理方法，其特征在于，确定所述当前操作涉及的操作信息，包括：解析所述当前操作，确定所述当前操作对应的操作类型和/或数据源；将所述操作类型和/或数据源封装成标准格式。4.根据权利要求1所述的数据处理方法，其特征在于，将所述操作信息缓存到消息队列中，包括：将所述操作信息缓存到Kafka消息队列中。5.根据权利要求4所述的数据处理方法，其特征在于，所述方法还包括：配置所述flume引擎，以将所述Kafka消息队列作为所述flume引擎的数据源。6.根据权利要求4或5所述的数据处理方法，其特征在于，所述非关系型数据库为kudu数据库...

【专利技术属性】
技术研发人员：周瑜，
申请(专利权)人：拉扎斯网络科技上海有限公司，
类型：发明
国别省市：上海,31