数据处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、电子设备及可读存储介质，包括：获得多个原始数据；将多个原始数据发送到分布式消息队列Kafka；利用Flink从Kafka获取多个原始数据并进行ETL处理，获得多个整合数据，整合数据带有标签；按照每个整合数据的标签，将每个整合数据写入对应的数据库；从Kafka、Flink以及多个数据库对应的API接口收集监控数据，并对监控数据进行监控，其中，监控数据包括原始数据和整合数据。本申请实施例提供的数据处理方法可以利用Flink对原始数据进行ETL处理，且对整个数据处理流程的各个阶段产生的数据进行监控，对各个阶段产生的数据均进行监控，可以较好地把握数据在被处理过程中的变化情况，可以使得数据口径统一，且有利于保证数据的一致性。

Data processing method, device, electronic equipment and readable storage medium

【技术实现步骤摘要】
数据处理方法、装置、电子设备及可读存储介质
本申请涉及大数据
，具体而言，涉及一种数据处理方法、装置、电子设备及可读存储介质。
技术介绍
现有技术中，对于实时数据的需求越来越多，多个独立的实时任务会造成很大的集群资源的浪费，付出较高的开发运维成本，因此需要一个统一的实时数据仓库来提高任务扩展性，节约集群资源。现有的实时数据仓库通常是基于烟囱式架构开发，烟囱式架构中，通常每个需求会设置一个对应的任务，常常出现单个需求各自分别计算，数据口径不统一的问题，数据一致性很难得到保证。
技术实现思路
本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及可读存储介质，用以改善现有技术中数据口径不统一，数据一致性难以保证的问题。第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：获得多个原始数据；将所述多个原始数据发送到分布式消息队列Kafka；利用Flink从Kafka获取所述多个原始数据并进行ETL处理，获得多个整合数据，所述整合数据带有标签；按照每个所述整合数据的标签，将每个所述整合数据写本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获得多个原始数据；/n将所述多个原始数据发送到分布式消息队列Kafka；/n利用Flink从Kafka获取所述多个原始数据并进行ETL处理，获得多个整合数据，所述整合数据带有标签；/n按照每个所述整合数据的标签，将每个所述整合数据写入对应的数据库；/n从所述Kafka、Flink以及多个所述数据库对应的API接口收集监控数据，并对所述监控数据进行监控，其中，所述监控数据包括原始数据和整合数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获得多个原始数据；
将所述多个原始数据发送到分布式消息队列Kafka；
利用Flink从Kafka获取所述多个原始数据并进行ETL处理，获得多个整合数据，所述整合数据带有标签；
按照每个所述整合数据的标签，将每个所述整合数据写入对应的数据库；
从所述Kafka、Flink以及多个所述数据库对应的API接口收集监控数据，并对所述监控数据进行监控，其中，所述监控数据包括原始数据和整合数据。


2.根据权利要求1所述的方法，其特征在于，所述对所述监控数据进行监控，包括：
判断所述监控数据的具体值是否超过对应的数值范围；
若是，则发出告警信号。


3.根据权利要求1所述的方法，其特征在于，所述对所述监控数据进行监控，包括：
判断在预设时间段内是否接收到所述监控数据的心跳信号；
若否，则发出告警信号。


4.根据权利要求1所述的方法，其特征在于，所述数据库包括Redis；
所述按照所述整合数据的标签，将所述每个整合数据写入对应的数据库，包括：
若存在整合数据的标签表征所述整合数据需进行频繁地查询和读写动作，将所述整合数据写入Redis。


5.根据权利要求1所述的方法，其特征在于，所述数据库包括Mysql；
所述按照所述整合数据的标签，将所述每个整合数据写入对应的数据库，包括：
若存在整合数据的标签表征所述整合数据对应的数据量较小或所述整合数据需提供给固定报表使用，将所述整合数据写入Mysql。


6.根据权利要求1所述的方法，其特征在于，所述数据库包括GreenPlum；
所述按照所述整合数据的标签，将所述每个整合数据写入对应的数据库，包括：
若存在整合数据的标签表...

【专利技术属性】
技术研发人员：刘奔，
申请(专利权)人：成都运力科技有限公司，
类型：发明
国别省市：四川;51