一种模板数据处理方法、装置、服务器和存储介质制造方法及图纸

本发明专利技术公开了一种模板数据处理方法，包括：从数据流获取第一数据；基于数据处理需求，在Flink框架中生成多个Flink任务对第一数据进行处理，以生成第二数据；将所述第二数据中时效性高的数据存入第一集群以进行实时计算，将所述第二数据中时效性低的数据存入第二集群以进行离线计算。本发明专利技术还公开了一种模板数据处理方法、装置、服务器和存储介质。本发明专利技术通过把处理完成的数据根据时效性区分，分别存入不同的集群，使数据的实时处理和批量处理能够兼容。

【技术实现步骤摘要】
一种模板数据处理方法、装置、服务器和存储介质
本专利技术实施例涉及大数据处理技术，尤其涉及一种模板数据处理方法、装置、服务器和存储介质。
技术介绍
大数据已经覆盖了生活的各个方面，智慧交通调度、智能医疗预测、金融股票分析、电商购物推荐等，无一例外都需要使用大数据技术。其中，数据清洗是整个大数据链路中至关重要的一环，也是数据分析的基础。ETL数据包括：Extract(抽取)、Transfor(转换)、Load(落地)。数据清洗过程，需要从海量数据中抽取出业务需要的数据，从而支持实时、离线计算。而且当接收到的数据变得更复杂时，程序能够动态拓展解析方式，而无需改动代码重启程序。并且在实际场景中，必然存在各种复杂的业务处理，这些处理必须在数据清洗时一并完成。现有技术的方案导致实时处理和批量处理无法兼容，降低了数据处理效率。
技术实现思路
本专利技术提供一种模板数据处理方法、装置、服务器和存储介质，通过提高数据处理效率本专利技术通过把处理完成的数据根据时效性区分，分别存入不同的集群，实现了实时处理和批量处理的兼本文档来自技高网...

【技术保护点】
1.一种模板数据处理方法，其特征在于，包括：/n从数据流获取第一数据；/n基于数据处理需求，在Flink框架中生成多个Flink任务对第一数据进行处理，以生成第二数据；/n将所述第二数据中时效性高的数据存入第一集群以进行实时计算，将所述第二数据中时效性低的数据存入第二集群以进行离线计算。/n

【技术特征摘要】
20200331 CN 20191141891341.一种模板数据处理方法，其特征在于，包括：
从数据流获取第一数据；
基于数据处理需求，在Flink框架中生成多个Flink任务对第一数据进行处理，以生成第二数据；
将所述第二数据中时效性高的数据存入第一集群以进行实时计算，将所述第二数据中时效性低的数据存入第二集群以进行离线计算。


2.根据权利要求1所述的一种模板数据处理方法，其特征在于，所述基于数据处理需求，在Flink框架中生成多个Flink任务对第一数据进行处理，以生成第二数据，包括：
使用预设的第一ETL模板对所述第一数据进行无效数据清洗；
使用预设的第二ETL模板对清洗后的第一数据进行自定义处理，以生成第二数据。


3.根据权利要求2所述的一种模板数据处理方法，其特征在于，所述第一ETL模板包括第一预设关键字和对应的第一处理程序，所述使用预设的第一ETL模板对所述第一数据进行无效数据清洗，包括：
判断所述第一数据中是否有预设的第一关键字；
若是，则使用所述第一处理程序所述第一数据进行无效数据清洗。


4.根据权利要求2所述的一种模板数据处理方法，其特征在于，所述第二ETL模板包括第二预设关键字和对应的第二处理程序，则所述使用预设的第二ETL模板对清洗后的第一数据进行自定义处理，以生成第二数据，包括：
判断清洗后的所述第一数据是否有预设的第二关键字；
若是，则使用所述第二处理程序自定义处理清洗后的所述第一数据，以生成第...

【专利技术属性】
技术研发人员：曾逸清，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44