【技术实现步骤摘要】
本专利技术涉及大数据，具体涉及数据处理方法、装置、计算机设备、存储介质及程序产品。
技术介绍
1、数据入湖可以为将数据从各种数据源导入到大数据存储系统的过程。数据入湖的过程通常依赖于flink和spark集群。
2、当前，在flink或spark集群上提交和运行任务通常涉及以下步骤：开发者需要编写符合flink或spark api规范的数据处理任务代码。将编写好的任务代码打包成可执行的jar文件或其他格式。配置flink或spark集群，包括资源分配、任务调度等参数。通过命令行工具或api将任务提交到集群上运行。在任务运行过程中，需要在集群上观察运行日志，以监控任务的执行情况和及时发现潜在问题。
3、然而，任务提交和运行的过程涉及多个步骤和配置，增加了系统的复杂性。这要求开发者具备较高的技术水平和丰富的经验，才能确保任务的正确提交和顺利运行。
技术实现思路
1、有鉴于此，本专利技术提供了一种数据处理方法、装置、计算机设备、存储介质及程序产品。
2、第一方...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法应用于NiFi集群；其中，所述方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，在获取第一目标数据之前，所述方法还包括：
3.根据权利要求2所述的数据处理方法，其特征在于，对所述第二目标数据进行字段映射，得到第三目标数据，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，所述将所述第三目标数据通过java client方式写入开源的数据湖存储框架，包括：
5.根据权利要求4所述的数据处理方法，其特征在于，所述方法还包括：
6.一种数据处理装置，其特...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于nifi集群；其中，所述方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，在获取第一目标数据之前，所述方法还包括：
3.根据权利要求2所述的数据处理方法，其特征在于，对所述第二目标数据进行字段映射，得到第三目标数据，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，所述将所述第三目标数据通过java client方式写入开源的数据湖存储框架，包括：
5.根据权利要求4所述的数据处理方法，其特征在于，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。