【技术实现步骤摘要】
本公开的实施方式涉及计算机，更具体地，本公开的实施方式涉及流批任务一体化方法、流批任务一体化装置、计算机可读存储介质及电子设备。
技术介绍
1、本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。
2、在数据处理中，可以支持流任务和批任务两种处理任务，其中流任务对实时流入的无界数据集进行处理，无界数据集的生成有开始但没有结束，必须在获取后立即处理；批任务对离线存储的有界数据集进行处理，有界数据集有明确定义的开始和结束，可以等待所有数据获取后进行计算处理。
3、在特定的业务场景中，可能需要流批任务统一处理，此时通常需要在数据上游分别配置流任务到流数据表，以及配置批任务到批数据表，在数据下游应用时可以根据任务处理需求查询对应的流数据表或批数据表。
4、但是，该方案中流任务和批任务需要分别独立开发维护数据表，成本高，而且流任务和批任务可能存在处理逻辑与口径不一致的问题，难以统一协调，而所生成的流数据表和批数据表需要根据业务场景查询调用，使得下游应用操作复杂，易出错，影响业务质量。
5、但是，在目前向用户针对性推荐歌单时，推荐结果的准确性、转化率等还有待进一步提高。
技术实现思路
1、在本上下文中，本公开的实施方式期望提供一种流批任务一体化方法、流批任务一体化装置、计算机可读存储介质及电子设备。
2、根据本公开实施方式的第一方面，提供一种流批任务一体化方法，该方法可以包括：
3、可选地，在任务配置中，流任务配置和批任务配置，在通过低代码平台添加流批一体化任务配置的过程中生成。
4、可选地，在任务配置中，流任务配置、批任务配置和流批一体化任务配置分别通过对应的sql代码进行添加。
5、可选地，表元数据通过如下步骤生成：接收表映射操作；响应于表映射操作，将对应的流数据表与批数据表进行映射，生成统一定义流数据表与批数据表的表元数据。
6、可选地，表元数据通过如下步骤生成：确定流数据表和批数据表分别所属的业务；在属于同一业务的情况下，对流数据表与批数据表进行映射，生成统一定义流数据表与批数据表的表元数据。
7、可选地，任务配置为批任务配置，基于表元数据进行任务配置对应的计算任务，包括：根据表元数据获取对应的批数据表；基于批数据表中的批数据，进行批任务配置对应的批任务；或，任务配置为流任务配置，基于表元数据进行任务配置对应的计算任务，包括：根据表元数据获取对应的流数据表；基于流数据表中的流数据，进行流任务配置对应的流任务。
8、可选地，任务配置为流批一体化任务配置，流批一体化任务配置包括指定切换时间，基于表元数据进行任务配置对应的计算任务，包括：根据表元数据获取对应的流数据表和批数据表；基于批数据表中指定切换时间前的批数据，以及流数据表中指定切换时间后的流数据，进行流批一体化任务配置对应的流批一体化任务。
9、根据本公开实施方式的第二方面，提供一种流批任务一体化装置，该装置可以包括：请求接收模块，用于接收任务创建请求；配置确定模块，用于响应于任务创建请求，确定任务配置，任务配置包括流任务配置、批任务配置和流批一体化任务配置中的任意一种；数据确定模块，用于根据任务配置确定对应的表元数据，表元数据用于统一定义流数据表与批数据表；数据计算模块，用于基于表元数据进行任务配置对应的计算任务，计算任务包括流任务、批任务和流批一体化任务重的任意一种。
10、可选地，在任务配置中，流任务配置和批任务配置，在通过低代码平台添加流批一体化任务配置的过程中生成。
11、可选地，在任务配置中，流任务配置、批任务配置和流批一体化任务配置分别通过对应的sql代码进行添加。
12、可选地，还包括数据映射模块，该数据映射模块可以包括：映射操作接收单元，用于接收表映射操作；映射操作响应单元，用于响应于表映射操作，将对应的流数据表与批数据表进行映射，生成统一定义流数据表与批数据表的表元数据。
13、可选地，还包括数据映射模块，该数据映射模块可以包括：业务关系确定单元，用于确定流数据表和批数据表分别所属的业务；业务关系映射单元，用于在属于同一业务的情况下，对流数据表与批数据表进行映射，生成统一定义流数据表与批数据表的表元数据。
14、可选地，任务配置为批任务配置，数据计算模块，具体用于根据表元数据获取对应的批数据表；基于批数据表中的批数据，进行批任务配置对应的批任务；或，数据计算模块，具体用于根据表元数据获取对应的流数据表；基于流数据表中的流数据，进行流任务配置对应的流任务。
15、可选地，任务配置为流批一体化任务配置，流批一体化任务配置包括指定切换时间，数据计算模块，具体用于根据表元数据获取对应的流数据表和批数据表；基于批数据表中指定切换时间前的批数据，以及流数据表中指定切换时间后的流数据，进行流批一体化任务配置对应的流批一体化任务。
16、根据本公开实施方式的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一种流批任务一体化方法。
17、根据本公开实施方式的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一种流批任务一体化方法。
18、根据本公开实施方式的流批任务一体化方法，在接收到任务创建请求时，可以响应任务创建请求确定其任务配置，包括流任务配置、批任务配置和流批任务一体化配置，而由于流数据表、批数据表由表元数据统一定义，因此可以通过统一的查询获得不同任务配置需求的数据，进而基于查询到的表元数据可以直接进行任务配置对应的计算任务，包括流任务、批任务或流批一体化任务。该方法通过采用表元数据对流数据表、批数据表统一定义，配置逻辑简单，且在业务层面向外提供了统一的查询方式，便于统一维护和协调，下游应用只需发起任务创建请求即可分别确定需求的任务配置并获得计算结果，统一了任务处理逻辑和口径，操作简便，效率高且出错几率小，提高了业务质量。
本文档来自技高网...【技术保护点】
1.一种流批任务一体化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述任务配置中，所述流任务配置和所述批任务配置，在通过低代码平台添加流批一体化任务配置的过程中生成。
3.根据权利要求1所述的方法，其特征在于，在所述任务配置中，所述流任务配置、所述批任务配置和所述流批一体化任务配置分别通过对应的SQL代码进行添加。
4.根据权利要求1所述的方法，其特征在于，所述表元数据通过如下步骤生成：
5.根据权利要求1所述的方法，其特征在于，所述表元数据通过如下步骤生成：
6.根据权利要求1所述的方法，其特征在于，所述任务配置为批任务配置，所述基于所述表元数据进行所述任务配置对应的计算任务，包括：
7.根据权利要求1所述的方法，其特征在于，所述任务配置为流批一体化任务配置，所述流批一体化任务配置包括指定切换时间，所述基于所述表元数据进行所述任务配置对应的计算任务，包括：
8.一种流批任务一体化装置，其特征在于，所述装置包括：
9.根据权利要求8所述的装置，其特征在
10.根据权利要求8所述的装置，其特征在于，在所述任务配置中，所述流任务配置、所述批任务配置和所述流批一体化任务配置分别通过对应的SQL代码进行添加。
11.根据权利要求8所述的装置，其特征在于，还包括数据映射模块，所述数据映射模块，包括：
12.根据权利要求8所述的装置，其特征在于，还包括数据映射模块，所述数据映射模块，包括：
13.根据权利要求8所述的装置，其特征在于，所述任务配置为批任务配置，所述数据计算模块，具体用于根据所述表元数据获取对应的批数据表；基于所述批数据表中的批数据，进行所述批任务配置对应的所述批任务；
14.根据权利要求8所述的装置，其特征在于，所述任务配置为流批一体化任务配置，所述流批一体化任务配置包括指定切换时间，所述数据计算模块，具体用于根据所述表元数据获取对应的流数据表和批数据表；基于所述批数据表中指定切换时间前的批数据，以及所述流数据表中指定切换时间后的流数据，进行所述流批一体化任务配置对应的所述流批一体化任务。
15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1至7任一项所述的流批任务一体化方法。
16.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种流批任务一体化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述任务配置中，所述流任务配置和所述批任务配置，在通过低代码平台添加流批一体化任务配置的过程中生成。
3.根据权利要求1所述的方法，其特征在于，在所述任务配置中，所述流任务配置、所述批任务配置和所述流批一体化任务配置分别通过对应的sql代码进行添加。
4.根据权利要求1所述的方法，其特征在于，所述表元数据通过如下步骤生成：
5.根据权利要求1所述的方法，其特征在于，所述表元数据通过如下步骤生成：
6.根据权利要求1所述的方法，其特征在于，所述任务配置为批任务配置，所述基于所述表元数据进行所述任务配置对应的计算任务，包括：
7.根据权利要求1所述的方法，其特征在于，所述任务配置为流批一体化任务配置，所述流批一体化任务配置包括指定切换时间，所述基于所述表元数据进行所述任务配置对应的计算任务，包括：
8.一种流批任务一体化装置，其特征在于，所述装置包括：
9.根据权利要求8所述的装置，其特征在于，在所述任务配置中，所述流任务配置和所述批任务配置，在通过低代码平台添加流批一体化任务配置的过程中生成。
10.根据权...
【专利技术属性】
技术研发人员：赵荣生，汪磊，李垚周，蒋文伟，孙梓涵，傅星楠，詹万科，朱一飞，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。