一种数据处理方法、装置、电子设备及计算机可读介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、电子设备及计算机可读介质，涉及大数据技术领域。该方法的具体实施方式包括：获取数据处理请求，数据处理请求指示了待处理数据以及待处理数据的处理方式；确定处理方式包括的一个或多个公共处理逻辑；根据一个或多个公共处理逻辑，获取任务模板；根据任务模板以及待处理数据，生成数据处理任务；执行数据处理任务，以响应数据处理请求。该实施方式能够将公共处理逻辑从任务逻辑中抽离，降低任务逻辑的复杂度，提高任务的生成效率，进而提高大数据处理效率。率。率。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及计算机可读介质


[0001]本专利技术涉及大数据
，尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。

技术介绍

[0002]随着计算机和网络技术的发展，各行各业都逐渐向信息化的方向迈进，随之而生的是海量的数据资源，为了对数据资源进行合理利用，大数据的分析与处理显得分外重要。
[0003]现有的大数据处理过程中，针对不同的处理需求，需要分别生成不同的处理任务，每一个处理任务的逻辑各不相同，在任务执行时，需要对各个任务逻辑进行具体分析，进行执行处理任务。
[0004]现有的处理任务的逻辑通常具有相似部分，在每次生成任务的过程中，都需要在任务脚本中添加相似的处理逻辑，导致任务生成效率较低，相应地，大数据处理效率低下。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种数据处理方法、装置、电子设备及计算机可读介质，能够将公共处理逻辑从任务逻辑中抽离，降低任务逻辑的复杂度，提高任务的生成效率，进而提高大数据处理效率。
[0006]为实现上述目的，根据本专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据处理请求，所述数据处理请求指示了待处理数据以及所述待处理数据的处理方式；确定所述处理方式包括的一个或多个公共处理逻辑；根据所述一个或多个公共处理逻辑，获取任务模板；根据所述任务模板以及所述待处理数据，生成数据处理任务；执行所述数据处理任务，以响应所述数据处理请求。2.根据权利要求1所述的方法，其特征在于，在所述多个公共处理逻辑对应于多个所述任务模板的情况下，确定所述多个任务模板是否存在依赖关系；如果是，根据所述依赖关系，依次执行所述多个任务模板分别对应的数据处理任务。3.根据权利要求2所述的方法，其特征在于，所述任务模板配置有任务依赖信息；根据所述多个任务模板中分别包括的所述任务依赖信息，确定所述多个任务模板是否存在所述依赖关系。4.根据权利要求2所述的方法，其特征在于，在所述多个任务模板不存在所述依赖关系的情况下，并行执行所述多个任务模板分别对应的数据处理任务。5.根据权利要求1所述的方法，其特征在于，所述根据所述任务模板以及所述待处理数据，生成数据处理任务，包括：根据所述待处理数据，确定除所述公共处理逻辑以外的特征处理逻辑；根据所述特征处理逻辑所对应的待处理数据、以及所述公共处理逻辑对应的待处理数据、以及所述任务模板，生成所述数据处理任务。6.根据权利要求5所述的方法，其特征在于，所述根据所述特征处理逻辑所对应的待处理数据、以及所述公共处理逻辑对应的待处理数据、以及所述任务模板，生成所述数据处理任务，包括：根据所述特征处理逻辑、所述特征处理逻辑所对应的待处理数据、所述任务模板对应的所述公共处理逻辑、以及所述任务模板对应的待处理数据，确定所述任务模板和所述特征处理逻辑对应的第一脚本；根据所述第一脚本，生成所述数据处理任务。7.根据权利要求1所述的方法，其特征在于，还包括：获取多个历史任务的历史执行数据；根据所述历史执行数据，确定所述多个历史任务共有的公共处理逻辑；生成所述多个历史任务共有的公共处理逻辑对应的第二脚本，根据所述第二脚本生成所述任务模板。8.根据...

【专利技术属性】
技术研发人员：王志谦，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：