一种数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供一种数据处理方法、装置、电子设备和存储介质，所述方法用于大数据处理系统，所述大数据处理系统包括：数据处理算子和适配器，所述适配器用于根据不同计算平台的接口标准对数据处理算子进行相应的封装适配，所述方法包括：确定用于生成数据处理任务的数据处理算子；利用适配器对所述数据处理算子进行封装适配，以使封装适配后的所述数据处理算子符合相应计算平台的接口标准；根据封装适配后的所述数据处理算子生成数据处理任务；将所述数据处理任务发送到所述计算平台，以使所述计算平台进行处理。基于上述实施方式，能够将数据处理算子发送到不同的计算平台进行处理。进行处理。进行处理。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和存储介质


[0001]本申请涉及大数据
，具体而言，涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]随着互联网公司业务的快速发展，数据也呈井喷式增长，如何为业务部门提供易用、稳定、高效的实时数据服务显得愈加重要，因此，基于大数据实时计算的业务作业开始崭露头角，并且越来越多的被投入到线上使用，如实时推荐、双十一实时大屏统计、实时反欺诈等。
[0003]当前大数据处理虽然有很多种实现，然而现有技术中的大数据处理通常是绑定在某个特定的计算平台上的，从而导致使用不便，且不宜于扩展。

技术实现思路

[0004]本申请实施例的目的在于提供一种数据处理方法、装置、电子设备和存储介质，能够实现将大数据在不同的平台上进行处理。
[0005]第一方面，本申请实施例提供了一种数据处理方法，所述方法用于大数据处理系统，所述大数据处理系统包括：数据处理算子和适配器，所述适配器用于根据不同计算平台的接口标准对数据处理算子进行相应的封装适配，所述方法包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法用于大数据处理系统，所述大数据处理系统包括：数据处理算子和适配器，所述适配器用于根据不同计算平台的接口标准对数据处理算子进行相应的封装适配，所述方法包括：确定用于生成数据处理任务的数据处理算子；利用适配器对所述数据处理算子进行封装适配，以使封装适配后的所述数据处理算子符合相应计算平台的接口标准；根据封装适配后的所述数据处理算子生成数据处理任务；将所述数据处理任务发送到所述计算平台，以使所述计算平台根据所述数据处理任务对数据进行处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述大数据处理系统还包括：插件框架和插件框架接口，所述插件框架接口具有接口标准；所述利用适配器对所述数据处理算子进行封装适配，包括：根据所述插件框架接口的接口标准对所述数据处理算子进行改造，得到数据处理插件；驱动所述插件框架通过所述插件框架接口调用所述数据处理插件，通过所述适配器对所述数据处理插件进行封装适配。3.根据权利要求2所述的数据处理方法，其特征在于，所述插件框架的接口标准中不包括以下约束条件：对所述数据处理算子的输入数据格式和输出数据格式的约束条件。4.根据权利要求1或2所述的数据处理方法，其特征在于，在对所述数据处理算子进行封装适配后，还包括：驱动插件框架获取配置参数，所述配置参数用于对所述数据处理算子进行初始化。5.根据权利要求4所述的数据处理方法，其特征在于，所述根据封装适配后的所述数据处理算子生成数据处理任务，包括：以所述数据处理算子为节点生成有向无环图；根据所述有向无环图生成所述数据处理任务。6.根据权利要求5所述的数据处理方法，其特征在于，所述大数据处理系统还包括：数据处理引擎，所述数据处理引擎通过所述数据处理算子的接口调用所述数据处理算子；所述以所述数据处理算子为节点生成有向无环图，包括：确定用于生成数据处理任务的数据处理算子之间的连接顺序；驱动所述数据处理引擎，以每个所述...

【专利技术属性】
技术研发人员：叶盛，
申请(专利权)人：奇安信网神信息技术北京股份有限公司，
类型：发明
国别省市：