数据处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:21361237 阅读:36 留言:0更新日期:2019-06-15 09:18
本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括:获取携带有数据标识的待处理数据;根据所述数据标识查询与所述待处理数据对应的数据处理任务;在数据处理平台中部署的数据处理应用中,确定与所述数据处理任务对应的数据处理应用;根据所述数据处理应用对所述待处理数据进行处理,得到所述数据处理任务对应的数据处理结果;将所述数据处理结果对应于所述数据处理任务存储。本方法根据数据标识确定与待处理数据对应的数据处理任务,通过数据处理平台中部署的且与数据处理任务对应的数据处理应用,对待处理数据进行处理,提高了数据处理效率。

Data Processing Method, Device, Computer Equipment and Storage Media

The application relates to a data processing method, device, computer equipment and storage medium. The method includes: acquiring the data to be processed with the data identification; querying the data processing tasks corresponding to the data to be processed according to the data identification; determining the data processing applications corresponding to the data processing tasks in the data processing application deployed in the data processing platform; and processing the data to be processed according to the data processing application to obtain the data to be processed. The data processing result corresponding to the data processing task is stored according to the data processing task. This method determines the data processing tasks corresponding to the data to be processed according to the data identification. Through the data processing applications deployed in the data processing platform and corresponding to the data processing tasks, the data processing efficiency is improved.

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
本申请涉及计算机
,特别是涉及一种数据处理方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展,出现了大数据处理技术。同时,随着物联网技术的发展,出现了海量的待处理数据。通常,用户使用以Hadoop(海杜普)为代表的技术来处理和存储大数据。然而,传统的以Hadoop为代表的大数据处理技术,需要分别针对不同场景搭建不同的数据处理平台,数据处理平台所需的各种数据处理应用需要分别进行安装和维护;而且以Hadoop为代表的大数据处理技术通常是开源的,在使用时需要用户输入命令来进行操作,数据处理效率较低。
技术实现思路
基于此,有必要针对上述技术问题,提供一种能够提高数据处理效率的数据处理方法、装置、计算机设备和存储介质。一种数据处理方法,所述方法包括:获取携带有数据标识的待处理数据;根据所述数据标识查询与所述待处理数据对应的数据处理任务;在数据处理平台中部署的数据处理应用中,确定与所述数据处理任务对应的数据处理应用;根据所述数据处理应用对所述待处理数据进行处理,得到所述数据处理任务对应的数据处理结果;将所述数据处理结果对应于所述数据处本文档来自技高网...

【技术保护点】
1.一种数据处理方法,所述方法包括:获取携带有数据标识的待处理数据;根据所述数据标识查询与所述待处理数据对应的数据处理任务;在数据处理平台中部署的数据处理应用中,确定与所述数据处理任务对应的数据处理应用;根据所述数据处理应用对所述待处理数据进行处理,得到所述数据处理任务对应的数据处理结果;将所述数据处理结果对应于所述数据处理任务存储。

【技术特征摘要】
1.一种数据处理方法,所述方法包括:获取携带有数据标识的待处理数据;根据所述数据标识查询与所述待处理数据对应的数据处理任务;在数据处理平台中部署的数据处理应用中,确定与所述数据处理任务对应的数据处理应用;根据所述数据处理应用对所述待处理数据进行处理,得到所述数据处理任务对应的数据处理结果;将所述数据处理结果对应于所述数据处理任务存储。2.根据权利要求1所述的方法,其特征在于,所述获取携带有数据标识的待处理数据之前,还包括:获取终端发送的任务创建请求;根据所述任务创建请求指示所述终端展示任务创建页面;获取在所述任务创建页面中添加的任务配置信息;根据获取的任务配置信息创建数据处理任务。3.根据权利要求1所述的方法,其特征在于,所述获取携带有数据标识的待处理数据包括:监听触发的数据获取指令;当监听到触发的数据获取指令时,获取所述数据获取指令中的数据库地址和数据标识;从所述数据库地址对应的数据库中,提取与所述数据标识对应的待处理数据。4.根据权利要求1所述的方法,其特征在于,所述根据所述数据处理应用对所述待处理数据进行处理,得到所述数据处理任务对应的数据处理结果包括:根据所述数据处理任务确定所述待处理数据的数据类型;当确定所述待处理数据的数据类型为实时数据类型时,将所述待处理数据加载到数据仓库和消息队列中的至少一种,根据所述数据处理应用对所述数据仓库或消息队列中的待处理数据进行处理,得到所述数据处理任务对应的数据处理结果;当确定所述待处理数据的数据类型为非实时数据类型时,将所述待处理数据加载到数据仓库中,根据所述数据处理应用对所述数据仓库中的待处理数据进行处理,得到所述数据处理任务对应的数据处理结果。5.根据权利要求1所述的方法,其特征在于,所述将所述数据处理结果对应于所述数据处理任务...

【专利技术属性】
技术研发人员:陈永锋肖钢赵杏邓力胡华林吕秋瑶谢海涛王鹏向辉杨晟郑嘉丽
申请(专利权)人:金蝶软件中国有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1