海量数据处理方法、装置、设备及介质制造方法及图纸

本申请提供了一种海量数据处理方法、装置、设备及介质，包括：客户端依据可视化任务配置界面，确定至少一个数据处理任务；客户端向服务端提交所述数据处理任务，使得所述服务端根据所述数据处理任务加载元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，接收所述服务端返回的针对数据处理任务的处理结果。基于元数据配置，启动不同数据处理链路处理各个数据处理任务，使得各个任务之间互不干扰，并通过链路调度器对各任务进行统一管控，可有效提升海量数据场景下的数据处理效率。数据处理效率。数据处理效率。

【技术实现步骤摘要】
海量数据处理方法、装置、设备及介质


[0001]本申请涉及数据处理
，尤其是涉及到一种海量数据处理方法、装置、设备及介质。

技术介绍

[0002]对于大型互联网公司，由于系统中涉及到的领域众多，电商场景下商户对于订单、商品、用户的搜索需求日益复杂，无论是根据用户的行为进行搜索还是根据用户的资产进行筛选，都会涉及到对用户属性、行为、资产等相关数据的同步。现有的处理方式大多是将收集的数据按照所要求的格式SOAP封装成XML格式的数据包并上传至服务器，收集客户端定时调用下载进程下载XML格式的数据包，下载完成后将新下载的数据包按照不同应用的需求进行分类队列管理，然后调用转档组件将相应队列中的数据包还原到对应的应用中。
[0003]这类方式存在以下不足：一方面，随着业务的发展，需要处理同步的数据越来越多，直接针对每个字段进行处理需要大量的开发工作量，无法通过界面和配置快速支持现有场景，同时当下游性能出现瓶颈有调整处理速度的诉求时，也无法通过快速修改配置参数，实时的动态生效；另一方面，当不同的业务方数据处理方式接近时，因为业务领域不同，业务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量数据处理方法，其特征在于，包括：客户端依据可视化任务配置界面，确定至少一个数据处理任务；客户端向服务端提交所述数据处理任务，使得所述服务端根据所述数据处理任务加载元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，接收所述服务端返回的针对数据处理任务的处理结果。2.根据权利要求1所述的海量数据处理方法，其特征在于，还包括：客户端向服务端提交数据处理任务修改请求，使得所述服务端接收到数据处理任务修改请求后，通过重置操作对原有数据处理链路进行销毁，并启动新的数据处理链路，以处理修改后的数据处理任务。3.一种海量数据处理方法，其特征在于，包括：服务端接收客户端依据可视化任务配置界面确定的至少一个数据处理任务；根据所述数据处理任务加载元数据配置，并根据元数据配置启动独立的数据处理链路处理各个数据处理任务，以及，采用链路调度器对各个独立的数据处理链路进行协调管控，以保证对不同数据处理任务对应的数据处理链路分别进行限速流控；以及，将数据处理任务的处理结果提供给客户端。4.根据权利要求3所述的海量数据处理方法，其特征在于，所述根据所述数据处理任务加载元数据配置，包括：确定数据处理任务的核心处理逻辑元数据结构、处理速度、最大重试次数、告警通知中的一项或多项元数据配置。5.根据权利要求所3述的海量数据处理方法，其特征在于，数据处理链路对数据处理任务的处理过程包括：根据所述元数据配置进行数据组件初始化，从而监听待处理数据并确定数据处理逻辑；根据所述数据处理逻辑，对监听到的待处理数据进行数据聚合加工，并将聚合加工后的数据进行输出。6.根据权利要求5所述的海量数据处理方法，其特征在于，所述根据所述元数据配置进行数据组件初始化，包括：初始化数据入口组件、数据管道组件和数据出口组件，其中，通过数据入口组件监听到符合所述元数据配置的数据并加入到处理队列，通过数据管道组件构建数据处理逻辑并对处理队中的数据进行聚合加工处理，通过数据出口组件输出聚合加工后的数据。7.根据权利要求6所述的海量数据处理方法，其特征在于，所述数据管道组件包括多个拦截器组成的拦截器链；所述通过数据管道组件构建数据处理逻辑并对处理队中的数据进行聚合加工处理，包括：加载所述拦截器链，当监听到数据处理事件时，将数据处理事件代入所述拦截器链，当数据处理事件在拦截器链的每个...

【专利技术属性】
技术研发人员：阮亮，
申请(专利权)人：康键信息技术深圳有限公司，
类型：发明
国别省市：