任务数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种任务数据处理方法、装置、计算机设备和存储介质。所述方法包括：基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；确定预先配置的统计任务的任务等级；根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存，或存储至数据库进行批量处理，将批量处理结果存储至数据库；当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。采用本方法能够提高任务数据处理及时性。

Task data processing methods, devices, computer equipment and storage media

【技术实现步骤摘要】
任务数据处理方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种任务数据处理方法、装置、计算机设备和存储介质。
技术介绍
互联网金融等行业的数据规模日趋庞大，业务数据的统计分析成为了各项业务的核心需求之一。目前，大多业务系统采用“跑批”的方式对业务数据进行处理。跑批又称作“批量处理”，是指对一定时段内产生的零散业务数据进行整合统计，生成报表。但随着业务数据的数据量日趋增加，跑批需要的时间越来越长，难以满足实时性的统计分析需求。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高任务数据处理及时性的任务数据处理方法、装置、计算机设备和存储介质。一种任务数据处理方法，所述方法包括：基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；确定预先配置的所述统计任务对应的任务等级；根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存，或存储至数据库进行批量处理，将批量处理的结果存储至数据库；当接收到第二终端发送的数据查询请求时，在内存读取本文档来自技高网...

【技术保护点】
1.一种任务数据处理方法，所述方法包括：/n基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；/n确定预先配置的所述统计任务的任务等级；/n根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存；或存储至数据库进行批量处理，将批量处理的结果存储至数据库；/n当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。/n

【技术特征摘要】
1.一种任务数据处理方法，所述方法包括：
基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；
确定预先配置的所述统计任务的任务等级；
根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存；或存储至数据库进行批量处理，将批量处理的结果存储至数据库；
当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。


2.根据权利要求1所述的方法，其特征在于，所述基于预设的统计任务对第一终端发送的业务请求进行拦截之前，还包括：
获取第二终端预配置的统计需求信息；
识别所述统计需求信息对应的多个业务请求；
在所述业务请求对应的业务脚本中插入请求拦截脚本；
根据所述统计需求添加所述业务请求对应的任务标签及任务等级。


3.根据权利要求1所述的方法，其特征在于，所述将所述任务数据存储至内存进行实时处理包括：
将所述任务数据存储至内存；
根据任务等级确定所述内存中多个统计任务的处理次序；
按照所述处理次序将多个统计任务分发至集群内相应的服务节点，使所述服务节点对接收的统计任务的任务数据实时处理，将实时处理结果存储至内存。


4.根据权利要求3所述的方法，其特征在于，所述按照所述处理次序将多个统计任务分发至集群内相应的服务节点，包括：
计算所述统计任务的任务量，根据任务量确定统计任务的资源分配参数；
根据所述资源分配参数，将所述统计任务分配至集群内指定服务节点执行；
监测集群中每个服务节点在监控时段的性能指标；
根据所述性能指标对所述资源分配参数进行调整，并将统计任务调度至与调整后的资源分配参数相适应的物理资源执行。


5.根据权利要求4所述的方法，其特征在于，所述业务请求包含业务标识；所述根据所述性能指标对所述资源分配参数进行调整包括：
获取业务标识对应的初始的配置文...

【专利技术属性】
技术研发人员：杨越，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44