数据处理方法及其装置、设备、介质制造方法及图纸

技术编号:46363500 阅读:4 留言:0更新日期:2025-09-15 12:41
本申请涉及电商技术领域中一种数据处理方法及其装置、设备、介质,所述方法包括:获取多数据引擎的分流服务事件相对应的引擎分配指标和请求及其携带的数据处理作业,当引擎分配指标命中分配值域时,获取执行中作业总量,生成在分配值域内的随机数;当执行中作业总量不超过作业总量阈值时,判断随机数是否超过引擎分配指标;当执行中作业总量超过作业总量阈值时,基于该执行中作业总量确定的缩放权重对引擎分配指标进行缩放,判断随机数是否超过缩放后的引擎分配指标;根据判断结果相对应确定第一数据引擎或第二数据引擎为目标数据引擎后,以在其中执行作业所得结果应答请求。本申请实现在多数据引擎环境下的协调作业处理与优化资源利用。

【技术实现步骤摘要】

本申请涉及电商,尤其涉及一种数据处理方法及其相应的装置、计算机设备、计算机可读存储介质。


技术介绍

1、在当今数字化时代,数据处理已成为众多领域不可或缺的核心环节。然而,传统的数据处理方式大多依赖单一数据引擎来完成任务,这种模式在实际应用中暴露出诸多亟待解决的问题。

2、首先,单一数据引擎架构存在明显的单点故障风险。一旦该引擎出现硬件故障、软件错误或网络问题,整个数据处理业务将被迫中断,无法继续为用户提供服务。这种单点故障的脆弱性使得数据处理服务的可用性和可靠性大打折扣,尤其在对数据处理连续性要求极高的场景下,如金融交易系统、实时监控分析系统等,单一引擎的故障可能导致严重的业务损失和不可挽回的后果。

3、其次,单一数据引擎在资源利用方面存在显著的局限性。由于缺乏灵活的资源分配机制,单一引擎往往无法根据实际业务负载动态调整其运算资源的使用。在业务高峰期,引擎可能因资源不足而无法高效处理大量并发请求,导致处理速度下降、响应延迟增加;而在业务低谷期,引擎的大量运算资源则处于闲置状态,造成资源浪费。这种资源分配的不合理性不仅影响了数据处理的本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的数据处理方法,其特征在于,还包括如下步骤:

3.根据权利要求1所述的数据处理方法,其特征在于,当所述执行中作业总量不超过预设的作业总量阈值时,根据所述随机数是否小于所述引擎分配指标,相应将第一数据引擎或第二数据引擎确定为目标数据引擎之前,包括如下步骤:

4.根据权利要求1所述的数据处理方法,其特征在于,当所述执行中作业总量超过所述作业总量阈值时,基于该执行中作业总量确定出缩放权重,包括如下步骤:

5.根据权利要求1所述的数据处理方法,其特征在于,将所述数据处理作业分配...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的数据处理方法,其特征在于,还包括如下步骤:

3.根据权利要求1所述的数据处理方法,其特征在于,当所述执行中作业总量不超过预设的作业总量阈值时,根据所述随机数是否小于所述引擎分配指标,相应将第一数据引擎或第二数据引擎确定为目标数据引擎之前,包括如下步骤:

4.根据权利要求1所述的数据处理方法,其特征在于,当所述执行中作业总量超过所述作业总量阈值时,基于该执行中作业总量确定出缩放权重,包括如下步骤:

5.根据权利要求1所述的数据处理方法,其特征在于,将所述数据处理作业分配在所述目标数据引擎中执行,获取执行产出的处理结果,以应答所述作业提交请求,包括如下步骤:

6.根据权利要求1所述的数据处理方法,其特征在于,当所述执行中作业总量不超过预设的作业总量阈值时,根据所述随机数是否小...

【专利技术属性】
技术研发人员:刘科
申请(专利权)人:广州海外扛把子网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1