数据处理控制方法、装置、电子设备及可读存储介质制造方法及图纸

技术编号:35315066 阅读:29 留言:0更新日期:2022-10-22 13:07
本申请公开了一种数据处理控制方法、装置、电子设备及可读存储介质,应用于数据处理技术领域,数据处理控制方法包括:获取待处理数据的数据流量、数据处理设备的等待处理队列中的队列数据流量以及数据处理设备的实时数据处理量;依据数据流量和队列数据流量,确定处理模式,其中,处理模式至少包括高流量模式、低流量模式以及中流量模式中的一种;依据实时数据处理量,选取数据处理设备控制模式以及调整数据处理设备的控制参数,其中,控制模式至少包括扩容控制模式、缩容控制模式和定容控制模式中的一种;控制数据处理设备以控制模式和控制参数对待处理数据进行数据处理。本申请解决了无法兼顾数据处理的低处理成本和高处理效率的技术问题。效率的技术问题。效率的技术问题。

【技术实现步骤摘要】
数据处理控制方法、装置、电子设备及可读存储介质


[0001]本申请涉及数据处理
,尤其涉及一种数据处理控制方法、装置、电子设备及可读存储介质。

技术介绍

[0002]目前,通过配备固定且较小的处理空间的数据处理设备对待处理数据进行处理的方法,当待处理数据为日志数据时,由于日志数据在不同的时间段(节假日、特殊活动或者休息时间段)流量波动较大,容易出现在某一时间段因为大量突增的日志数据导致日志数据大量堆积在数据处理等待队列中,从而导致数据处理设备的处理效率低的情况,或者,在某一时间段日志数据较少,但数据处理设备的处理空间相对日志数据较多,从而导致数据处理设备的资源浪费。且不同的日志数据的数据包大小可能差距较大,从而使得数据处理设备处理每个日志数据的时间也参差不齐,所以即便在同一时间段,也可能出现日志数据的突增或骤降,从而导致无法兼顾数据处理的低处理成本和高处理效率。

技术实现思路

[0003]本申请的主要目的在于提供一种数据处理控制方法、装置、电子设备及可读存储介质,旨在解决现有技术中无法兼顾数据处理的低处理成本和高处理效率的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理控制方法,其特征在于,所述数据处理控制方法包括:获取待处理数据的数据流量、数据处理设备的等待处理队列中的队列数据流量以及所述数据处理设备的实时数据处理量;依据所述数据流量和所述队列数据流量,确定所述数据处理设备的处理模式,其中,所述处理模式至少包括高流量模式、低流量模式以及中流量模式中的一种;依据所述实时数据处理量,选取所述数据处理设备在所述处理模式下的控制模式以及调整所述数据处理设备的控制参数,其中,所述控制模式至少包括扩容控制模式、缩容控制模式和定容控制模式中的一种;控制所述数据处理设备以所述控制模式和所述控制参数对所述待处理数据进行数据处理。2.如权利要求1所述数据处理控制方法,其特征在于,所述依据所述数据流量,确定数据处理设备的处理模式,其中,所述处理模式至少包括高流量模式、低流量模式以及中流量模式中的一种的步骤包括:若所述数据流量属于预设第一流量范围,且所述队列数据流量属于预设第二流量范围,则确定所述数据处理设备的处理模式为所述中流量模式,其中,所述预设第一流量范围包括由预设第一流量阈值和预设第三流量阈值为边界的范围,所述预设第二流量范围包括由预设第二流量阈值和预设第四流量阈值作为边界的范围;若所述数据流量大于所述预设第一流量阈值,和/或,所述队列数据流量大于所述预设第二流量阈值,则确定所述数据处理设备的处理模式为所述高流量模式;若所述数据流量小于所述预设第三流量阈值,且所述队列数据流量小于所述预设第四流量阈值,则确定所述数据处理设备的处理模式为所述低流量模式。3.如权利要求2所述数据处理控制方法,其特征在于,所述依据所述实时数据处理量,选取所述数据处理设备在所述处理模式下的控制模式以及调整所述数据处理设备的控制参数的步骤包括:若所述处理模式为所述高流量模式,则选取所述扩容控制模式作为所述数据处理设备的控制模式,依据所述实时数据处理量,调整所述数据处理设备的控制参数;和/或,若所述处理模式为所述中流量模式,则选取所述定容控制模式作为所述数据处理设备的控制模式,保持所述数据处理设备的控制参数不变;和/或,若所述处理模式为所述低流量模式,则选取所述缩容控制模式作为所述数据处理设备的控制模式,依据所述队列数据流量和所述数据流量,调整所述数据处理设备的控制参数。4.如权利要求3所述数据处理控制方法,其特征在于,所述控制参数包括所述数据处理设备的处理空间,所述依据所述实时数据处理量,调整所述数据处理设备的控制参数的步骤包括:依据所述实时数据处理量,查询预设处理库,得到所述数据处理设备的处理空间范围,其中,所述预设处理库包括数据处理设备的处理能力和处理空间范围的对应关系;依据所述数据流量,在所述处理空间范围中选取目标处理空间;将所述处理空间调整为所述目标处理空间。5.如权利要求3所述数据处理控制方法,其特征在于,所述控制参数包括所述数据处理设备的处理空间,所述依据所述队列数据流量和所述数据流量,调整所述数据...

【专利技术属性】
技术研发人员:段阳阳
申请(专利权)人:深圳市明源云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1