数据处理的方法和装置制造方法及图纸

本发明专利技术公开了数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据处理请求的状态特征；根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。该实施方式能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。作量和难度。作量和难度。

【技术实现步骤摘要】
数据处理的方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理的方法和装置。

技术介绍

[0002]在数据处理过程中，一个数据处理请求往往包含大量的待处理数据，为了提高数据处理效率、降低数据处理请求的处理耗时，一般会对数据处理请求进行分片，采用并发计算的方式使各个计算节点进行同步计算。
[0003]现有技术中，计算集群中每个计算节点的计算容量通常是人工配置的，且在系统服务的过程中不会动态改变，配置的效率、科学性和实时性较低。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种数据处理的方法和装置，能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。
[0005]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理的方法，包括：
[0006]获取数据处理请求的状态特征；
[0007]根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；
[0008]根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
[0009]可选地，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：
[0010]将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。
[0011]可选地，所述状态特征包括以下至少之一：所述数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。
[0012]可选地，所述计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU占用率、内存占用比例、系统负载数值。
[0013]可选地，所述数据处理请求为广告请求；所述待处理数据特征数为处理所述待处理请求时依据的预设指标特征的个数；所述预设指标特征包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。
[0014]可选地，所述奖励函数的奖励值与所述计算集群的系统负载和/或计算集群处理所述待处理请求的处理耗时负相关。
[0015]根据本专利技术实施例的第二方面，提供一种数据处理的装置，包括：
[0016]特征获取模块，获取数据处理请求的状态特征；
[0017]模型计算模块，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；
[0018]强化学习模块，根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。
[0019]可选地，所述模型计算模块根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：
[0020]将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。
[0021]可选地，所述状态特征包括以下至少之一：所述数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。
[0022]可选地，所述计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU占用率、内存占用比例、系统负载数值。
[0023]可选地，所述数据处理请求为广告请求；所述待处理数据特征数为处理所述待处理请求时依据的预设指标特征的个数；所述预设指标特征包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。
[0024]可选地，所述奖励函数的奖励值与所述计算集群的系统负载和/或计算集群处理所述待处理请求的处理耗时负相关。
[0025]根据本专利技术实施例的第三方面，提供一种数据处理的电子设备，包括：
[0026]一个或多个处理器；
[0027]存储装置，用于存储一个或多个程序，
[0028]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例第一方面提供的方法。
[0029]根据本专利技术实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例第一方面提供的方法。
[0030]上述专利技术中的一个实施例具有如下优点或有益效果：利用通过强化学习训练的数据分片模型对分片处理策略进行实时动态规划，能够提高分片处理的科学性和实时性，提升计算集群的系统吞吐量，降低运维人员配置的工作量和难度。通过使奖励函数的奖励值与计算集群的系统负载和计算集群处理待处理请求的处理耗时负相关，能够达到计算集群的系统负载和数据处理请求的处理耗时之间的平衡。
[0031]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0032]附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：
[0033]图1是本专利技术实施例的数据处理的方法的主要流程的示意图；
[0034]图2是本专利技术实施例的数据处理的方法的原理示意图；
[0035]图3是现有技术中数据处理的原理示意图；
[0036]图4是不同分片策略的示意图；
[0037]图5是本专利技术实施例的数据处理的装置的主要模块的示意图；
[0038]图6是本专利技术实施例可以应用于其中的示例性系统架构图；
[0039]图7是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0040]以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0041]根据本专利技术实施例的一个方面，提供了一种数据处理的方法。
[0042]图1是本专利技术实施例的数据处理的方法的主要流程的示意图，如图1所示，数据处理的方法，包括：步骤S101、步骤S102和步骤S103。
[0043]步骤S101、获取数据处理请求的状态特征。
[0044]状态特征是指接收到数据处理请求时的环境特征，包括数据处理请求对应的请求内容、用于处理该数据处理请求的计算集群的状态等。可选地，状态特征包括以下至少之一：数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。
[0045]数据处理请求对应的待处理数据是指在处理该数据处理请求时需要计算的数据资源。例如，数据处理请求为产品信息查询请求，接收到该请求时，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：获取数据处理请求的状态特征；根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，基于预设的奖励函数确定所述分片处理的奖励值；根据所述数据处理请求的状态特征和所述奖励值强化训练所述数据分片模型，以对下一个数据处理请求进行分片处理。2.如权利要求1所述的方法，其特征在于，根据所述状态特征，采用数据分片模型对所述数据处理请求进行分片处理，包括：将所述数据处理请求的状态特征输入所述数据分片模型，确定计算集群中每个计算节点的计算容量；根据每个计算节点的计算容量确定与所述数据处理请求对应的分片数量，以使计算集群根据所述分片数量并发处理所述数据处理请求。3.如权利要求1所述的方法，其特征在于，所述状态特征包括以下至少之一：所述数据处理请求对应的待处理数据数、待处理数据特征数、计算集群的系统负载、网络吞吐量、网络延迟。4.如权利要求3所述的方法，其特征在于，所述计算集群的系统负载包括以下至少之一：计算集群中各个计算节点的CPU占用率、内存占用比例、系统负载数值。5.如权利要求3所述的方法，其特征在于，所述数据处理请求为广告请求；所述待处理数据特征数为处理所述待处理请求时依据的预设指标特征的个数；所述预设指标特征包括以下至少之一：广告标题、广告展示尺寸、广告候选素材数。6.如...

【专利技术属性】
技术研发人员：张同彦，张泽华，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：