数据处理方法及装置制造方法及图纸

本说明书实施例提供一种数据处理方法及装置，在数据处理方法中，获取待处理的目标数组，其中包括第一数目个元素。构建基于第一数目所确定大小的、多个维度的策略空间。该多个维度至少包括，与用于处理目标数组的并行计算单元数相对应的第一维度。在策略空间中，搜索处理目标数组所需时间最短的目标点。将目标点的第一维度的取值作为目标数目，并根据目标数目，对目标数组进行切分。通过调用目标数目个并行计算单元，对切分后的目标数组进行并行处理。

【技术实现步骤摘要】
数据处理方法及装置
本说明书一个或多个实施例涉及计算机
，尤其涉及一种数据处理方法及装置。
技术介绍
目前机器学习模型已经广泛应用，随之而来的是对机器学习模型处理速度的要求。传统技术中，通常只能通过手动的方式，来优化机器学习模型的处理速度。这会极大地耗费时间成本，且优化效率较低。
技术实现思路
本说明书一个或多个实施例描述了一种数据处理方法及装置，可以自动对数据的处理过程进行优化，进而可以极大地提升数据处理速度。第一方面，提供了一种数据处理方法，包括：获取待处理的目标数组，其中包括第一数目个元素；构建基于所述第一数目所确定大小的、多个维度的策略空间；所述多个维度至少包括，与用于处理所述目标数组的并行计算单元数相对应的第一维度；在所述策略空间中，搜索处理所述目标数组所需时间最短的目标点；将所述目标点的第一维度的取值作为目标数目，并根据所述目标数目，对所述目标数组进行切分；通过调用所述目标数目个并行计算单元，对切分后的所述目标数组进行并行处理。第二方面，提供了一种数据本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n获取待处理的目标数组，其中包括第一数目个元素；/n构建基于所述第一数目所确定大小的、多个维度的策略空间；所述多个维度至少包括，与用于处理所述目标数组的并行计算单元数相对应的第一维度；所述多个维度中各维度的取值均不超过所述第一数目；/n在所述策略空间中，搜索处理所述目标数组所需时间最短的目标点；/n将所述目标点的第一维度的取值作为目标数目，并根据所述目标数目，对所述目标数组进行切分；/n通过调用所述目标数目个并行计算单元，对切分后的所述目标数组进行并行处理。/n

【技术特征摘要】
1.一种数据处理方法，包括：
获取待处理的目标数组，其中包括第一数目个元素；
构建基于所述第一数目所确定大小的、多个维度的策略空间；所述多个维度至少包括，与用于处理所述目标数组的并行计算单元数相对应的第一维度；所述多个维度中各维度的取值均不超过所述第一数目；
在所述策略空间中，搜索处理所述目标数组所需时间最短的目标点；
将所述目标点的第一维度的取值作为目标数目，并根据所述目标数目，对所述目标数组进行切分；
通过调用所述目标数目个并行计算单元，对切分后的所述目标数组进行并行处理。


2.根据权利要求1所述的方法，所述在所述策略空间中，搜索处理所述目标数组所需时间最短的目标点，包括：
在所述策略空间中，采用最优解求解算法，搜索处理所述目标数组所需时间最短的目标点。


3.根据权利要求2所述的方法，所述在所述策略空间中，采用最优解求解算法，搜索处理所述目标数组所需时间最短的目标点，包括：
在所述策略空间中，选取各维度的取值的乘积不超过所述第一数目的N个策略点；
以所述N个策略点作为N个初代染色体执行多次染色体迭代，每次染色体迭代包括，基于N个当代染色体各自的适应度，对N个当代染色体进行选择性组合，以生成N个下代染色体；其中，所述适应度与处理时间负相关，所述处理时间为，按照对应染色体在所述策略空间中映射的策略点所代表的策略处理所述目标数组所需的时间；
将所述多次染色体迭代后得到的N个下代染色体中，对应于最大适应度的染色体在所述策略空间中映射的策略点作为所述目标点。


4.根据权利要求3所述的方法，所述基于N个当代染色体各自的适应度，对N个当代染色体进行选择性组合，以生成N个下代染色体，包括：
将N个当代染色体按照适应度从高到低排序，将排序靠前的M个当代染色体作为M个下代染色体；
针对剩余的N-M个当代染色体进行N-M次染色体组合，以生成N-M个下代染色体；其中，每次染色体组合包括，基于N-M个当代染色体各自的适应度，采用随机算法，从中选取两个当代染色体进行组合并修正，得到一个初始的下代染色体；计算该初始的下代染色体与Q个候选染色体之间的相似度，并将对应于最大相似度的候选染色体作为一个最终的下代染色体；所述Q个候选染色体与所述策略空间中各维度的取值的乘积不超过所述第一数目的Q个策略点相对应。


5.根据权利要求3所述的方法，所述每次染色体迭代还包括：
获取所述N个下代染色体各自的处理时间；
将所述N个下代染色体各自的处理时间的倒数，作为各自的更新的适应度；
将所述N个下代染色体作为更新的N个当代染色体。


6.根据权利要求2所述的方法，所述最优解求解算法还包括：蚁群算法、模拟退火算法、爬山算法或者粒子群算法。


7.根据权利要求1所述的方法，所述多个维度还包括与单次处理元素数相对应的第二维度；所述方法还包括：
根据所述目标点的第二维度的取值，确定单次处理元素数；所述单次处理元素数用于指示所述目标数目个并行计算单元中的每个并行计算单元，在对切分后的所述目标数组进行处理时的处理单位。


8.根据权利要求1所述的方法，所述通过调用所述目标数目个并行计算单元，对切分后的所述目标数组进行并行处理，包括：
通过调用所述目标数目个并行计算单元，对切分后的所述目标数组并行进行归约运算。


9.一种数据处理装置，包括：
获取单元，用于获取待处理的目标数组...

【专利技术属性】
技术研发人员：金跃，张尧，赵瑞，陈勇，刘永超，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33