一种面向深度学习模型推理批处理优化方法与系统技术方案

本发明专利技术公开了一种面向深度学习模型推理批处理优化方法与系统。本系统包括负载容器批处理分析工具模块和批处理合并工具模块、算法服务调用模块；负载容器批处理分析工具模块，用于将推理服务请求中的推理输入参数保存到预处理数据集中，生成训练数据对各容器中的模型进行性能测试，然后根据测试的结果指标确定最佳参数；批处理合并工具模块根据最佳参数预测并获取下一时间窗口的推理服务请求生成批处理任务并发送到对应容器中执行。本发明专利技术对无服务器架构下的深度学习推理服务性能进行优化，有效的利用多核并行计算能力，能够高效的进行高并发下的推理服务请求，使得在资源利用率，任务执行延时、吞吐量方面得到了大幅度优化。化。化。

【技术实现步骤摘要】
一种面向深度学习模型推理批处理优化方法与系统


[0001]本专利技术涉及一种面向深度学习模型推理批处理优化方法与系统，属于计算机人工智能、云计算领域。

技术介绍

[0002]随着5G、物联网、大数据、云计算等新兴技术的快速发展，人工智能技术应运而生，并且正成为推动人类进入智能时代的决定性力量。全球产业界充分认识到人工智能技术引领新一轮产业变革的重大意义，纷纷转型发展，布局人工智能创新生态。伴随着人工智能产业的蓬勃发展，技术的进一步成熟以及政府和产业界投入的日益增长，人工智能应用的云端化将不断加速，对社会影响日益凸显。作为新一轮科技革命和产业变革的核心力量，正在推动传统产业升级换代，驱动“无人经济”快速发展，在智能交通、智能家居、智能医疗等民生领域产生积极正面影响。
[0003]机器学习(Machine Learning)是实现人工智能的核心方法。通过计算机分析处理数据，利用某种算法如分类、回归、聚类寻求内在规律，然后对事件作出预测或决策的过程。而深度学习(Deep Learning)是实现机器学习的一种技术手段，在特征提取方面表现出优异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向深度学习模型推理批处理优化方法，其步骤包括：1)通过请求拦截器获取已上线推理服务请求，将推理服务请求中的推理输入参数保存到预处理数据集中；2)根据推理服务请求所占用资源的类型，将推理服务请求划分为CPU类型任务和GPU类型的任务；针对CPU类型任务设置多个容器，不同容器具有不同的内存大小和CPU核数；针对GPU类型任务，生成若干设定内存大小和GPU核数的GPU类型任务容器；3)针对同一模型的推理服务，如果该推理服务为CPU类型任务，则根据所述预处理数据集中的推理输入参数针对该模型生成不同批处理大小的训练数据集并输入到各容器中对该模型进行性能测试，然后根据测试的结果指标生成负载性能表；然后将负载性能表中批处理合并的执行时间Batchtime和不合并执行时间NoBatchtime进行比值，通过比值与设定阈值δ进行比较结果对该负载性能表中的记录进行筛选；然后基于筛选出的记录中选取批处理大小出现频率最高的若干记录，从中选取内存最小的记录；如果该推理服务为GPU类型任务，则根据所述预处理数据集中的推理输入参数生成不同批处理大小的训练数据集并将其输入GPU类型任务容器中对该模型进行性能测试，选取满足阈值指标条件下批处理大小最大的记录；4)根据步骤3)所选记录确定最佳参数，即所选记录中的批处理大小Y
batch
和批处理执行时间T
batch
；5)将实时收到的推理服务请求缓存到任务缓存队列中，然后工作量聚合器根据批处理执行时间T
batch
确定一时间区间，统计任务缓存队列中每一时间区间内的推理服务请求量，得到一时间序列；6)从该时间序列中截取最近一段时间内的推理服务请求进行预测，得到下一时间区间的服务请求数量并将其输入自适应窗口算法模型，自适应窗口算法模型根据输入信息对当前窗口左右边界进行调整，然后从该任务缓存队列取出窗口内的推理服务请求生成批处理任务并根据推理服务请求所占用资源的类型发送到对应容器中执行。2.如权利要求1所述的方法，其特征在于，预测得到下一时间区间的服务请求数量、最佳批处理大小和最佳批处理执行时间的方法为：设所述时间序列为{X1,X2,X3,
…
Xt}，Xt是第t个时间区间的推理服务请求，设α为平滑系数；根据递推关系计算二次指数平滑值，其中S
i(2)
是Xi的二次指数平滑值，S
i(1)
是Xi的一次指数平滑值；然后预测下一时间区间的服务请求数量Y
t+1
＝a
t
+b
t
，3.如权利要求2所述的方法，其特征在于，所述自适应窗口算法模型根据输入信息对当前窗口左右边界进行调整的方法为：首先确定窗口判别函数判断窗口是扩大还是缩小；然后根据公式T
length+1
＝T
length
+(P(t)
×
σ(Z)
×
T
batch
)确定调整后的窗口；其中，ΔF＝|Y
t+1
‑
y
t
|；T
length+1
是调整后的窗口长度，y
t
表示提t个时间区间的实时请求量大小。
4.如权利要求1或2或3所述的方法，其特征在于，对当前窗口左右边界进行调整的策略为：W
left+1
＝W
left
+T
finished
，W
right+1
＝W
left+1
+T
length+1
；其中，W
left+1
、W
right+1
是调整后的左边界和右边界，T
finished
为窗口内已完成的批处理请求时间长度。5.如权利要求1或2或3所述的方法，其特征在于，如果记录对应的比值则保留该记录。6.一种面向深度学习模型推理批处理优化系统，其特征在于，包括负载容器批处理分析工具模块和批...

【专利技术属性】
技术研发人员：刘杰，张衡，王帅，吴怀林，王宗成，叶丹，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：