一种混合架构的深度学习系统方法及装置制造方法及图纸

本发明专利技术公开了一种混合架构的深度学习系统方法及装置，其特征是包括如下步骤：训练数据集更新时，训练模块重新进行深度学习网络模型训练并存储权值和偏置参数；服务器端监测进程监测到参数文件变化，将其封装到预先设定的数据结构中并通知推理模块；推理模块中断推理服务，从服务器侧读取权值和偏置文件内容并更新网络模型；服务器端监测进程同时处理需要推理的输入文件并通知推理模块；该系统装置包括服务器模块、训练模块、推理模块、总线接口；本发明专利技术的训练和推理混合CPU+GPU+CAPI异构深度学习系统，能充分利用资源，获得更高的能效比，实现CAPI直接访问服务器内存，实时在线迭代更新推理模型权值等参数。

【技术实现步骤摘要】
一种混合架构的深度学习系统方法及装置
本专利技术涉及电路设计及机器学习的
，特别是涉及一种混合架构的深度学习系统方法及装置。
技术介绍
21世纪信息技术产业的飞速发展，带给人们巨大的利益和便利。深度学习应用分为训练和推理两个部分，以ImageNet评测为例，AlexNet模型训练过程需要800万张共1000个类别的图片，经过如AlexNet模型提取特征并计算损失，然后通过反向传播如SGD来更新权值参数，从而不断的收敛模型，最终得到理想的网络模型。推理的过程就是输入经过网络模型进行一次前向运算，从而得到最终分类（一般选择Top5）准确率的过程。深度学习应用的训练过程需要用到大量的计算资源和训练数据，目前训练平台普遍采用的是NVIDIA的高性能的GPU如TeslaP100、TitanX、GTX1080等加速训练过程。当得到可用的模型后，部署到另外一个平台用于推理并对外提供服务，由于推理过程只做一遍前向运算，故而对计算的要求会低一些，更多的要求是体现在时延上，目前用于推理的平台有基于CPU的云服务平台的，也有基于低功耗GPU服务器集群，还有采用FPGA或专用ASIC集群等等。从低延时本文档来自技高网...

【技术保护点】
一种混合架构的深度学习系统方法，用于实现对深度学习训练和推理，其特征在于：包括如下步骤：S1，训练数据集有更新变化，训练模块重新进行深度学习网络模型训练，结束后，网络模型的权值和偏置参数存储至预先设定的文件；S2，服务器端监测进程监测到参数文件变化，将权值和偏置参数存储空间的虚拟地址、长度信息封装到预先设定的数据结构中，并通知推理模块；S3，推理模块中断推理服务，通过总线接口从服务器侧读取权值和偏置文件内容，并更新网络模型；S4，服务器端监测进程同时处理需要推理的输入文件，并通知推理模块，推理模块完成后将结果返回到服务端监测进程。

【技术特征摘要】
1.一种混合架构的深度学习系统方法，用于实现对深度学习训练和推理，其特征在于：包括如下步骤：S1，训练数据集有更新变化，训练模块重新进行深度学习网络模型训练，结束后，网络模型的权值和偏置参数存储至预先设定的文件；S2，服务器端监测进程监测到参数文件变化，将权值和偏置参数存储空间的虚拟地址、长度信息封装到预先设定的数据结构中，并通知推理模块；S3，推理模块中断推理服务，通过总线接口从服务器侧读取权值和偏置文件内容，并更新网络模型；S4，服务器端监测进程同时处理需要推理的输入文件，并通知推理模块，推理模块完成后将结果返回到服务端监测进程。2.根据权利要求1所述的方法，其特征在于：所述的步骤S1具体包括以下子步骤：S11，训练数据集的更新变化时，不改变网络模型，需要重新训练，从而得到更新后的网络权值和偏置参数；S12，训练完成后，需要将网络各层的权值和偏置参数以与推理模块约定好的格式存储到预先设定的文件。3.根据权利要求1所述的方法，其特征在于：所述的步骤S2具体包括以下子步骤：S21，服务端运行监测进程，通过调用推理模块在服务器内核库函数接口及驱动，控制推理模块的运行、停止及参数更新；S22，服务端监测进程时刻监测是否有权值偏置参数需更新，并获取最新参数信息；S23，当有更新发生，需...

【专利技术属性】
技术研发人员：程归鹏，卢飞，江涛，
申请(专利权)人：山东英特力数据技术有限公司，
类型：发明
国别省市：山东,37