一种模型的部署方法及装置制造方法及图纸

本申请提供一种模型的部署方法，包括获取待部署的神经网络模型，该神经网络模型包括多个融合层，该融合层依次包括批正则化层、激活层和卷积层；将神经网络模型部署到存在读和/或写错误的计算设备上；将训练样本作为神经网络模型的输入，利用上一层卷积层的输出，校准当前层批正则化层的参数。本申请通过将融合层的融合顺序修改为批正则化层、激活层和卷积层，将卷积层和批正则化层进行解耦，可实现利用上一层卷积层的输出校准当前层批正则化层的均值和方差，大幅度消除计算设备的读写错误对其上部署的神经网络模型的推理结果的影响。对其上部署的神经网络模型的推理结果的影响。对其上部署的神经网络模型的推理结果的影响。

【技术实现步骤摘要】
一种模型的部署方法及装置


[0001]本申请涉及人工智能
，尤其涉及一种模型的部署方法及装置。

技术介绍

[0002]批正则化(batch normalization，BN)模块是神经网络模型中的重要模块，用于对特征进行标准化，提高神经网络模型的收敛速度。但是神经网络模型在非理想器件中进行训练和推理时，由于存在噪声，批正则化模块的统计值会出现剧烈波动，影响神经网络模型的输出结果。

技术实现思路

[0003]本申请的实施例提供一种模型的部署方法，可实现大幅消除计算设备的读写错误对其上部署的神经网络模型的推理结果的影响。
[0004]第一方面，本申请提供了一种模型的部署方法，包括获取待部署的神经网络模型，该神经网络模型包括多个融合层，该融合层依次包括批正则化层、激活层和卷积层；将神经网络模型部署到存在读和/或写错误的计算设备上，将训练样本作为神经网络模型的输入，利用上一层卷积层的输出，校准当前层批正则化层的参数。
[0005]本申请通过将融合层的融合顺序修改为批正则化层、激活层和卷积层，将卷积层和批正则化层进行解耦，可实现利用上一层卷积层的输出校准当前层批正则化层的参数(例如均值和方差)，大幅度消除计算设备的读写错误对其上部署的神经网络模型的推理结果的影响。
[0006]在一个可能的实现中，神经网络模型逐层部署于计算设备上，逐层校准批正则化层的均值和方差。
[0007]在一个可能的实现中，计算设备包括非理想器件，非理想器件例如可以为忆阻器(Memristor)。/>[0008]例如，神经网络模型可以部署于非理想计算平台上，例如忆阻器计算平台。
[0009]当然本申请提供的模型的部署方法，并不局限于应用于神经网络模型部署于非理想计算平台上，也可以部署于具有类似错误读写的其他计算平台上，例如计算平台上的器件本身是理想性的，但是由于电路存在问题，导致某一块内存损坏进而有读写错误发生，采用本申请提供的模型的部署方法可以克服读写错误对神经网络的影响。
[0010]在另一个可能的实现中，本申请提供的模型的部署方法还包括，对批正则化层、激活层和卷积层进行融合操作，得到融合层。
[0011]在另一个可能的实现中，对批正则化层、激活层和卷积层进行融合操作，得到融合层的一种实现为：对批正则化层和激活层进行融合操作，得到第一融合子层；对第一融合子层和卷积层进行融合操作，得到融合层。
[0012]在该可能的实现中，通过先对批正则化层和激活层进行融合，在将批正则化层和激活层融合后的层与卷积层进行融合，实现批正则化层和卷积层的解耦，批正则化层的统
计值(即均值和方差)可以根据上一层卷积层的输出进行校准，这样在将待部署神经网络模型逐层部署到非理想器件上时，批正则化层可以针对固定的读写错误，使用已部署的卷积层的输出调整后续批正则化层的统计值，如此可大幅度消除读写错误对神经网络模型的影响。
[0013]在另一个可能的实现中，待部署神经网络模型基于包括读和/或写错误噪声的训练数据集训练得到。
[0014]示例性的，将训练数据集作为错误模型的输入，将模拟读写错误噪声注入到训练数据集中，利用含有噪声的训练数据集对神经网络模型进行容错训练，得到具有容错能力的神经网络模型。
[0015]容错训练的一种具体实现为：获取第一特征图的像素值排序后的索引和第二特征图的像素值排序后的索引，其中，第一特征图为将训练样本输入教师模型提取得到的特征图，第二特征图为将包括读和/或写错误噪声的所述训练样本输入学生模型提取得到的特征图，教师模型为基于不包括读和/或写错误噪声的训练数据集训练完成的神经网络模型，学生模型为待训练的神经网络模型；利用直通估计器在第二特征图的像素值排序后的索引和第二特征图的像素值之间建立梯度传递；基于第一特征图的像素值排序后的索引和第二特征图的像素值排序后的索引，确定损失值；基于损失值，更新待训练的神经网络模型的权重参数，以得到待部署神经网络模型。
[0016]可选的，可以采用L1损失函数计算第一特征图的像素值排序后的索引和第二特征图的像素值排序后的索引的损失值。
[0017]本申请的待部署的神经网络模型在进行容错训练过程中，将特征图的空间信息融入到容错训练流程中，有效提升容错训练对神经网络模型带来的容错能力。
[0018]在另一个可能的实现中，损失值还与待训练的神经网络模型的量化后的权重方差相关，例如，在损失函数中加入待训练神经网络模型量化后的权重分方差作为正则项，进一步增大权重方差以增强特征图空间信息的保序性。
[0019]第二方面，本申请提供一种模型的部署装置，包括获取模块、部署模块和校准模块，其中，获取模块用于获取待部署的神经网络模型，神经网络模型包括多个融合层，融合层依次包括批正则化层、激活层和卷积层；部署模块用于将神经网络模型部署到计算设备上，计算设备存在读和/或写错误；校准模块用于将训练样本作为神经网络模型的输入，利用上一层卷积层的输出，校准当前层批正则化层的参数(例如均值和方差)。
[0020]在另一个可能的实现中，神经网络模型逐层部署于计算设备上，逐层校准批正则化层的均值和方差。
[0021]在一个可能的实现中，计算设备包括非理想器件，非理想器件例如可以为忆阻器例如，神经网络模型可以部署于非理想计算平台上，例如忆阻器计算平台。
[0022]当然本申请提供的模型的部署装置，并不局限于应用于神经网络模型部署于非理想计算平台上，也可以部署于具有类似错误读写的其他计算平台上，例如计算平台上的器件本身是理想性的，但是由于电路存在问题，导致某一块内存损坏进而有读写错误发生，采用本申请提供的模型的部署方法可以克服读写错误对神经网络的影响。
[0023]可选的，本申请的神经网络模型也可以部署于非理想计算设备上，例如可变电阻式存储器。
[0024]在另一个可能的实现中，本申请提供的模型的部署装置还包括融合模块，该融合模块用于对批正则化层、激活层和卷积层进行融合操作，得到融合层。
[0025]在另一个可能的实现中，融合模块具体用于对批正则化层和激活层进行融合操作，得到第一融合子层；对第一融合子层和卷积层进行融合操作，得到融合层。
[0026]在另一个可能的实现中，待部署神经网络模型基于包括读和/或写错误噪声的训练数据集训练得到。
[0027]容错训练的一种具体实现为：获取第一特征图的像素值排序后的索引和第二特征图的像素值排序后的索引，其中，第一特征图为将训练样本输入教师模型提取得到的特征图，第二特征图为将包括读和/或写错误噪声的所述训练样本输入学生模型提取得到的特征图，教师模型为基于不包括读和/或写错误噪声的训练数据集训练完成的神经网络模型，学生模型为待训练的神经网络模型；利用直通估计器在第二特征图的像素值排序后的索引和第二特征图的像素值之间建立梯度传递；基于第一特征图的像素值排序后的索引和第二特征图的像素值排序后的索引，确定损失值；基于损失值，更新待训练的神经网络模型的权重参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型的部署方法，其特征在于，包括：获取待部署的神经网络模型，所述神经网络模型包括多个融合层，所述融合层依次包括批正则化层、激活层和卷积层；将所述神经网络模型部署到计算设备上，所述计算设备存在读和/或写错误；将训练样本作为所述神经网络模型的输入，利用上一层所述卷积层的输出，校准当前层所述批正则化层的参数。2.根据权利要求1所述的方法，其特征在于，所述神经网络模型逐层部署于所述计算设备上。3.根据权利要求1或2所述的方法，其特征在于，所述计算设备包括非理想器件。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述批正则化层的参数包括均值和方差。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，还包括：对所述批正则化层、所述激活层和所述卷积层进行融合操作，得到所述融合层。6.根据权利要求5所述的方法，其特征在于，所述对所述批正则化层、激活层和卷积层进行融合操作，得到所述融合层，包括：对所述批正则化层和所述激活层进行融合操作，得到第一融合子层；对所述第一融合子层和所述卷积层进行融合操作，得到所述融合层。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述待部署神经网络模型基于包括读和/或写错误噪声的训练数据集训练得到。8.根据权利要求7所述的方法，其特征在于，所述待部署神经网络模型基于包括读和/或写错误噪声的训练数据集训练得到，包括：获取第一特征图的像素值排序后的索引和第二特征图的像素值排序后的索引，其中，所述第一特征图为将训练样本输入教师模型提取得到的特征图，所述第二特征图为将包括读和/或写错误噪声的所述训练样本输入学生模型提取得到的特征图，所述教师模型为基于不包括读和/或写错误噪声的训练数据集训练完成的神经网络模型，所述学生模型为待训练的神经网络模型；利用直通估计器在所述第二特征图的像素值排序后的索引和所述第二特征图的像素值之间建立梯度传递；基于所述第一特征图的像素值排序后的索引和所述第二特征图的像素值排序后的索引，确定损失值；基于所述损失值，更新所述待训练的神经网络模型的权重参数，以得到所述待部署神经网络模型。9.根据权利要求8所述的方法，其特征在于，所述损失值还与所述待训练的神经网络模型的量化后的权重方差相关。10.一种模型的部署装置，其特征在于，包括：获取模块，用于获取待部署的神经网络模型，所述神经网络模型包括多个融合层，所述融合层依次包括批正则化层、激活层和卷积层；部署模块，将所述神经网络...

【专利技术属性】
技术研发人员：陆璞，李文硕，宁雪妃，孙寒泊，陈醒濠，汪玉，王云鹤，
申请(专利权)人：清华大学，
类型：发明
国别省市：