人工智能神经网络引擎中模型推断的批量归一化层融合和量化方法技术

公开了一种用于人工智能(AI)网络引擎中的模型推断的批量归一化(BN)层融合和量化方法。一种用于神经网络(NN)的方法包括合并批量归一化(BN)层参数与NN层参数，以及使用合并的BN和NN层参数计算合并的BN层和NN层函数。修正线性单元(RELU)函数可以与BN和NN层函数合并。

【技术实现步骤摘要】
人工智能神经网络引擎中模型推断的批量归一化层融合和量化方法
本专利技术的实施方式总体涉及数据和计算处理，包括神经网络(NN)硬件和软件，以用于提高推断性能。更具体地，本专利技术的实施方式涉及用于人工智能(AI)网络引擎中模型推断的批量归一化层融合和量化方法。
技术介绍
神经网络(NN)是一种模仿人脑的机器学习。例如，NN接收输入(向量)，并通过由节点(神经元)构成的一系列隐藏层，使用权重或过滤器来变换输入。每个节点可以连接到前一层中的节点以接收输入，最后一个输出层或完全连接层可以提供分类或类别分数。一种常用于图像分类的NN是卷积神经网络(CNN)—例如，使用CNN来确定输入图像是否显示车辆。CNN包括具有可学习的权重和偏差的节点(神经元)的卷积层。每个节点可以接收输入，并使用权重对每个输入执行点积(内核计算)，该权重在每一层的不同输入之间求和。权重和可以被馈送到另一节点卷积层中，这在输出层产生可微分分数—即，一端的原始图像像素输入到用于对图像进行分类的输出端的类别分数。可用于CNN的其他层包括对CNN层的结果进行归一化的批量归一本文档来自技高网...

【技术保护点】
1.一种用于训练神经网络(NN)的方法，所述方法包括：/n对于所述NN的多个NN层中的每一层，/n合并批量归一化(BN)层参数与卷积(CONV)层参数，/n其中，所述BN层参数与对应NN层的BN层相关联，并且所述CONV层参数与对应NN层的CONV层相关联；以及/n形成合并的BN和CONV(BN/CONV)层，以使用合并的BN和CONV层参数计算合并的BN层和CONV层函数。/n

【技术特征摘要】
20190624 US 16/450,7161.一种用于训练神经网络(NN)的方法，所述方法包括：
对于所述NN的多个NN层中的每一层，
合并批量归一化(BN)层参数与卷积(CONV)层参数，
其中，所述BN层参数与对应NN层的BN层相关联，并且所述CONV层参数与对应NN层的CONV层相关联；以及
形成合并的BN和CONV(BN/CONV)层，以使用合并的BN和CONV层参数计算合并的BN层和CONV层函数。


2.根据权利要求1所述的方法，还包括：
合并批量归一化变换函数与卷积内核计算函数。


3.根据权利要求2所述的方法，其中，计算所述合并的BN层和CONV层函数包括计算合并的批量归一化变换函数和卷积内核计算函数。


4.根据权利要求2所述的方法，其中，合并BN层参数与CONV层参数包括合并批量归一化常数与所述卷积内核计算函数的权重。


5.根据权利要求2所述的方法，其中，合并BN层参数与CONV层参数包括合并批量归一化偏差与所述卷积内核计算函数的偏差。


6.根据权利要求1所述的方法，还包括：
合并修正线性单元(RELU)层函数与所述合并的BN层和CONV层函数，以形成合并的BN/CONV/RELU层。


7.根据权利要求1所述的方法，还包括将所述合并的BN和CONV层参数作为元数据存储在元文件中，所述元文件随后能够由所述合并的BN/CONV层在推断期间使用。


8.一种其中存储有指令的非暂时性机器可读介质，当由处理器执行时，所述指令使得所述处理器执行用于训练神经网络(NN)的操作，所述操作包括:
对于所述NN的多个NN层中的每一层，
合并批量归一化(BN)层参数与卷积(CONV)层参数，其中，所述BN层参数与对应NN层的BN层相关联，并且
所述CONV层参数与对应NN层的CONV层相关联；以及形成合并的BN和CONV(BN/CONV)层，以使用合并的BN和CONV层参数计算合并的BN层和CONV层函数。


9.根据权利要求8所述的机器可读介质，其中，所述操作还包括：<...

【专利技术属性】
技术研发人员：郭敏，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：美国;US