模型生成方法和装置制造方法及图纸

本公开实施例公开了模型生成方法和装置。该方法的具体实施方式包括：获取训练样本数据；在基于该训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；在基于该实际输出和该待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，该第一精度类型和该第二精度类型不同。该实施方式提供了新的模型生成方式。

【技术实现步骤摘要】
模型生成方法和装置
本公开实施例涉及计算机
，具体涉及模型生成方法和装置。
技术介绍
随着人工智能的发展，基于神经网络的模型在越来越多的场景中发挥作用。神经网络可以指人工神经网络(ArtificialNeuralNetwork，ANN)。神经网络通常是一种运算模型，由大量的节点(或称神经元)之间相互连接构成。每个节点可以代表一种特定的输出函数，称为激励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。在对基于神经网络的模型的训练过程中，现有技术中通常采用一种精度类型的数据进行计算。
技术实现思路
本公开实施例提出了模型生成方法和装置。第一方面，本公开实施例提供了一种模型生成方法，该方法包括：获取训练样本数据；在基于该训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；在基于该实际输出和该待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，该第一精度类型和该第二精度类型不同。在一些实施例中，该第一精度类型或者第二精度类型为半精度类本文档来自技高网...

【技术保护点】
1.一种模型生成方法，包括：获取训练样本数据；在基于所述训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；在基于所述实际输出和所述待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，所述第一精度类型和所述第二精度类型不同。

【技术特征摘要】
1.一种模型生成方法，包括：获取训练样本数据；在基于所述训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出；在基于所述实际输出和所述待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，其中，所述第一精度类型和所述第二精度类型不同。2.根据权利要求1所述的方法，其中，所述第一精度类型或者第二精度类型为半精度类型。3.根据权利要求1所述的方法，其中，所述第一精度类型指示的精度小于所述第二精度类型指示的精度。4.根据权利要求1所述的方法，其中，所述第一精度类型指示的精度大于所述第二精度类型指示的精度。5.根据权利要求1-4中任一项所述的方法，其中，所述在基于所述训练样本数据和待训练模型的前向传播过程中，利用第一精度类型的数据进行计算，得到第一精度类型的实际输出，包括：响应于确定所述训练样本数据不是第一精度类型的数据，将所述训练样本数据转换为第一精度类型的数据，生成第一训练样本数据；响应于确定待训练模型的网络参数不是第一精度类型的数据，将所述网络参数转换为第一精度类型的数据，生成第一网络参数；利用所述第一训练样本数据和所述第一网络参数，进行前向传播计算，得到第一精度类型的实际输出。6.根据权利要求1-4中任一项所述的方法，其中，所述在基于所述实际输出和所述待训练模型的反向传播过程中，利用第二精度类型的数据进行计算，包括：将所述实际输出由第一精度类型转换为第二精度类型；响应于确定待训练模型的网络参数不是第二精度类型的数据，将所述网络参数转换为第二精度类型的数据，生成第二网络参数；根据第二精度类型的实际输出和所述第二网络参数，进行反向传播计算，以更新所述第二网络参数。7.一种模型生成装置，包括：获取单元，被配置成获取训练样本数据；前向传播单元，被配置成在基于所述训练样本数据和...

【专利技术属性】
技术研发人员：胡耀全，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11