模型扩展方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种模型扩展方法及装置、电子设备和存储介质，所述方法包括：根据第一模型的多个网络层中的多个节点的激活值以及激活值的梯度，确定多个节点的重要性参数；根据多个节点的重要性参数和多个网络层的预设生长比率，确定多个节点中的待扩展节点；根据多个网络层的待扩展节点对第一模型进行扩展处理，获得第二模型。本公开实施例可通过重要性参数确定多个节点中的待扩展节点，并待扩展节点对第一模型进行扩展，得到第二模型，可使用第一模型中的节点获得第二模型，因此，无需消耗过多的计算资源和训练时间，拟合效果较好。拟合效果较好。拟合效果较好。

【技术实现步骤摘要】
模型扩展方法及装置、电子设备和存储介质
[0001]本申请是在2018年07月09日提交中国专利局、申请号为201810746287.0、申请名称为“模型扩展方法及装置、电子设备和存储介质”的中国专利申请的分案申请。


[0002]本公开涉及计算机
，尤其涉及一种模型扩展方法及装置、电子设备和存储介质。

技术介绍

[0003]随着训练数据的快速增长，需要设计更深或者更宽的神经网络去拟合训练数据，但是直接使用这些数据重新训练更深或者更宽模型会消耗很多计算资源以及花费更多训练时间。并且使用现有数据训练更深或更宽的神经网络时，数据量可能不足，因此，神经网络的拟合效果可能较差。

技术实现思路

[0004]本公开提出了一种模型扩展方法及装置、电子设备和存储介质。
[0005]根据本公开的一方面，提供了一种模型扩展方法，包括：
[0006]根据第一模型的多个网络层中的多个节点的激活值以及所述激活值的梯度，确定所述多个节点的重要性参数；
[0007]根据所述多个节点的重要性参数和所述多个网络层的预设生长比率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型扩展方法，其特征在于，所述方法包括：根据第一模型的多个网络层中的多个节点的激活值以及所述激活值的梯度，确定所述多个节点的重要性参数，其中，节点的激活值为对该节点的输入参数的运算值；根据所述多个节点的重要性参数和所述多个网络层的预设生长比率，确定所述多个节点中的待扩展节点；根据所述多个网络层的待扩展节点对所述第一模型进行扩展处理，获得第二模型。2.根据权利要求1所述的方法，其特征在于，根据所述多个网络层的待扩展节点对所述第一模型进行扩展处理，获得第二模型，包括：对所述待扩展节点进行复制处理，获得复制节点；根据所述待扩展节点在复制处理前的权值，确定复制节点的权值，以及所述待扩展节点在复制处理后的权值；根据所述待扩展节点在复制处理后的权值、所述复制节点以及所述复制节点的权值，对所述第一模型进行扩展处理，获得所述第二模型。3.根据权利要求2所述的方法，其特征在于，对所述待扩展节点进行复制处理，获得复制节点，包括：对目标节点进行复制处理，获得与所述目标节点对应的复制节点，其中，所述目标节点是所述待扩展节点中的任意一个，所述复制节点与所述目标节点处于同一网络层。4.根据权利要求2或3所述的方法，其特征在于，根据所述待扩展节点在复制处理前的权值，确定复制节点的权值，以及所述待扩展节点在复制处理后的权值，包括：根据目标节点的第一权值，确定所述复制节点的权值以及所述目标节点的第二权值，其中，所述目标节点是所述待扩展节点中的任意一个，所述第一权值为所述目标节点在复制处理前的权值，所述第二权值为对所述目标节点在进行复制处理后的权值。5.根据权利要求4所述的方法，其特征在于，根据所述待扩展节点在复制处理后的权值、所述复制节点以及所述复制节点的权值，对所述第一模型进行扩展处理，获得所述第二模型，包括：根据所述目标节点的第二权值、所述复制节点以及所述复制节点的权值对所述第一模型进行扩展处理，获得对所述目标节点进行扩展后的第一模型；根据对所有的待扩展节点进行扩展后的第一模型，确定所述第二模型。6.根据权利要求4所述的方法，其特征在于，所述目标节点的第一权值包括目标节点的第一输入权值和第一输出权值，所述目标节点的第二权值包括目标节点的第二输入权值和第二输出权值，所述复制节点的权值包括所述复制节点的输入权值和所述复制节点的输出权值，其中，根据目标节点的第一权值，确定所述复制节点的权值以及所述目标节点的第二权值，包括：根据所述目标节点的第一输入权值，确定所述目标节点的第二输入权值和所述复制节点的输入权值；根据所述目标节点和与所述目标节点对应的复制节点的数量，确定第一输出权值的缩小...

【专利技术属性】
技术研发人员：张学森，伊帅，闫俊杰，王晓刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：