【技术实现步骤摘要】
【国外来华专利技术】神经网络的数据集相关的低秩分解
[0001]本申请总体上涉及信息技术，并且更具体地涉及神经网络模型的压缩。
技术介绍
[0002]神经网络(诸如深度神经网络)用于各种人工智能应用，诸如例如计算机视觉、语音识别和自然语言处理。深度神经网络的层数量和参数随着与这些模型一起使用的数据集的大小而增加。例如，用于图像分类的深度神经网络可以包括16层和超过13千万个参数，从而产生超过500兆字节的训练模型。照此，深度神经网络经常需要大量的计算资源，使得它们特别难以在具有有限资源的设备上使用，诸如例如在物联网(IOT)的上下文中的移动电话和边缘设备。
技术实现思路
[0003]在本专利技术的一个实施方式中，提供了用于神经网络的数据集相关的低秩分解的技术。一种示例性计算机实现的方法，可包括获得(i)目标数据集和(ii)神经网络的经训练的模型；将所述目标数据集的至少一部分提供给所述经训练的模型；基于所提供的部分来确定(i)所述神经网络的过滤器和(ii)所述神经网络的通道中的一个或多个中的每一个与所述目标数据集的相关性，其中，所...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现方法，所述方法包括：获得(i)目标数据集和(ii)神经网络的经训练的模型；将所述目标数据集的至少一部分提供给所述经训练的模型；基于所述提供的部分来确定一个或多个(i)所述神经网络的过滤器和(ii)所述神经网络的通道中的每一个与所述目标数据集的相关性，其中，所述一个或多个所述过滤器和所述通道对应于所述神经网络的至少一层；以及至少部分地基于所述确定的相关性来压缩所述神经网络的所述经训练的模型；其中，所述方法由至少一个计算设备执行。2.根据权利要求1所述的计算机实现的方法，其中，所述确定包括：使用所述目标数据集的所述部分执行预定数量的训练时期；以及基于所述训练期间所述一个或多个滤波器和通道的激活来计算统计数据。3.根据权利要求1所述的计算机实现的方法，其中，所述目标数据集包括多个图像，并且其中，所述确定包括以下各项中的一项或多项：确定对于以下各项中的一项或多项激活所述一个或多个所述过滤器和所述通道中的哪些：(i)所述数据集的所有所述图像，(ii)感兴趣的特定类别的图像，(iii)具有低于阈值的训练样本数量的类别的图像，以及(iv)所述神经网络的特定层4.根据权利要求1所述的计算机实现的方法，包括：使用所述一个或多个所述滤波器和所述通道中的所述确定的相关性来调整所述经训练的模型的至少一个权重张量，其中，所述至少一个权重张量包括用于所述至少一个层的所述一个或多个所述滤波器和所述通道的权重。5.根据权利要求4所述的计算机实现的方法，其中，所述压缩包括：将加权低秩因子分解过程应用于所述经调整的至少一个张量以生成近似所述经训练模型的所述至少一个权重张量的至少一个所得张量，其中，所述至少一个所得张量的目标秩小于所述经训练模型的所述至少一个权重张量的秩。6.根据权利要求5所述的计算机实现的方法，包括：至少部分地基于高阶奇异值分解技术来配置所述至少一个所得张量的所述目标秩。7.根据权利要求5所述的计算机实现的方法，其中，所述加权低秩因子分解过程包括使权重函数最小化，所述权重函数被定义为跨所述经调整的至少一个权重张量的张量元素和所述所得的至少一个张量的张量元素之间的总偏差。8.根据权利要求5所述的计算机实现的方法，其中，所述至少一个所得张量的所述张量元素直接取决于所述一个或多个所述过滤器和所述通道中的所述确定的相关性，使得在所述至少一个所得张量中保留被确定为与所述目标数据集更相关的一个或多个所述过滤器和所述通道。9.根据权利要求5所述的计算机实现的方法，包括：至少部分地基于对应于所述经压缩的经训练模型的(i)处理要求和(ii)存储器要求中的一者或多者的一个或多个约束来配置所述目标秩。10.根据权利要求5所述的计算机实现的方法，其中，所述压缩包括应用梯度下降和共轭梯度技术中的一个或多个，从而减少所述至少一个加权张量和所述至少一个所得张量的所述加权误差的测量值。
11.根据权利要求11所述的计算机实现方法，其中，所述加权误差的所述测量值包括弗罗贝尼乌斯范数。12.根据权利要求5所述的计算机实现的方法，其中，所述加权低秩因子分解处理包括以...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。