【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、深度神经网络(dnn)可以在机器学习中被用于构建人工智能模型。深度学习工作负载包括输入数据、在监督训练期间学习的权重矩阵以及根据输入数据和权重矩阵计算的激活矩阵。随着计算资源的扩展，更大的数据集合可以被处理，这需要相应地扩大dnn。稀疏度可以被用作减少针对在dnn的训练期间所需要的操作所消耗的计算和/或存储器量的工具。
技术实现思路
1、本
技术实现思路
被提供来以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本
技术实现思路
不旨在于标识所要求保护的主题内容的关键特征或基本特征，也不旨在于被用于限制所要求保护的主题内容的范围。此外，所要求保护的主题内容不限于解决本公开的任何部分中指出的任何或所有缺点的实现。
2、提出了用于训练神经网络的方法。针对具有第一维度上的整数维度m1并且具有第二维度上的整数维度m2的权重矩阵，第一平衡稀疏度掩码被生成，该第一平衡稀疏度掩码是第一维度上的n1/m1掩码。第一平衡稀疏度掩码在推理期间被应用于权重矩阵。第二平衡稀...
【技术保护点】
1.一种用于训练神经网络的方法，包括：
2.根据权利要求1所述的方法，其中N1和N2是相同的整数值。
3.根据权利要求1所述的方法，其中所述第二平衡稀疏度掩码是所述第一平衡稀疏度掩码的转置。
4.根据权利要求1所述的方法，其中所述第一平衡稀疏度掩码和所述第二平衡稀疏度掩码至少基于top-K函数而被生成。
5.根据权利要求1所述的方法，其中所述训练在多个顺序阶段内被执行，每个阶段包括多个回合，并且其中训练的第一顺序阶段使用初始稀疏度水平而被执行。
6.根据权利要求5所述的方法，还包括：
7.根据权利...
【技术特征摘要】
【国外来华专利技术】
1.一种用于训练神经网络的方法，包括：
2.根据权利要求1所述的方法，其中n1和n2是相同的整数值。
3.根据权利要求1所述的方法，其中所述第二平衡稀疏度掩码是所述第一平衡稀疏度掩码的转置。
4.根据权利要求1所述的方法，其中所述第一平衡稀疏度掩码和所述第二平衡稀疏度掩码至少基于top-k函数而被生成。
5.根据权利要求1所述的方法，其中所述训练在多个顺序阶段内被执行，每个阶段包括多个回合，并且其中训练的第一顺序阶段使用初始稀疏度水平而被执行。
6.根据权利要求5所述的方法，还包括：
7.根据权利要求6所述的方法，还包括：
8.根据权利要求7所述的方法，还包括：
9.一种用于训练深度神经网络的计算系统，包括：
10.根据权利要求9所述的计算系统，其中所述第一平衡稀疏度掩码和所述第二平衡...
【专利技术属性】
技术研发人员：M·T·戈卢布，B·达尔维什·鲁哈尼，E·S·钟，D·C·伯格，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。