【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、本公开涉及计算硬件。更具体地，本公开涉及用于训练和使用神经网络的技术。
2、神经网络是一种机器学习模型，用于各种不同的应用(例如，图像分类、计算机视觉、自然语言处理、语音识别、书写识别等)。神经网络通过经由它其运行数据集，将来自神经网络的结果与已知结果进行比较，并基于差异来更新网络，可以为特定目的被训练。
3、深度神经网络(dnn)在过去几年中已呈指数级增长，以实现更好的准确性。尽管dnn具有高准确性，但在训练和推断方面通常需要大量的计算成本。可以使用不同类型的技术来降低与dnn相关联的计算成本和/或降低dnn的大小。一种技术是添加稀疏性技术。这些技术为输入数据、权重和/或激活引入稀疏性。
技术实现思路
【技术保护点】
1.一种机器可读介质，存储能够由设备的至少一个处理单元执行的程序，所述程序包括指令集，所述指令集用于：
2.根据权利要求1所述的机器可读介质，其中执行所述稀疏化集包括：
3.根据权利要求1所述的机器可读介质，其中所述程序还包括指令集，以用于对所述输出集执行向量操作集。
4.根据权利要求3所述的机器可读介质，其中所述程序还包括指令集，以用于在执行所述向量操作集之后，对由所述矩阵乘法单元生成的所述输出集执行量化操作集，以降低所述输出集的精度。
5.根据权利要求4所述的机器可读介质，其中所述程序还包括指令集，以用于向所述神经网络的第三层发送被量化的所述输出集作为输入。
6.根据权利要求4所述的机器可读介质，其中所述程序还包括指令集，以用于在执行所述量化操作集之后，对被量化的所述输出集执行稀疏化操作集，以将稀疏性添加到被量化的所述输出集。
7.根据权利要求4所述的机器可读介质，其中所述程序还包括指令集，以用于在执行所述量化操作集之前，对所述输出集执行稀疏化操作集，以将稀疏性添加到所述输出集。
8.根据权利
9.根据权利要求1所述的机器可读介质，其中所述第一多个低位尾数值中的每个低位尾数值包括四个或更少个位，其中所述第二多个低位尾数值中的每个低位尾数值包括四个或更少个位。
10.一种方法，包括：
11.根据权利要求10所述的方法，其中执行所述稀疏化集包括：
12.根据权利要求10所述的方法，还包括对所述输出集执行向量操作集。
13.根据权利要求12所述的方法，还包括在执行所述向量操作集之后，对由所述矩阵乘法单元生成的所述输出集执行量化操作集，以降低所述输出集的精度。
14.根据权利要求13所述的方法，还包括向所述神经网络的第三层发送被量化的所述输出集作为输入。
15.根据权利要求13所述的方法，还包括在执行所述量化操作集之后，对被量化的所述输出集执行稀疏化操作集，以将稀疏性添加到被量化的所述输出集。
...【技术特征摘要】
【国外来华专利技术】
1.一种机器可读介质，存储能够由设备的至少一个处理单元执行的程序，所述程序包括指令集，所述指令集用于：
2.根据权利要求1所述的机器可读介质，其中执行所述稀疏化集包括：
3.根据权利要求1所述的机器可读介质，其中所述程序还包括指令集，以用于对所述输出集执行向量操作集。
4.根据权利要求3所述的机器可读介质，其中所述程序还包括指令集，以用于在执行所述向量操作集之后，对由所述矩阵乘法单元生成的所述输出集执行量化操作集，以降低所述输出集的精度。
5.根据权利要求4所述的机器可读介质，其中所述程序还包括指令集，以用于向所述神经网络的第三层发送被量化的所述输出集作为输入。
6.根据权利要求4所述的机器可读介质，其中所述程序还包括指令集，以用于在执行所述量化操作集之后，对被量化的所述输出集执行稀疏化操作集，以将稀疏性添加到被量化的所述输出集。
7.根据权利要求4所述的机器可读介质，其中所述程序还包括指令集，以用于在执行所述量化操作集之前，对所述输出集执行稀疏化操作集，以将稀疏性添加到所述输出集。
【专利技术属性】
技术研发人员：B·达尔维什·鲁哈尼，V·埃兰戈，E·S·钟，D·C·伯格，M·C·赫德斯，N·沙阿，R·沙菲布尔，A·莫尔，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。