【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、本公开涉及计算硬件。更具体地，本公开涉及用于训练神经网络的技术。
2、神经网络是一种机器学习模型，用于各种不同的应用(例如，图像分类、计算机视觉、自然语言处理、语音识别、写作识别等)。训练神经网络可以通过运行数据集、将神经网络的结果与已知结果进行比较、以及根据差异更新网络来为特定目的训练。
3、存在许多用来减少训练神经网络所需时间的技术。例如，一些这样的技术利用多个设备来并行化神经网络的训练。其他这样的技术寻找机会来稀疏化神经网络中使用的数据和/或由神经网络使用的数据。
技术实现思路
【技术保护点】
1.一种机器可读介质，存储能够由设备的至少一个处理单元执行的程序，所述程序包括用于如下操作的指令集：
2.根据权利要求1所述的机器可读介质，其中确定所述多个损失值的所述子集包括：
3.根据权利要求1所述的机器可读介质，其中所述程序还包括用于如下操作的指令集：
4.根据权利要求3所述的机器可读介质，其中确定所述多个损失值的所述子集包括：
5.根据权利要求4所述的机器可读介质，其中所述第一定义比例大于所述第二比例和所述第三比例，并且其中所述第三比例大于所述第二比例。
6.根据权利要求1所述的机器可读介质，其中所述多个训练数据是第一多个训练数据，是用于训练所述神经网络的第一多个输入，其中所述多个输出是第一多个输出，其中所述多个损失值是第一多个损失值，其中所述平均损失值是第一损失值，其中所述梯度集合是第一梯度集合，其中所述程序还包括用于如下操作的指令集：
7.根据权利要求6所述的机器可读介质，其中所述第二多个训练数据中的训练数据的数目大于所述第一多个训练数据中的训练数据的数目。
8.一种方法，包括：>
9.根据权利要求8的方法，其中确定所述多个损失值的所述子集包括：
10.根据权利要求8的方法，还包括：
11.根据权利要求10的方法，其中确定所述多个损失值的所述子集包括：
12.根据权利要求11的方法，其中所述第一定义比例大于所述第二比例和所述第三比例，并且其中所述第三比例大于所述第二比例。
13.根据权利要求8所述的方法，其中所述多个训练数据是第一多个训练数据，是用于训练所述神经网络的第一多个输入，其中所述多个输出是第一多个输出，其中所述多个损失值是第一多个损失值，其中所述平均损失值是第一损失值，其中所述梯度集合是第一梯度集合，所述方法还包括：
14.根据权利要求13的方法，其中所述第二多个训练数据中的训练数据的数目大于所述第一多个训练数据中的训练数据的数目。
15.一种系统，包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种机器可读介质，存储能够由设备的至少一个处理单元执行的程序，所述程序包括用于如下操作的指令集：
2.根据权利要求1所述的机器可读介质，其中确定所述多个损失值的所述子集包括：
3.根据权利要求1所述的机器可读介质，其中所述程序还包括用于如下操作的指令集：
4.根据权利要求3所述的机器可读介质，其中确定所述多个损失值的所述子集包括：
5.根据权利要求4所述的机器可读介质，其中所述第一定义比例大于所述第二比例和所述第三比例，并且其中所述第三比例大于所述第二比例。
6.根据权利要求1所述的机器可读介质，其中所述多个训练数据是第一多个训练数据，是用于训练所述神经网络的第一多个输入，其中所述多个输出是第一多个输出，其中所述多个损失值是第一多个损失值，其中所述平均损失值是第一损失值，其中所述梯度集合是第一梯度集合，其中所述程序还包括用于如下操作的指令集：
7.根据权利要求6所述的机器可读介质，其中所述第二多个训...
【专利技术属性】
技术研发人员：M·梅斯马克霍斯罗沙希，B·D·鲁哈尼，E·S·钟，D·C·伯格，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。