【技术实现步骤摘要】
用于16比特浮点矩阵点积指令的装置、方法和系统
[0001]本公开总体上涉及计算机处理器体系结构，并且更具体地涉及用于执行16比特浮点矩阵点积指令的系统和方法。
技术介绍
[0002]在诸如机器学习和其他批量数据处理之类的许多计算任务中，矩阵正变得日益重要。深度学习是一类机器学习算法。诸如深度神经网络之类的深度学习架构已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计的领域。
[0003]用于深度学习的两种工具——推理和训练正趋向于低精度算术。使深度学习算法和计算的吞吐量最大化可以辅助满足深度学习处理器的需求，深度学习处理器例如在数据中心中执行深度学习的那些处理器。
[0004]矩阵
‑
矩阵乘法(即，GEMM或通用矩阵乘法)是现代处理器上的常见的重度计算操作。用于矩阵乘法(例如，GEMM)的专门的硬件是改善某些应用(诸如，深度学习)的峰值计算(和能效)的良好选项。
[0005]只要输出数据结构具有足够的比特(即，多于输入)，这些...
【技术保护点】
【技术特征摘要】
1.一种设备，包括：解码装置，用于对单个指令的实例进行解码，所述单个指令的所述实例具有用于操作码的一个或多个字段、用于标识源/目的地矩阵操作对象的一个或多个字段、用于标识第一多个源矩阵操作对象的一个或多个字段、用于标识第二多个矩阵操作对象的一个或多个字段，其中，所述操作码用于指示出执行装置要进行：针对所述源/目的地矩阵操作对象的每个元素位置，基于来自所述第二多个矩阵操作对象中的第一矩阵操作对象的稀疏度控制，从所述第一多个源矩阵操作对象选择数据元素的适当子集；将所选择的来自第一源矩阵操作对象的行的元素对和来自第二源矩阵操作对象中的一个源矩阵操作对象的列的元素对转换到FP32；将来自两个指定的源矩阵操作对象的经转换的偶元素相乘以生成第一乘积并且单独地将来自所述指定的源矩阵操作对象的经转换的奇元素相乘以生成第二乘积；以及将所述第一乘积和所述第二乘积与所述源/目的地矩阵操作对象的先前内容累加；以及执行装置，用于按照所述操作码所指定地对经解码的指令作出响应。2.如权利要求1所述的设备，其中，所述第一多个源矩阵操作对象的元素采用8比特整数格式。3.如权利要求2所述的设备，其中，所述稀疏度控制用于从所述第一多个源矩阵操作对象、针对每一行选择四个数据元素。4.如权利要求1所述的设备，其中，所述第一多个源矩阵操作对象的元素采用16比特浮点格式。5.如权利要求4所述的设备，其中，所述稀疏度控制用于从所述第一多个源矩阵操作对象、针对每一行选择两个数据元素。6.如权利要求4所述的设备，其中，所述第一多个源矩阵操作对象的元素采用Bfloat16浮点格式。7.如权利要求4所述的设备，其中，所述第一多个源矩阵操作对象的元素采用半精度浮点格式。8.如权利要求1
‑
7中任一项所述的设备，其中，所述操作码用于进一步指示出所述执行装置要进行：将所述累加中未涉及的所述源/目的地矩阵的行归零。9.一种方法，包括：对单个指令的实例进行解码，所述单个指令的所述实例具有用于操作码的一个或多个字段、用于标识源/目的地矩阵操作对象的一个或多个字段、用于标识第一多个源矩阵操作对象的一个或多个字段、用于标识第二多个矩阵操作对象的一个或多个字段，其中，所述操作码用于指示出执行电路要进行：针对所述源/目的地矩阵操作对象的每个元素位置，基于来自所述第二多个矩阵操作对象中的第一矩阵操作对象的稀疏度控制，从所述第一多个源矩阵操作对象选择数据元素的适当子集；将所选择的来自第一源矩阵操作对象的行的元素对和来自第二源矩阵操作对象中的一个源矩阵操作对象的列的元素对转换到FP32；将来自两个指定的源矩阵操作对象的经转换的偶元素相乘以生成第一乘积并且单独地将来自所述指定的源矩阵操作对象的经转换的奇元素相乘以生成第二乘积；以及将所述第一乘积和所述第二乘积与所述源/目的地矩阵操作对象的先前内容累加；以及根据所述操作码执行经解码的单个指令。10.如权利要求9所述的方法，其中，所述第一多个源矩...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。