矩阵运算方法、装置及单元、电子设备制造方法及图纸

本申请实施例提供一种矩阵运算方法、装置及单元、电子设备。其中，矩阵运算方法应用于矩阵运算单元，该方法包括：获取矩阵运算指令，矩阵运算指令包括掩码，掩码用于指示待运算的目标矩阵中的元素的运算参与范围；根据掩码所指示的运算参与范围，对目标矩阵中的元素执行矩阵运算指令对应的运算，获得矩阵运算结果。该方法通过在矩阵运算指令中加入掩码，使得矩阵运算单元在对目标矩阵中的元素执行矩阵运算指令对应的运算时，可以根据掩码所指示的运算参与范围进行有选择的、精细的运算，从而能够提高矩阵运算的效率，并降低矩阵运算单元进行矩阵运算时的功耗。矩阵运算时的功耗。矩阵运算时的功耗。

【技术实现步骤摘要】
矩阵运算方法、装置及单元、电子设备


[0001]本申请涉及计算机
，具体而言，涉及一种矩阵运算方法、装置及单元、电子设备。

技术介绍

[0002]矩阵运算在通用计算、高性能计算、图形学、人工智能等领域扮演着核心的角色，很多复杂的算法最终都能转换为基本的矩阵运算，因此如何高效低功耗进行矩阵运算显得尤为重要。然而，目前的硬件单元在进行矩阵运算时，通常只是严格地按照矩阵运算的数学定义进行计算，而不考虑其中是否存在一些对于实际应用而言无效的计算，导致矩阵运算的效率不高，而且硬件功耗也难以降低。

技术实现思路

[0003]本申请实施例的目的在于提供一种矩阵运算方法、装置及单元、电子设备，以改善上述技术问题。
[0004]为实现上述目的，本申请提供如下技术方案：
[0005]第一方面，本申请实施例提供一种矩阵运算方法，应用于矩阵运算单元，所述矩阵运算单元为硬件单元，所述方法包括：获取矩阵运算指令，所述矩阵运算指令包括掩码，所述掩码用于指示待运算的目标矩阵中的元素的运算参与范围；根据所述掩码所指示的运算参与范围，对所述目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种矩阵运算方法，其特征在于，应用于矩阵运算单元，所述矩阵运算单元为硬件单元，所述方法包括：获取矩阵运算指令，所述矩阵运算指令包括掩码，所述掩码用于指示待运算的目标矩阵中的元素的运算参与范围；根据所述掩码所指示的运算参与范围，对所述目标矩阵中的元素执行所述矩阵运算指令对应的运算，获得矩阵运算结果。2.根据权利要求1所述的矩阵计算方法，其特征在于，所述矩阵运算指令为线程组或线程束级别的指令。3.根据权利要求1或2所述的矩阵运算方法，其特征在于，所述矩阵运算指令为矩阵乘法指令，所述目标矩阵包括待相乘的目标左矩阵和目标右矩阵；所述掩码包括以下至少一种：针对所述目标左矩阵的行设置的第一掩码、针对所述目标右矩阵的列设置的第二掩码、以及针对所述目标左矩阵的列和所述目标右矩阵的行设置的第三掩码。4.根据权利要求3所述的矩阵运算方法，其特征在于，所述掩码包括所述第一掩码、所述第二掩码以及所述第三掩码，所述第一掩码用于指示所述目标左矩阵中的每行是否为参与矩阵乘法运算的候选行，所述第二掩码用于指示所述目标右矩阵中的每列是否为参与矩阵乘法运算的候选列，所述第三掩码用于指示所述目标左矩阵中的每列是否为参与矩阵乘法运算的候选列，以及该列在所述目标右矩阵中对应的行是否为参与矩阵乘法运算的候选行；所述根据所述掩码所指示的运算参与范围，对所述目标矩阵中的元素执行所述矩阵运算指令对应的运算，获得矩阵运算结果，包括：对所述目标左矩阵中属于所述第一掩码所指示的候选行、且属于所述第三掩码所指示的候选列中的元素，以及所述目标右矩阵中属于所述第二掩码所指示的候选列、且属于所述第三掩码所指示的候选行中的元素执行矩阵乘法运算，获得所述矩阵运算结果。5.根据权利要求4所述的矩阵运算方法，其特征在于，原始左矩阵和原始右矩阵为待相乘的两个矩阵，所述目标左矩阵为所述原始左矩阵按照第一目标尺寸的整数倍进行分割后产生的矩阵，所述第一目标尺寸为符合所述矩阵乘法指令的运算要求的左矩阵尺寸，所述目标右矩阵为所述原始右矩阵按照第二目标尺寸的整数倍进行分割后产生的矩阵，所述第二目标尺寸为符合所述矩阵乘法指令的运算要求的右矩阵尺寸，所述第一目标尺寸的列数等于所述第二目标尺寸的行数；所述第一掩码用于指示所述目标左矩阵中的每行是否来源于所述原始左矩阵，若来源于所述原始左矩阵，则该行为参与矩阵乘法运算的候选行，否则不是参与矩阵乘法运算的候选行；所述第二掩码用于指示所述目标右矩阵中的每列是否来源于所...

【专利技术属性】
技术研发人员：蔡慜，方宝辉，
申请(专利权)人：上海天数智芯半导体有限公司，
类型：发明
国别省市：