【技术实现步骤摘要】
【国外来华专利技术】使用矩阵乘法加速器(MMA)实施基本计算原语
技术介绍
诸如语音识别、智能工业控制、对象检测和识别以及视觉等应用越来越多地迁移到嵌入式设备。在此类设备中可能需要硬件加速以支持在此类应用中使用的算法的计算需求。
技术实现思路
本文描述的示例涉及使用矩阵乘法加速器来实施基本计算原语。在一个方面,提供一种用于在设备中执行基本计算原语的方法,其中该设备包括处理器和矩阵乘法加速器(MMA)。该方法包括配置设备中的流式传输引擎以从存储器流式传输用于基本计算原语的数据,配置MMA以格式化数据,以及由设备执行基本计算原语。在一个方面,提供一种设备,该设备包括存储器、耦合到存储器的处理器以及耦合到处理器的矩阵乘法加速器(MMA),该MMA包括乘数缓冲器和第一被乘数缓冲器,其中该设备可操作以配置设备中的流式传输引擎以从存储器流式传输用于基本计算原语的数据,配置MMA以格式化数据并执行基本计算原语。附图说明图1描绘可配置成使用耦合到处理器的矩阵乘法加速器(MMA)来实施基本计算原语的示例设备。图2为用于在图1的设备中执行基本计算原语的方法的流程图。图3为示出图1的设备中的批量小矩阵矩阵乘法的实施方式的示例。图4为示出图1的设备中的大矩阵矩阵乘法的实施方式的示例。图5为示出图1的设备中的矩阵矩阵逐点乘法的实施方式的示例。图6为示出图1的设备中的矩阵矩阵加法的实施方式的示例。图7为示出图1的设备中的小向量矩阵乘法的实施方式的示例。图8为示出图1的设备中的小向量求和的实施方式的示例。图9为示出图1的设备中的仿射变换的实施方式的示例。图10和图11为示出图1的设备中的二维(2D)卷积的实施方式的 ...
【技术保护点】
1.一种用于在设备中执行基本计算原语的方法,所述设备包括处理器和矩阵乘法加速器即MMA,所述方法包括:配置被包括在所述设备中的流式传输引擎以从存储器流式传输用于所述基本计算原语的数据;配置所述MMA以格式化所述数据;以及由所述设备执行所述基本计算原语。
【技术特征摘要】
【国外来华专利技术】2017.03.01 US 62/465,620;2018.02.28 US 15/907,3561.一种用于在设备中执行基本计算原语的方法,所述设备包括处理器和矩阵乘法加速器即MMA,所述方法包括:配置被包括在所述设备中的流式传输引擎以从存储器流式传输用于所述基本计算原语的数据;配置所述MMA以格式化所述数据;以及由所述设备执行所述基本计算原语。2.根据权利要求1所述的方法,其中执行所述基本计算原语还包括在使用第二被乘数矩阵缓冲器中的数据执行矩阵乘法的同时将数据加载到第一被乘数矩阵缓冲器中,所述第一被乘数矩阵缓冲器和所述第二被乘数矩阵缓冲器被包括在所述MMA中。3.根据权利要求1所述的方法,其中配置所述MMA还包括配置所述MMA以偏移被包括在所述MMA中的被乘数矩阵缓冲器中的加载数据。4.根据权利要求1所述的方法,其中所述数据包括矩阵的行,并且其中执行所述基本计算原语还包括将所述数据复制到被包括在所述MMA中的被乘数矩阵缓冲器中的列。5.根据权利要求1所述的方法,还包括配置所述处理器以将零填充添加到所述MMA的输出。6.根据权利要求1所述的方法,还包括配置所述处理器以对所述MMA的输出执行接缝去除。7.根据权利要求1所述的方法,还包括配置所述处理器以根据指定步幅对所述MMA的输出执行列子采样。8.根据权利要求1所述的方法,其中配置所述流式传输引擎还包括配置所述流式传输引擎以将多个特征映射的数据瓦片式拼接为滤波矩阵。9.根据权利要求8所述的方法,其中选择数据瓦片的大小,使得在所述MMA的所述输出中不存在接缝。10.根据权利要求8所述的方法,其中选择数据瓦片的大小,使得接缝始终在所述MMA的所述输出中的相同位置。11.根据权利要求1所述的方法,其中所述数据包括复数,其中所述复数的实部和虚部被交错存储在所述存储器中,并且所述方法还包括配置所述处理器以将每个复数分成所述实部和所述虚部,以用于加载到所述MMA中。12.根据权利要求1所述的方法,其中所述基本计算原语为快速傅里叶变换即FFT,并且执行所述基本计算原语还包括:将离散傅里叶变换矩阵即DFT矩阵加载到被包括在所述MMA中的乘数矩阵缓冲器中,并将数据矩阵加载到被包括在所述MMA中的被乘数矩阵缓冲器中,以对所述数据矩阵的列执行所述FFT;以及将所述数据矩阵加载到所述乘数矩阵缓冲器中并且将所述DFT矩阵加载到被乘数矩阵缓冲器中,以对所述数据矩阵的行执行所述FFT。13.根据权利要求1所述的方法,其中所述数据包括长度大于被包括在所述MMA中的被乘数矩阵缓冲器的宽度的滤波器,并且所述滤波器被分解成多个较小滤波器,其中所述较小滤波器的大小被挑选为在最大化所述MM...
【专利技术属性】
技术研发人员:A·J·雷德芬,T·D·安德森,K·车尔卡,C·罗,Z·余,
申请(专利权)人:德克萨斯仪器股份有限公司,
类型:发明
国别省市:美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。