基于数组打包的矩阵乘法的分块参数空间优化方法技术

本发明专利技术涉及基于数组打包的矩阵乘法的分块参数空间优化方法，属于计算机数值计算领域，该方法包括以下步骤：S1：输入矩阵乘法算子；S2：获取相关的信息，选取RPMM变换；S3：定义优化Schedule；S4：计算参数空间；S5：计算缓存复杂度约束和向量化约束；S6：对参数空间进行过滤；S7：从候选参数空间中选取优化参数，结合RPMM变换和Schedule，计算矩阵乘法。本发明专利技术能够过滤掉那些由缓存和并行理论指导下的无法提供最佳性能的候选参数组合，用以解决将矩阵乘法的分块和并行计算扩展到多维度问题，能够提高矩阵乘法的计算效率。

【技术实现步骤摘要】
基于数组打包的矩阵乘法的分块参数空间优化方法
本专利技术涉及基于数组打包的矩阵乘法的分块参数空间优化方法，属于计算机数值计算领域，尤其适用于基于数组打包的矩阵乘法的分块参数空间优化。
技术介绍
深度学习的发展对各个科学领域产生了深远的影响，在自然语言处理(NLP)和计算机视觉(CV)等人工智能领域有显著的价值。随着卷积神经网络(CNN)、递归神经网络(RNN)、长短时记忆(LSTM)和生成性对抗性网络(GAN)等多功能深度学习模型的出现，为了实现其广泛部署和应用于各种硬件终端设备上，尤其是边缘设备和移动终端等，必须将神经网络模型优化到极致。在工业界和学术界，为了加速各种深度学习(DeepLearning，DL)芯片上的DL模型，将计算映射到DL高效的芯片是非常重要的。在通用芯片上，高度优化的线性代数库——如基本线性代数子程序(BLAS)库(如MKL和cuBLAS)——是有效计算DL模型的基础。以卷积操作为例，DL框架将卷积转换为矩阵乘法，然后调用BLAS库中的通用矩阵乘法(GeneralMatrixMultiplication，GEMM本文档来自技高网...

【技术保护点】
1.基于数组打包的矩阵乘法的分块参数空间优化方法，其特征在于，包括以下步骤：/nS1：根据工程系统问题，建立数学模型，提取其中矩阵乘法算子作为输入；/nS2：获取矩阵乘法算子中相乘矩阵的维度信息、运算浮点数精度要求、计算机硬件系统的信息，选取RPMM变换；/nS3：根据RPMM变换定义优化Schedule，对循环程序的分块进行优化；/nS4：根据相乘矩阵的维度信息，计算出矩阵乘法算子操作的参数空间；/nS5：计算针对RPMM变换的缓存复杂度约束和向量化约束；/nS6：根据缓存复杂度和向量化约束，对参数空间进行过滤，得出合理的候选参数空间；/nS7：采用迭代方法从候选参数空间中选取优化参数，结合...

【技术特征摘要】
1.基于数组打包的矩阵乘法的分块参数空间优化方法，其特征在于，包括以下步骤：
S1：根据工程系统问题，建立数学模型，提取其中矩阵乘法算子作为输入；
S2：获取矩阵乘法算子中相乘矩阵的维度信息、运算浮点数精度要求、计算机硬件系统的信息，选取RPMM变换；
S3：根据RPMM变换定义优化Schedule，对循环程序的分块进行优化；
S4：根据相乘矩阵的维度信息，计算出矩阵乘法算子操作的参数空间；
S5：计算针对RPMM变换的缓存复杂度约束和向量化约束；
S6：根据缓存复杂度和向量化约束，对参数空间进行过滤，得出合理的候选参数空间；
S7：采用迭代方法从候选参数空间中选取优化参数，结合RPMM变换和Schedule优化的循环程序，计算矩阵乘法。


2.根据权利要求1所述的基于数组打包的矩阵乘法的分块参数空间优化方法，其特征在于，步骤S1和步骤S2所述的矩阵乘法的算子形如：CM×N＝AM×K·(BN×K)T，将其中的矩阵AM×K、BN×K作为输入。


3.根据权利要求1所述的基于数组打包的矩阵乘法的分块参数空间优化方法，其特征在于，步骤S2中所述的维度信息为M、K、N的数值，其中，所述的运算浮点数精度要求为满足精度要求所需的字节数所述的计算机硬件系统的信息包含：CPU的核心数P，计算机缓存系统第二级缓存的大小L2，计算机缓存系统缓存行的大小向量化大小V。


4.根据权利要求1所述的基于数组打包的矩阵乘法的分块参数空间优化方法，其特征在于，所述的RPMM算法具体实现为：
S401：将矩阵BN×K在N维度上将矩阵按Nt大小进行预分块，计算公式为：D[o，k，i]：＝B[o·Nt+i，k]，同时还要满足o·Nt+i＜N，其中，整数i∈[0，Nt-1]，整数k∈[0，K-1]，整数表示向上取整，Nt为待优化的参数之一；
S402：按照进行计算，其中，y∈[0，M-1]，x∈[0，N-1]。


5.根据权利要求1所述的基于数组打包的矩阵乘法的分块参数空间优化方法，其特征在于，步骤S3...

【专利技术属性】
技术研发人员：陈长波，池昊宇，杨文强，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，
类型：发明
国别省市：重庆;50