一种基于卷积神经网络的稀疏张量存储格式自动选择方法技术

本发明专利技术公开了一种基于卷积神经网络的稀疏张量存储格式自动选择方法，包括：1)通过展平和映射两种转换方法分别将多维张量降低为二维矩阵；2)通过密度表示或直方图表示将矩阵缩放为固定大小；3)将固定大小的矩阵作为卷积神经网络CNN的输入，其中CNN的结构为面向稀疏张量存储格式自动选择而设计定制；4)用监督学习的方法训练CNN并得到训练后的网络模型；5)将新的稀疏张量作为网络模型的输入，前向传播后得到该张量的最佳存储格式。本发明专利技术利用CNN在分类问题下的优势，并结合前馈神经网络FFNN以适配最佳稀疏张量存储格式的预测，在充分保留张量特征的前提下，将稀疏张量有效地转换为固定大小的矩阵输入，可适用于高阶张量在任意张量计算下的稀疏格式的自动选择。

【技术实现步骤摘要】
一种基于卷积神经网络的稀疏张量存储格式自动选择方法
本专利技术涉及卷积神经网络、稀疏张量存储格式和张量计算等领域，特别是设计一种基于卷积神经网络的稀疏张量存储格式自动选择方法。
技术介绍
张量一般表示超过二维的高维数据。多维张量被广泛应用于科学计算、数值分析和机器学习等领域。由于现实中的张量通常很大且非常稀疏，因此许多现有工作基于计算模式和操作依赖性优化张量计算的性能。尽管并行化可显著提升张量计算的性能，但其仍受到稀疏模式和硬件特征的限制。因此，现有工作已经提出多样的稀疏张量格式，从而通过与稀疏和硬件相适应的共同设计的存储和算法来提高计算性能。然而，由于复杂的稀疏模式和多样的硬件特性，张量计算的最佳稀疏存储格式差异很大。因此，确定多样硬件平台下不同稀疏张量对于张量计算的最佳存储格式具有挑战性。稀疏张量的存储格式选择可以看作是分类问题。事实证明，此问题非常适合深度学习技术，而这些技术已证明它们在图像分类和目标检测中的有效性。具体而言，卷积神经网络(ConvolutionNeuralNetwork，简称为CNN)由于无需人工就能捕获输入数据本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的稀疏张量存储格式自动选择方法，其特征在于，包括以下步骤：/n步骤1：首先收集物理实体生产和运行的稀疏矩阵数据集，然后，将稀疏矩阵在行和列的索引值合并为稀疏张量的高维或低维，最终生成预定阶的稀疏张量数据集；/n步骤2：将稀疏张量数据集存储为多样的稀疏张量格式在预定硬件平台上执行张量计算，并得到其执行时间，再将执行时间转换为相应张量数据的标签；/n步骤3：通过映射的方法将稀疏张量数据沿某一维度降低为若干个矩阵，该维度与步骤2中执行张量计算的维度相对应；/n步骤4：通过展平的方法将稀疏张量数据沿某一维度降低为一个矩阵，该维度与步骤2中执行张量计算的维度相对应；/n步骤5：将...

【技术特征摘要】
1.一种基于卷积神经网络的稀疏张量存储格式自动选择方法，其特征在于，包括以下步骤：
步骤1：首先收集物理实体生产和运行的稀疏矩阵数据集，然后，将稀疏矩阵在行和列的索引值合并为稀疏张量的高维或低维，最终生成预定阶的稀疏张量数据集；
步骤2：将稀疏张量数据集存储为多样的稀疏张量格式在预定硬件平台上执行张量计算，并得到其执行时间，再将执行时间转换为相应张量数据的标签；
步骤3：通过映射的方法将稀疏张量数据沿某一维度降低为若干个矩阵，该维度与步骤2中执行张量计算的维度相对应；
步骤4：通过展平的方法将稀疏张量数据沿某一维度降低为一个矩阵，该维度与步骤2中执行张量计算的维度相对应；
步骤5：将步骤3和步骤4中生成的不规则大小的矩阵通过密度表示或直方图表示缩放为固定大小的矩阵；
步骤6：通过除以矩阵中元素的最大值将固定大小的矩阵中所有元素的值归一化为[0，1]的范围；
步骤7：分析稀疏张量数据并获得张量的候选特征集，其中包括稀疏张量的全局特征和局部特征；
步骤8：每个稀疏张量经步骤6生成的归一化矩阵和步骤7生成的候选特征集组成了该张量的特征集合，将所有张量的特征集合和标签按编号索引排成列表，从而形成卷积神经网络(ConvolutionNeuralNetwork，简称为CNN)的训练集；
步骤9：将训练集作为定制化的CNN的输入，经训练过程后生成训练后的网络模型；
步骤10：当选择新的输入稀疏张量数据的最佳存储格式时，则重新执行步骤3-7，再将稀疏张量的归一化矩阵和候选特征集组合为定制化的CNN的预测集；
步骤11：将预测集输入到训练后的网络模型，输出为每个稀疏张量存储格式取得最佳性能的概率，取得最大概率的稀疏格式被选择为该张量执行张量计算的存储格式；
步骤12：重复步骤10-11直到所有待预测的稀疏张量的存储格式被选择完成；
步骤13：若要在新的硬件平台实现稀疏张量格式的自动选择，有两种情况：一为硬件架构和软件系统相同，此时保留步骤9生成的训练后的模型，并重新执行步骤12；二为硬件架构和软件系统有多个差别，此时不保留步骤9生成的训练后的模型，并重新执行步骤2-12；
步骤14：若需更换矩阵缩放的方法，则重新执行步骤5并微调步骤9中定制化CNN的网络结构，再重新执行步骤8-12以自动选择所有待预测的稀疏张量的存储格式；
步骤15：若要基于其他张量计算实现稀疏张量格式的自动选择，则重新执行步骤2以获取相应张量数据的新标签，再重新执行步骤8-12；
步骤16：若要对其他阶的稀疏张量实现存储格式的自动选择，则微调步骤9中定制化CNN的网络结构，并重新执行步骤1-12。


2.根据权利要求1所述的一种基于卷积神经网络的稀疏张量存储格式自动选择方法，其特征在于：所述步骤1中，将稀疏矩阵在行和列的索引值合并为稀疏张量的高维或低维，此外，对于现实物理实体生产和运行中获取的真实稀疏矩阵数据，随机选取两个或多个稀疏矩阵合并得到预定数量的稀疏张量数据用于网络训练。


3.根据权利要求1所述的一种基于卷积神经网络的稀疏张量存储格式自动选择方法，其特征在于：所述步骤2中，将执行时间转换为相应张量数据的标签，具体转换方法为将执行时间最短的稀疏存储格式标记为1，其他稀疏存储格式标记为0，从而得到相应张量的位(bit)标签。


4.根据权利要求1所述的一种基于卷积神经网络的稀疏张量存储格式自动选择方法，其特征在于：所述步骤3中，通过映射的方法将稀疏张量数据沿某一维度降低为若干个矩阵，其中映射方法体现了非模态索引的垂直分布；具体方法如下：
(1)假设张量X为三阶，且沿第一个维度(Mode-1)映射为矩阵A，具体来说，将张量沿Mode-1的所有切片(Slice)的非零值映射并累加到同一个切片上，累加时非零值都看作是1，定义X∈RI×J×K，A∈RJ×K，其中I、J、K为张量X在三个方向的维度大小，则矩阵A的计算公式为张量X沿其他维度的映射矩阵同理类推；
(2)假设张量X为N阶，且沿Mode-1映射为若干个矩阵，具体来说，每次在固定N-2个索引的情况下将非零值映射到同一个切片，最终生成个矩阵，定义其中IN表示第N个维度的大小，则张量X沿Mode-1映射到矩阵A的计算公式为张量X沿Mode-1生成的其他矩阵同理类推。


5.根据权利要求1所述的一种基于卷积神经网络的稀疏张量存储格式自动选择方法，其特征在于：所述步骤4中，通过展平的方法将稀疏张量数据沿某一维度降低为一个矩阵，其中展平方法体现了模态索引的水平分布，展平即用矩...

【专利技术属性】
技术研发人员：杨海龙，孙庆骁，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11