【技术实现步骤摘要】
本专利技术涉及数据处理，特别是一种基于深度张量表示的无监督多维数据复原方法与系统。
技术介绍
1、随着互联网和多媒体技术的快速发展，人们获取的数据逐渐趋向多维化，如视频数据、医学图像、高光谱遥感图像以及交通流量数据等。多维数据提供了丰富的数据结构信息，因此被广泛应用于农业监测、食品安全和医疗诊断等。然而，由于多维数据传感器的物理局限性、数据传输过程中的干扰和光子效应等影响，实际采集到的多维数据常常不可避免地存在各类退化现象，从而大大降低了其后续应用的精确性和实用价值。因此，如何有效的对多维数据进行复原是目前数学与信息科学交叉研究亟待解决的基础科学问题之一，具有重要的理论研究意义和实际应用价值。
2、近年来，基于变换的张量表示已成为解决多维数据复原问题的有力工具。基于变换的张量表示将多维数据表示为隐式的低秩张量，并挖掘其在变换域中的低秩性。现有基于变换的张量表示方法通常关注于变换域的设计以得到更紧凑的低秩张量表示，例如离散傅里叶变换、离散余弦变换、酉变换等。除了预定义变换之外，一些数据驱动变换也已用于基于变换的张量表示方法。为了进一步获得数据内部非线性的关系，更加灵活和强大的非线性变换也被提出用于基于变换的张量表示。
3、然而，这些基于变换的张量表示方法较少关注对潜在张量的刻画。之前的方法通常利用浅层的矩阵分解(如奇异值分解、非负矩阵分解、qr分解等)刻画潜在张量的低秩性。然而，由于浅层分解的表征能力有限，这些方法不能忠实地刻画潜在张量。此外，之前方法利用浅层的矩阵分解独立地刻画潜在张量正面切片的片内关系而
技术实现思路
1、为解决现有技术中存在的问题，本专利技术的目的是提供一种基于深度张量表示的无监督多维数据复原方法与系统，本专利技术避免了现有基于变换的张量表示方法中浅层分解对潜在张量表征不足以及不能刻画潜在张量正面切片片间关系的缺点。
2、为实现上述目的，本专利技术采用的技术方案是：一种基于深度张量表示的无监督多维数据复原方法，包括以下步骤：
3、步骤1、利用待复原的多维数据构造观测张量及二进制掩码张量；
4、步骤2、选择适合的未经训练的神经网络构建深度潜在生成模块gθ(·)和深度变换模块fε(·)；
5、步骤3、利用模块gθ(·)和fε(·)构建基于深度张量表示的无监督多维数据复原模型，模型表达式如下：
6、
7、其中，表示复原张量，表示观测张量，表示根据观测张量制作的二进制掩码张量，⊙表示张量逐点相乘；表示网络的一个随机输入，表示函数的复合，ε,θ分别为深度变换模块fε(·)和深度潜在生成模块gθ(·)中待学习的网络参数；
8、步骤4、利用给定的待复原多维数据对模型进行训练，确定超参数，直至网络预测性能达到预想效果后停止训练并得到输出张量。
9、在一个实施例中，所述步骤1中，构造观测张量具体如下:创建大小与待复原多维数据相同的全0张量，根据待复原多维数据未缺失区域的位置索引，令全0张量对应位置的值与待复原多维数据相应位置的值相等得到观测张量；构造二进制掩码张量具体如下:创建大小与观测张量相同的全1张量，根据观测张量缺失数据的位置索引，将全1张量对应位置的值置为0得到二进制掩码张量。
10、在一个实施例中，所述步骤2中，所述深度潜在生成模块gθ(·)为具有特征提取和刻画能力的未经训练的卷积神经网络架构，具体可包括u-net、v-net、densenet等；步骤2中，所述深度变换模块fε(·)为能够捕捉多维数据正面切片之间非线性关系的神经网络架构，如深度全连接网络fcn。
11、在一个实施例中，所述步骤3中，输入深度潜在生成模块gθ(·)的随机输入的第一、二维度大小应与观测张量大小相同，第三维度的大小可手工设定；步骤2中，一个张量的f范数平方，其计算为：
12、在一个实施例中，所述步骤4中，使用流行的专为深度学习框架设计的优化算法，即自适应矩估计adam算法对网络参数ε和θ进行优化更新；在步骤4中，所述超参数包括模型最大迭代次数、网络的层数、梯度下降学习率以及随机输入的第三维度大小。
13、本专利技术还提供一种基于深度张量表示的无监督多维数据复原系统，其特征在于，包括：输入模块，模型参数数据库，观测张量数据库及参数库，神经网络模型及参数库，处理模块及输出模块；其中：
14、模型参数数据库，用于存储用于存储如上所述的基于深度张量表示的无监督多维数据复原模型代码及至少一组超参数；
15、观测张量数据库及参数库，用于存储观测张量及二进制掩码张量；
16、神经网络模型及参数库,用于存储基于深度张量表示的无监督多维数据复原模型所要用到的所有神经网络及其对应的超参数；
17、处理模块，用于根据如上所述的基于深度张量表示的无监督多维数据复原方法，调用存储数据，对输入模块输入的待复原多维数据进行复原，并将复原后的多维数据通过输出模块进行输出。
18、本专利技术的有益效果是：
19、本专利技术通过利用深度潜在生成模块来直接生成潜在张量，挖掘潜在张量各切片之间的关系，使得模型能够更好地表示观测张量；同时，这种生成潜在张量的方式也避免了现有基于变换的张量表示方法需要利用可逆变换将数据映射到变换域的缺点。在工业场景下，根据实际应用可线下编写并调试效果更好的神经网络模型架构放入系统中的神经网络模型及参数库，系统可实现线下调试不同超参数的组合放入模型参数数据库，从而实现更好的数据复原结果。
本文档来自技高网...【技术保护点】
1.一种基于深度张量表示的无监督多维数据复原方法，包括以下步骤：
2.根据权利要求1所述的基于深度张量表示的无监督多维数据复原方法，其特征在于，在步骤1中，构造观测张量具体如下:创建大小与待复原多维数据相同的全0张量，根据待复原多维数据未缺失区域的位置索引，令全0张量对应位置的值与待复原多维数据相应位置的值相等得到观测张量；构造二进制掩码张量具体如下:创建大小与观测张量相同的全1张量，根据观测张量缺失数据的位置索引，将全1张量对应位置的值置为0得到二进制掩码张量。
3.根据权利要求2所述的基于深度张量表示的无监督多维数据复原方法，其特征在于，步骤2中，所述深度潜在生成模块gθ(·)为具有特征提取和刻画能力的未经训练的卷积神经网络架构，具体可包括U-Net、V-Net、DenseNet等；步骤2中，所述深度变换模块fε(·)为能够捕捉多维数据正面切片之间非线性关系的神经网络架构，如深度全连接网络FCN。
4.根据权利要求3所述的基于深度张量表示的无监督多维数据复原方法，其特征在于，在步骤3中，输入深度潜在生成模块gθ(·)的随机输入的第一、二维度
5.根据权利要求4所述的基于深度张量表示的无监督多维数据复原方法，其特征在于，在步骤4中，使用流行的专为深度学习框架设计的优化算法，即自适应矩估计Adam算法对网络参数ε和θ进行优化更新；在步骤4中，所述超参数包括模型最大迭代次数、网络的层数、梯度下降学习率以及随机输入的第三维度大小。
6.一种基于深度张量表示的无监督多维数据复原系统，其特征在于，包括：输入模块，模型参数数据库，观测张量数据库及参数库，神经网络模型及参数库，处理模块及输出模块；其中：
...【技术特征摘要】
1.一种基于深度张量表示的无监督多维数据复原方法，包括以下步骤：
2.根据权利要求1所述的基于深度张量表示的无监督多维数据复原方法，其特征在于，在步骤1中，构造观测张量具体如下:创建大小与待复原多维数据相同的全0张量，根据待复原多维数据未缺失区域的位置索引，令全0张量对应位置的值与待复原多维数据相应位置的值相等得到观测张量；构造二进制掩码张量具体如下:创建大小与观测张量相同的全1张量，根据观测张量缺失数据的位置索引，将全1张量对应位置的值置为0得到二进制掩码张量。
3.根据权利要求2所述的基于深度张量表示的无监督多维数据复原方法，其特征在于，步骤2中，所述深度潜在生成模块gθ(·)为具有特征提取和刻画能力的未经训练的卷积神经网络架构，具体可包括u-net、v-net、densenet等；步骤2中，所述深度变换模块fε(·)为能够捕捉多维数据正面切片之...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。