一种基于低秩结构的数据复原方法与系统技术方案

本申请涉及一种基于低秩结构的数据复原方法和系统。该方法包括：采集图像数据集，分析所述图像数据集中不同区域和位置的目标遮挡对目标数据的质量和信噪比影响；根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型；通过所述低秩矩阵数据复原模型，并根据半二次最小化理论，对所述图像数据集的目标数据中的缺失部分进行数据复原。本发明专利技术实施例针对有遮挡的目标数据缺失问题，通过在损失函数上引入鲁棒因子，设计了基于半二次最小化的低秩矩阵数据复原方法，并借助于半二次最小化理论进行优化求解，实现遮挡目标数据矩阵恢复，同时有效降低了数据缺失和噪声样本点的干扰。同时有效降低了数据缺失和噪声样本点的干扰。同时有效降低了数据缺失和噪声样本点的干扰。

【技术实现步骤摘要】
一种基于低秩结构的数据复原方法与系统


[0001]本申请涉及数据复原领域，特别是涉及一种基于低秩结构的数据复原方法与系统。

技术介绍

[0002]目标遮挡即为数据特征缺失，是机器学习和信号处理领域中不完全数据分析的典型场景之一。针对信息不完全数据的学习方法在推荐系统、医疗数据分析、图像恢复和图像超分辨等若干领域有着广泛的应用。
[0003]针对标签信息不完全问题，常常采用半监督学习和弱监督学习等方法对标签信息增强。例如，基于生成式模型的半监督分类方法是比较早的学习方法，其核心思想是采用聚类假设，综合标签数据和未标签数据，建立数据的联合概率分布模型，通过假定数据的概率分布模型来求出数据属于某一类的后验概率。该类方法的缺点建立模型前需要假定数据的概率分布，然而实际中由于数据的稀疏性，假定的概率分布往往是不准确的。此外，基于图的半监督分类方法其核心思想为标签信息传播，通过构造一个加权无向图来表达数据两两之间的关系，根据图上的加权连接信息使得标签信息从标签数据向无标签数据传播。当图矩阵构造质量较高时，该类方法能实现良好的效果，其缺点在于该方法是直推式模型，处理新来数据时需要重新训练模型。判别式半监督分类方法通过学习使得分类超平面到最近的样例间距最大化。自训练半监督分类方法首先用标签样本构造分类器对未标签样本进行预测，将可信度较高的未标签样本及其预测标签作为标签数据加入训练集中。该方法需要不断加入新的数据对分类器进行迭代的训练，因此所需时间较长，此外若初始分类器有偏差，则误差会持续累积，导致最终模型不精确。
专利
技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种基于低秩结构的数据复原方法和系统。
[0005]第一方面，本专利技术实施例提供了一种基于低秩结构的数据复原方法，该方法包括：
[0006]采集图像数据集，分析所述图像数据集中不同区域和位置的目标遮挡对目标数据的质量和信噪比影响；
[0007]根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型；
[0008]通过所述低秩矩阵数据复原模型，并根据半二次最小化理论，对所述图像数据集的目标数据中的缺失部分进行数据复原。
[0009]进一步的，所述采集图像数据集，分析所述图像数据集中不同区域和位置的目标遮挡对目标数据的质量和信噪比影响，包括：
[0010]将所述图像数据集中的缺失数据转换为高维缺失数据矩阵X，所述高维缺失数据矩阵X通过真实数据矩阵Z和噪声E混合产生；
[0011]将真实数据矩阵Z分解为两个低秩矩阵的乘积，即Z＝UW，其中，W∈R
k
×
n
为低维表示矩阵，U∈R
d
×
k
是低维表示子空间基矩阵。
[0012]进一步的，所述根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型，包括：
[0013]构建的所述低秩矩阵数据复原模型为：
[0014][0015]其中，f(Z，U，W)表示低秩近似的损失函数，φ(U)和是加在低维表示子空间基矩阵U和低维表示矩阵W的正则项，λ和γ是大于零的超参数。
[0016]进一步的，所述根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型，还包括：
[0017]通过半二次最小化稳健估计函数增强学习模型的鲁棒性，将所述损失函数表示为：
[0018][0019]引入鲁棒因子l1‑
l2的鲁棒估计器，为所述损失函数缺失样本和异常点分配了更小的去权重，将所述损失函数再次转换为：
[0020][0021]在所述损失函数引入潜在函数ρ(t)，并将潜在函数的等价转化为
[0022][0023]其中，s为辅助变量，ψ(s)为鲁棒因子的对偶函数；则所述损失函数进一步转换为：
[0024][0025]另一方面，本专利技术实施例还提供了一种基于低秩结构的数据复原系统，包括：
[0026]图像缺失分析模块，用于采集图像数据集，分析所述图像数据集中不同区域和位置的目标遮挡对目标数据的质量和信噪比影响；
[0027]数据复原模型模块，用于根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型；
[0028]图像复原模块，用于通过所述低秩矩阵数据复原模型，并根据半二次最小化理论，对所述图像数据集的目标数据中的缺失部分进行数据复原。
[0029]进一步的，所述图像缺失分析模块包括低秩表示单元，所述低秩表示单元用于：
[0030]将所述图像数据集中的缺失数据转换为高维缺失数据矩阵X，所述高维缺失数据矩阵X通过真实数据矩阵Z和噪声E混合产生；
[0031]将真实数据矩阵Z分解为两个低秩矩阵的乘积，即Z＝UW，其中，W∈R
k
×
n
为低维表示矩阵，U∈R
d
×
k
是低维表示子空间基矩阵。
[0032]进一步的，所述数据复原模型模块包括目标函数单元，所述目标函数单元用于：
[0033]构建的所述低秩矩阵数据复原模型为：
[0034][0035]其中，f(Z，U，W)表示低秩近似的损失函数，φ(U)和是加在低维表示子空间基矩阵U和低维表示矩阵W的正则项，λ和γ是大于零的超参数。
[0036]进一步的，所述数据复原模型模块还包括损失函数单元，所述损失函数单元用于：
[0037]通过半二次最小化稳健估计函数增强学习模型的鲁棒性，将所述损失函数表示为：
[0038][0039]引入鲁棒因子l1‑
l2的鲁棒估计器，为所述损失函数缺失样本和异常点分配了更小的去权重，将所述损失函数再次转换为：
[0040][0041]在所述损失函数引入潜在函数ρ(t)，并将潜在函数的等价转化为
[0042][0043]其中，s为辅助变量，ψ(s)为鲁棒因子的对偶函数；则所述损失函数进一步转换为：
[0044][0045]进一步的，所述数据复原模型模块还包括模型求解单元，所述模型求解单元用于：
[0046]在所述低维表示子空间基矩阵U上加上平滑项，即在低维表示矩阵W上加入核范数的正则项，即
[0047]将构建的所述低秩矩阵数据复原模型转换为：
[0048][0049]通过减少异常样本或者缺失样本对模型的影响，根据鲁棒因子将所述低秩矩阵数据复原模型再次转换为：
[0050][0051]采用交替最小化策略进行求解，将其他变量看作为已知变量并固定，更新其中一组变量，获取所述低秩矩阵数据复原模型的求解结果。
[0052]上述基于低秩结构的数据复原方法和系统，该方法包括：采集图像数据集，分析所述图像数据集中不同区域和位置的目标遮挡对目标数据的质量和信噪比影响；根据分析的结果，针对所述图像数据集中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于低秩结构的数据复原方法，其特征在于，所述方法包括：采集图像数据集，分析所述图像数据集中不同区域和位置的目标遮挡对目标数据的质量和信噪比影响；根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型；通过所述低秩矩阵数据复原模型，并根据半二次最小化理论，对所述图像数据集的目标数据中的缺失部分进行数据复原。2.根据权利要求1所述的基于低秩结构的数据复原方法，其特征在于，所述采集图像数据集，分析所述图像数据集中不同区域和位置的目标遮挡对目标数据的质量和信噪比影响，包括：将所述图像数据集中的缺失数据转换为高维缺失数据矩阵X，所述高维缺失数据矩阵X通过真实数据矩阵Z和噪声E混合产生；将真实数据矩阵Z分解为两个低秩矩阵的乘积，即Z＝UW，其中，W∈R
k
×
n
为低维表示矩阵，U∈R
d
×
k
是低维表示子空间基矩阵。3.根据权利要求1所述的基于低秩结构的数据复原方法，其特征在于，所述根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型，包括：构建的所述低秩矩阵数据复原模型为：其中，f(Z，U，W)表示低秩近似的损失函数，φ(U)和是加在低维表示子空间基矩阵U和低维表示矩阵W的正则项，λ和γ是大于零的超参数。4.根据权利要求2所述的基于低秩结构的数据复原方法，其特征在于，所述根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型，还包括：通过半二次最小化稳健估计函数增强学习模型的鲁棒性，将所述损失函数表示为：引入鲁棒因子l1‑
l2的鲁棒估计器，为所述损失函数缺失样本和异常点分配了更小的去权重，将所述损失函数再次转换为：在所述损失函数引入潜在函数ρ(t)，并将潜在函数的等价转化为其中，s为辅助变量，ψ(s)为鲁棒因子的对偶函数；则所述损失函数进一步转换为：
5.根据权利要求4所述的基于低秩结构的数据复原方法，其特征在于，所述根据分析的结果，针对所述图像数据集中有遮挡的目标数据缺失，构建基于半二次最小化的低秩矩阵数据复原模型，还包括：在所述低维表示子空间基矩阵U上加上平滑项，即在低维表示矩阵W上加入核范数的正则项，即将构建的所述低秩矩阵数据复原模型转换为：通过减少异常样本或者缺失样本对模型的影响，根据鲁棒因子将所述低秩矩阵数据复原模型再次转换为：采用交替最小化策略进行求解，将其他变量看作为已知变量并...

【专利技术属性】
技术研发人员：罗廷金，刘玥瑛，侯臣平，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：