一种基于张量列分解的图像修复方法技术

本发明专利技术公开了一种基于张量列分解的图像修复方法，涉及图像处理技术领域，包括使用多层增维方案，对低维的破损图像进行高维张量转换；约束该高维张量在张量列分解框架下的TT低秩性，联合差分项约束，构建出基于张量列分解的图像修复模型；基于ADMM方法，给出迭代求解算法；在增维方案下的基于张量列的图像修复，比直接进行基于张量列的图像修复更能提升修复精度；本发明专利技术提供了一种挖掘图像潜在的高维张量低秩性的图像多层增维方案，扩展了图像修复技术在高维张量层次上的技术思路；本发明专利技术能明显的提升图像和视频在多种破损形式下的修复精度。复精度。复精度。

【技术实现步骤摘要】
一种基于张量列分解的图像修复方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于张量列分解的图像修复方法。

技术介绍

[0002]图像或视频数据容易出现数据局部破损、椒盐噪声、像素点缺失、划痕破损、条纹状破损、字符覆盖等破损情况。图像修复指的是填充丢失像素点或恢复图像受损区域的过程，是一个不适定逆问题。本专利技术将图像和视频统称为图像。传统图像修复技术通常基于图像先验信息构建数学模型来求解修复问题。常用的先验信息有平滑性、变换域稀疏性和矩阵低秩性等。由于图像具有良好的局部相似性，在处理椒盐噪声、随机划痕、随机像素缺失等图像时基于矩阵低秩性的图像修复技术修复性能优异。在处理平行线条纹、方块状破损图像时，基于直接矩阵低秩性的修复技术修复效果往往不佳。
[0003]近年来，出现了多种新型张量分解框架用于处理高维数据，张量分析(包括张量分解和张量填充理论等)越来越受到关注。图像如RGB图像、RGB视频本身是一个三维张量，传统的张量CP分解或张量Tucker分解法在应用于图像修复问题时，直接将破损图像作为一个三维张量进行张量填充处理，并没有深入挖掘图像内部潜在的张量低秩性先验信息。对于高维张量，新型张量分解工具如张量列(tensor train,TT)分解比CP分解和TUCKER分解更适合描述张量的全局信息。然而，RGB图像数据由于维数较低直接利用张量列分解进行图像修复效果不佳。
[0004]针对以上问题，本专利技术为了在多种图像典型破损形式下，提升基于低秩性的图像修复技术的修复精度，深入挖掘图像的潜在张量低秩性先验信息，寻找一种将TT分解应用于图像修复问题的有效方法。
[0005]需要解决两个方面问题：
[0006]1.如果将低维的图像数据构造成一个高维张量，且能保证该高维张量具有张量列低秩性这一事实，那么图像修复问题就变成了一个适用于张量列分解的张量填充问题；
[0007]2.基于构造的高维张量，如何构建数学模型、如何求解修复问题。

技术实现思路

[0008]针对传统低秩性图像、视频修复方法，没有充分挖掘数据高维张量层次上的潜在低秩性先验信息，修复效果不佳问题，本专利技术提供了一种将张量列分解应用于图像修复问题的有效方法；首先，为挖掘图像的潜在张量列低秩性先验信息，设计一种多层数据增维方案，在不改变图像元素下将图像转为适合张量列分解的高维张量；然后，利用张量列分解进行图像修复建模和优化算法求解；本专利技术的目的主要是通过下述方案得以实现的：
[0009]一种基于张量列分解的图像修复方法，其特征在于，包括以下步骤：
[0010]S1：输入待修复的图像数据，读取图像数据的大小为a
×
b
×
t，获取待修复像素点位置集合Ω；
[0011]S2：设置多层张量增维操作算子Φ，将图像数据由低维张量增维为高维张量ΦX；
[0012]S3：设置获取高维张量ΦX的第n个TT矩阵的操作算子Tn；
[0013]S4：基于高维张量ΦX和获取高维张量ΦX的第n个TT矩阵的操作算子Tn，构建图像的数学修复模型；
[0014]S5：基于ADMM迭代优化算法，求解步骤S4中图像的数学修复模型；
[0015]S6：输出修复后的图像，显示、存储。
[0016]进一步的，步骤S2的具体操作包括以下步骤：
[0017]S201：判断待修复图像数据的行长a和列长b是否都满足2的几何倍增关系，若不满足则通过复制图像的边界区域来扩展行长和列长，使得a和b最小满足2的几何倍增关系，即a＝2
p
、b＝2
q
，其中p、q为大于2的整数；若满足，则直接进行步骤S202；
[0018]S202：初始化增维层次数i＝1；
[0019]S203：将每个图像数据按照四分提取法增加一个维度；
[0020]S204：判断是否等于4，若不等于4，则设置i＝i+1，执行步骤S203
‑
S204进行多层增维；若等于或小于4，则将步骤S203中获得的每个图像数据组合成大小为的高维张量ΦX，其中表示i个4连
×
；
[0021]S205：将上述步骤S201
‑
S204过程定义为张量增维操作算子Φ，经过上述i层增维，最后获得的高维张量ΦX的维度数为N＝i+2或N＝i+3。
[0022]进一步的，步骤S203中四分提取法的具体操作包括以下步骤：
[0023]S2031：将低维图像数据每隔一行和每隔一列提取像素值，划分出左上、右上、左下、右下四种像素值；
[0024]S2032：按照顺序重新组合成四个图像数据，得到增加了一个维度的图像数据。
[0025]进一步的，步骤S3的具体操作包括以下步骤：
[0026]S301：设置n＝1,
…
,N
‑
1，并行计算步骤S302；
[0027]S302：模
‑
(1,2,
…
,n)矩阵化张量ΦX获得ΦX的第n个TT矩阵，用A
[n]表示，A
[n]大小为m
×
h，其中I1×
I2×…×
I
N
为张量ΦX的大小，将此步骤定义为获取ΦX的第n个TT矩阵的操作算子T
n
。
[0028]进一步的，步骤S4的具体操作包括以下步骤：
[0029]S401：使用核范数约束高维张量ΦX的张量列低秩性，构建约束张量列低秩性的数学模型：
[0030]满足
[0031]其中X表示修复后的图像，Y表示待修复图像，||
·
||
*
表示核范数，加权值α
n
由以下公式计算，
[0032]其中
[0033]S402：建立联合约束张量列低秩性和局部平滑性的数学模型：
[0034]满足
[0035]其中，β＞0为引入的约束项平衡系数，||X||
TV
为用于约束局部平滑性的全变分TV约束项；D
x
、D
y
、D
t
分别表示沿行、列、时间帧方向上的差分算子，
[0036][0037][0038][0039]统一将D
x
、D
y
、D
t
描述为D，X为图像时DX即(D
x
X,D
y
X)，X为视频时DX即(D
x
X,D
y
X,D
t
X)；
[0040]S403：引入UV
H
分解代替核范数，将模型(2)优化为：
[0041][0042]满足
[0043]其中Λ
n
为引入的残差变量，n＝1,2,
…
,N
‑
1，ρ1＞0为引入的残差平衡系数，模型(3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于张量列分解的图像修复方法，其特征在于，包括以下步骤：S1：输入待修复的图像数据，读取图像数据的大小为a
×
b
×
t，获取待修复像素点位置集合Ω；S2：设置多层张量增维操作算子Φ，将图像数据由低维张量增维为高维张量ΦX；S3：设置获取高维张量ΦX的第n个TT矩阵的操作算子T
n
；S4：基于高维张量ΦX和获取高维张量ΦX的第n个TT矩阵的操作算子T
n
，构建图像的数学修复模型；S5：基于ADMM迭代优化算法，求解步骤S4中图像的数学修复模型；S6：输出修复后的图像，显示、存储。2.根据权利要求1所述的一种基于张量列分解的图像修复方法，其特征在于，步骤S2的具体操作包括以下步骤：S201：判断待修复图像数据的行长a和列长b是否都满足2的几何倍增关系，若不满足则通过复制图像的边界区域来扩展行长和列长，使得a和b最小满足2的几何倍增关系，即a＝2
p
、b＝2
q
，其中p、q为大于2的整数；若满足，则直接进行步骤S202；S202：初始化增维层次数i＝1；S203：将每个图像数据按照四分提取法增加一个维度；S204：判断是否等于4，若不等于4，则设置i＝i+1，执行步骤S203
‑
S204进行多层增维；若等于或小于4，则将步骤S203中获得的每个图像数据组合成大小为的高维张量ΦX，其中表示i个4连
×
；S205：将上述步骤S201
‑
S204过程定义为张量增维操作算子Φ，经过上述i层增维，最后获得的高维张量ΦX的维度数为N＝i+2或N＝i+3。3.根据权利要求2所述的一种基于张量列分解的图像修复方法，其特征在于，步骤S203中四分提取法的具体操作包括以下步骤：S2031：将低维图像数据每隔一行和每隔一列提取像素值，划分出左上、右上、左下、右下四种像素值；S2032：按照顺序重新组合成四个图像数据，得到增加了一个维度的图像数据。4.根据权利要求3所述的一种基于张量列分解的图像修复方法，其特征在于，步骤S3的具体操作包括以下步骤：S301：设置n＝1,
…
,N
‑
1，并行计算步骤S302；S302：模
‑
(1,2,
…
,n)矩阵化张量ΦX获得ΦX的第n个TT矩阵，用A
[n]
表示，A
[n]
大小为m
×
h，其中I1×
I2×…×
I
N
为张量ΦX的大小，将此步骤定义为获取ΦX的第n个TT矩阵的操作算子T
n
。5.根据权利要求4所述的一种基于张量列分解的图像修复方法，其特征在于，步骤S4的
具体操作包括以下步骤：S401：使用核范数约束高维张量ΦX的张量列低秩性，构建约束张量列低秩性的数学模型：其中X表示修复后的图像，Y表示待修复图像，||
·
||
*
表示核范数，加权值α
n
由以下公式计算，其中S402：建立联合约束张量列低秩性和局部平滑性的数学模型：其中，β＞0为引入的约束项平衡系数，||X||
TV
为用于约束局部平...

【专利技术属性】
技术研发人员：马淑丽，杜慧茜，贾录良，孙硕，储飞黄，方胜良，牛誉霏，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：