一种基于张量块循环展开的彩色图像补全方法技术

本发明专利技术公开了一种基于张量块循环展开的彩色图像补全方法，属于图像处理技术领域。首先输入待补全图像并对缺失像素进行n近邻初始化，得到目标图像；然后初始化模型参数，估计目标图像的块循环展开秩并设置权重系数。接着将目标图像以张量形式输入图像补全模型，并采用交替方向乘子法通过迭代对模型进行凸优化求解，其中图像补全模型为基于张量块循环展开的低秩矩阵因式分解模型。最后，对迭代得到的张量进行数据格式转换，使之以待补全图像的格式输出。本方法在进行张量块循环展开时增加了图像切片之间的联系性，从而在一定程度上降低了展开操作所造成的图像结构信息的损失；补全图像的峰值信噪比有了显著提高，且纹理和细节信息更加丰富。

【技术实现步骤摘要】
一种基于张量块循环展开的彩色图像补全方法
本专利技术属于图像处理
，具体涉及一种基于张量块循环展开的彩色图像补全方法。
技术介绍
随着时代的发展和科技的进步，数据的表现形式不断地推陈出新。针对图像数据而言，黑白时代利用矩阵即可表示和处理；然而进入彩色时代，利用矩阵处理图像变得困难，于是高阶数组被用来储存图像以保存其特殊的结构，这种高阶数组通常被称为张量。张量是向量和矩阵概念的推广，向量和矩阵可视为特殊的一阶张量和二阶张量。视觉信息是人们日常生活中感知和认知世界最多且最有效的一种信息，从二维的灰度图像到三通道彩色图像，乃至四维的视频数据，图像无时不刻充斥着人们生活的方方面面。然而，在图像的形成、传输和保存的过程中，由于成像系统、记录设备和保存环境的不完善等的影响，导致图像质量的下降；而高质量图像所带来的视觉感知和图像信息是损坏图像无法比拟的。因此，通过张量补全来进行图像恢复具有重要的研究意义和应用价值。目前，张量补全主要是利用张量的低秩特性对待补全张量进行优化求解，较成熟的方法是通过不同的张量分解模型对张量进行展开，并对展开矩阵采用低秩矩阵补全的方法进行处理。张量分解模型主要有CP分解、Tucker分解、TensorTrain(TT)分解、TensorRing(TR)分解以及HierarchicalTensor(HT)分解等；然而，利用上述分解模型对张量进行展开时不可避免地破坏了张量的原始结构，一定程度上降低了张量元素之间的联系性。从而导致张量补全效果不尽人意。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供一种基于张量块循环展开的彩色图像补全方法，简便高效，补全图像的峰值信噪比有了显著提高，且纹理和细节信息更加丰富。本专利技术是通过以下技术方案来实现：一种基于张量块循环展开的彩色图像补全方法，包括以下步骤：步骤1：输入待补全图像并对其缺失像素进行n近邻初始化，得到目标图像；步骤2：设置最大迭代次数K、块循环秩的截断参数thre以及相邻两次迭代间的误差阈值ε；步骤3：估计目标图像的块循环秩r＝[r1,r2,r3]，并设置展开矩阵的权重系数α＝[α1,α2,α3]，其中，α1+α2+α3＝1；步骤4：将目标图像以张量形式输入图像补全模型，并采用交替方向乘子法通过迭代对图像补全模型进行凸优化求解，其中，图像补全模型为基于张量块循环展开的低秩矩阵因式分解模型；步骤5：计算相邻两次迭代之间的相对误差RE；步骤6：当迭代次数达到最大迭代次数K或相邻两次迭代间的相对误差RE小于相邻两次迭代间的误差阈值ε时，输出图像，完成图像的补全；否则跳至步骤4进行下一次迭代。优选地，步骤1具体为：对于待补全图像初始化未知像素点的值为其n近邻已知像素点的均值，得到目标图像并使其中Ω为图像像素点的可观测子集。进一步优选地，近邻n的取值为待补全图像可观测像素点比例的10～30倍。优选地，步骤2中，最大迭代次数K为100，块循环秩的截断参数0.005≤thre≤0.02，相邻两次迭代间的误差阈值ε为0.001。优选地，步骤3的具体步骤为：首先对目标图像的几个维度分别作块循环展开，得到展开矩阵X(n),n＝1,2,3：然后估计块循环展开矩阵X(n)的截断秩rn以及权重系数αn；截断秩rn定义如下：其中为X(n)SVD分解的奇异值矩阵S(n)中第i个由大到小排列的奇异值；对于展开矩阵其权重系数αn定义为矩阵行数和列数的较小值：αn＝min(IaIn,IbIn)α＝α/sum(α)。优选地，步骤4包括以下步骤：步骤4.1：对输入张量进行块循环展开，建立基于张量块循环展开的低秩矩阵因式分解模型目标函数；步骤4.2：针对步骤4.1中的优化问题，采用交替方向乘子法进行凸优化求解得到解矩阵步骤4.3：对解矩阵作逆张量块循环展开构造与原始张量同样大小的张量利用步骤3中得到的权重系数对张量加权求和得到补全张量利用可观测子集Ω实现进一步优选地，步骤4.1具体为：展开矩阵通过因式分解表示为X(n)＝UnVn,建立如下基于张量块循环展开的低秩矩阵因式分解模型目标函数：其中，表示矩阵X的Frobenius范数。进一步优选地，步骤4.2中，采用交替方向乘子法进行凸优化求解，具体为：进一步优选地，步骤4.3中，利用步骤4.2中的解矩阵构造张量时，的具体切片块为解矩阵中相同切片块之和的均值；并且通过可观测子集Ω实现优选地，步骤5中，相邻两次迭代之间的相对误差定义为：其中为本次迭代计算结果，为上次迭代计算结果。与现有技术相比，本专利技术具有以下有益的技术效果：本专利技术公开的基于张量块循环展开的彩色图像补全方法，在张量块循环矩阵基础上提出了一种新的张量展开模型，即张量块循环展开；利用该展开模型，展开矩阵的行数和列数更加平衡、更接近方阵。相比于mode-n和modes-n展开方式，虽然块循环展开矩阵依旧在一定程度上破坏了原始张量结构，但通过张量块循环组合的方式，增加了张量数据各元素之间的联系性，从而在一定程度上弥补了结构破坏带来的不利影响，使本专利技术能够得到更好的补全效果。同时，从张量块循环展开矩阵出发，本专利技术定义的块循环秩，其本质为展开矩阵的截断秩，使得本专利技术中所采用的张量补全算法在迭代过程可以采用矩阵因式分解进行优化求解，从而避免了采用SVD分解方案的巨大计算量。采用该方法补全图像的峰值信噪比有了显著提高，且纹理和细节信息更加丰富。进一步地，一般情况下当图像像素点缺失大于90％时补全效果不再显著，因此本专利技术主要针对缺失率小于等于90％的情况。当利用n近邻方法对图像缺失像素点进行初始化时，为了使初始化像素值更加接近真实值，需要保证近邻的数量大于等于3；而为了提升效率，n的值不宜过大，一般设置不超过10，因此n的取值设置为图像可观测像素点比例的10～30倍，使其处于一个合理的范围。进一步地，迭代次数为一个经验值，需要经过多次实验得到，若设置过小，则凸优化无法达到最优值，若设置过大，则可能造成过拟合。经过多次实验验证，最大迭代次数设置为100左右比较合适。在凸优化迭代过程中，算法的收敛速度随着迭代次数的增加逐渐减小，当算法的收敛速度很小时，每次迭代对算法结果的优化将不再显著；本专利技术中所定义的迭代误差和收敛速度呈正相关，故当相邻两次迭代间的误差满足误差条件时，停止迭代以减小算法耗时。实验中我们发现当相邻两次迭代间的误差小于0.001时，后续迭代对补全图像质量的提升十分有限，因此误差阈值ε设置为0.001。附图说明图1为本专利技术的基于张量块循环展开的彩色图像补全方法的流程图；图2是本专利技术张量块循环展开与mode-n展开对比示意图(三阶彩色图像数据沿第三个维度展开)；图3是本专利技术实施例中原始图像Lena；图4是本专利技术实施例中原始图像Hou本文档来自技高网...

【技术保护点】
1.一种基于张量块循环展开的彩色图像补全方法，其特征在于，包括以下步骤：/n步骤1：输入待补全图像并对其缺失像素进行n近邻初始化，得到目标图像；/n步骤2：设置最大迭代次数K、块循环秩的截断参数thre以及相邻两次迭代间的误差阈值ε；/n步骤3：估计目标图像

【技术特征摘要】
1.一种基于张量块循环展开的彩色图像补全方法，其特征在于，包括以下步骤：
步骤1：输入待补全图像并对其缺失像素进行n近邻初始化，得到目标图像；
步骤2：设置最大迭代次数K、块循环秩的截断参数thre以及相邻两次迭代间的误差阈值ε；
步骤3：估计目标图像的块循环秩r＝[r1,r2,r3]，并设置展开矩阵的权重系数α＝[α1,α2,α3]，其中，α1+α2+α3＝1；
步骤4：将目标图像以张量形式输入图像补全模型，并采用交替方向乘子法通过迭代对图像补全模型进行凸优化求解，其中，图像补全模型为基于张量块循环展开的低秩矩阵因式分解模型；
步骤5：计算相邻两次迭代之间的相对误差RE；
步骤6：当迭代次数达到最大迭代次数K或相邻两次迭代间的相对误差RE小于相邻两次迭代间的误差阈值ε时，输出图像，完成图像的补全；否则跳至步骤4进行下一次迭代。


2.如权利要求1所述的基于张量块循环展开的彩色图像补全方法，其特征在于，步骤1具体为：对于待补全图像初始化未知像素点的值为其n近邻已知像素点的均值，得到目标图像并使其中Ω为图像像素点的可观测子集。


3.如权利要求2所述的基于张量块循环展开的彩色图像补全方法，其特征在于，近邻n的取值为待补全图像可观测像素点比例的10～30倍。


4.如权利要求1所述的基于张量块循环展开的彩色图像补全方法，其特征在于，步骤2中，最大迭代次数K为100，块循环秩的截断参数0.005≤thre≤0.02，相邻两次迭代间的误差阈值ε为0.001。


5.如权利要求1所述的基于张量块循环展开的彩色图像补全方法，其特征在于，步骤3的具体步骤为：首先对目标图像的几个维度分别作块循环展开，得到展开矩阵X(n),n＝1,2,3：



然后估计块循环展开矩阵X(n)的截断秩rn以及权重系数αn；截断秩rn定义如...

【专利技术属性】
技术研发人员：赵广社，姚彦军，王鼎衡，刘美兰，武碧娇，张哲，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61