基于低秩模型的压缩感知视频重构方法技术

本发明专利技术公开了一种基于低秩模型的压缩感知视频重构方法，主要解决压缩感知视频重构不准确和低鲁棒的问题，其实现过程为：(1)接收测量数据；(2)初始化单帧协方差矩阵集合；(3)基于联合稀疏和高斯分布的分段线性估计构造初始重构视频；(4)利用视频帧间和帧内的相关性搜索每个图像块的相似块；(5)求解视频的低秩结构；(6)更新重构视频；(7)判断是否到达迭代停止条件；(8)输出重构视频。本发明专利技术与现有视频重构技术相比，具有重构图像质量高，鲁棒性好的优点，可用于自然场景视频的重构。

【技术实现步骤摘要】

本专利技术属于图像处理
，更进一步涉及视频编码
中的一种基于压 缩感知系统的视频重构方法。本专利技术挖掘了视频序列帧内和帧间的相似性，基于低秩模型 对视频进行重构，可用于对自然图像视频序列进行重构。
技术介绍
近几年，在信号处理领域出现了一种新的数据理论压缩感知CS，该理论在数据采 集的同时实现压缩，突破了传统奈奎采集斯特采样定理的限制，为数据采集技术带来了革 命性的变化，使得该理论在压缩成像系统、军事密码学、无线传感等领域有着广阔的应用前 景。压缩感知理论主要包括信号的稀疏表示、信号的观测和信号的重构等三个方面。其中 设计快速有效的重构算法是将CS理论成功推广并应用于实际数据模型和采集系统的重要 环节。 从科学到体育多种应用领域中，高速摄像机在捕捉快动作中发挥着重要的作用， 但是测量高速视频对摄像机的设计来说是一种挑战。压缩感知通过低帧率的压缩测量，能 够捕捉高帧率视频信息，因此压缩感知被用于高速视频信息的捕捉，从而减轻高速摄像机 设计的困难。 Guoshen Yu 等人在其发表的论文"Solving Inverse Problems With Piecewise Linear Estimators:From Gaussian Mixture Models to Structured Sparsity'，（ ((IEEE Transactions on Image Processing》，2012, 21 (5) :2481-2499)中提出一种使用分段线 性估计求解图像逆问题的方法。该方法将问题建模为高斯混合模型，即一个图像块服从多 个多变量高斯分布中的某一个分布，其在对包括图像重构的图像逆问题上取得了较好的结 果。该方法存在的不足之处是，该方法针对二维图像，并不能直接用于视频序列的重构，并 且运用统计方法抓取图像块之间的相似性并不精准。 Janbo Yang等人在其发表的论文"Video Compressive Sensing Using Gaussian Mixture Models'，（ ((IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society》，2014, 23)中提出一种基于高斯混合模型的方法。该 方法通过对时空视频块建立高斯混合模型，对时间压缩的视频序列进行重构，获得了较好 的重构效果，但是该方法仍然存在的不足是，该重构方法只是对图像建立了一个高斯混合 模型，并没有抓住视频帧内和帧间的相关性，从而导致该方法重构出的视频序列不够准确。
技术实现思路
本专利技术的目的在于针对上述现有
中的时空视频压缩感知重构技术存在 的视频帧内和帧间的相关性的问题，提出一种，提 高重构图像的质量。 实现本专利技术目的技术思路是：利用视频帧间的相关性，即视频不同帧相同位置具 有相似性，建模不同帧的相同位置的图像块具有相同的高斯分布，从而求得初始的重构视 频序列；对帧间和帧内所有相似的图像块建立低秩模型，对视频的低秩结构和重构的视频 序列进行迭代优化求解，实现了高质量的时间视频压缩感知重构。 实现本专利技术目的的具体步骤如下： (1)接收测量数据： (Ia)压缩感知发送方对视频数据进行观测，将每H帧视频数据用一个随机掩模观 测矩阵进行一次观测的结果，组成一帧测量数据，并发送测量数据和随机掩模观测矩阵，其 中，H表示取值范围为1至20的正整数； (Ib)接收方接收发送方发送的测量数据和随机掩模观测矩阵； (2)初始化单帧协方差矩阵集合： (2a)生成18幅人工黑白图，每幅人工黑白图的大小为65 X 65像素，每幅人工黑白 图代表一个方向； (2b)采用窗口大小为8X8像素，以1个像素的步长，分别在每个方向的人工黑白 图像上滑窗选取大小为8X8像素的所有块，得到每个方向的方向块集合； (2c)分别对每个方向的方向块集合进行主成分分析PCA分解，得到主成分分析 PCA正交基和特征值矩阵，保留每个方向上的前8个最大特征值和对应的主成分正交基，得 到相应的特征值矩阵和方向基； (2d)计算每个人工黑白图所代表方向上的单帧协方差矩阵，得到单帧协方差矩阵 集合； (3)基于联合稀疏和高斯分布的分段线性估计构造初始重构视频： (3a)对每个人工黑白图所代表的方向，将其方向上的H个单帧协方差矩阵放在矩 阵对角线上，构造每个人工黑白图所代表方向的用于重构三维视频数据的联合稀疏的视频 协方差矩阵，其中，第k个方向的视频协方差矩阵如下： 其中，1表示第k个方向的视频协方差矩阵，Pk表示第k个方向的单帧协方差矩 阵，k表示人工黑白图所代表的方向编号，k = 1，2, . . .，18 ; (3b)将MXNXH维的重构视频初始为零矩阵，对初始重构视频的每一帧以步长p 的大小划分为nXn维的S个图像块，并保留分块的位置，将每一帧相同位置的图像块组成 视频块，得到视频块集合& 1，~，11，~4}，其中，*厂4\""為[，...气/，々表示第1个视 频块， :气表示重构视频第t帧的第1个大小为nXn维的图像块，T表示转置操作，对于人工 黑白图所代表的方向k上的第1个视频块$服从均值为0,协方差矩阵为1的高斯分布，1. 表示第k个方向的视频协方差矩阵，M、N、H分别表示重构视频中的第一维、第二维、第三维 的大小，ρ、η分别表示小于等于M、N维数中最小的值的正整数，k表示人工黑白图所代表的 方向编号，k = 1，2,. . .，18, 1 = 1，2,. . .，S，S表示视频块的数目，即每一帧划分的图像块 的数目； (3c)按照下式，计算视频块在人工黑白图中所代表方向上的估计值： 其中，xf表示第1个视频块在人工黑白图所代表的方向k上的估计值，1表示第k 个视频协方差矩阵，O1表示从随机掩模观测矩阵取出的第1个视频块的观测矩阵，y i表示 从测量数据取出的第1个视频块的测量数据，σ的取值范围为0至l，Id表示d维单位矩阵， T表示转置操作，· 1表示矩阵求逆，k表示人工黑白图所代表的方向编号，k= 1，2, ...，18,1 表示视频块的编号，1 = 1，2, ...，S，S表示视频块的数目，即每一帧划分的图像块的数目； (3d)按照下式，计算人工黑白图所代表方向的最优方向： 其中，I表示第1个视频块在人工黑白图所代表方向中的最优方向，?gn|ll〇表示 返回使目标函数值最小时k的取值，Φ i表示从随机掩模观测矩阵取出的第1个视频块的观 测矩阵，X丨表示第1个视频块在人工黑白图所代表的方向k上的估计值，yi表示从测量数 据取出的第1个视频块的测量数据，1表示第k个视频协方差矩阵， σ的取值范围为0至 1，Il · Il2表示范数的平方，I · I表示行列式的值，T表示转置操作，· 1表示矩阵求逆，k表 示人工黑白图所代表的方向编号，k = 1，2,. . .，18, 1表示视频块的编号，1 = 1，2,. . .，S， S表示视频块的数目，即每一帧划分的图像块的数目； (3e)将每个视频块在其最优方向上的估计值，按照步骤（3b)划分视频块时所保 留的分块的位置，组合成初始重构视频； 本文档来自技高网...

【技术保护点】
一种基于低秩模型的压缩感知视频重构方法，包括如下步骤：(1)接收测量数据：(1a)压缩感知发送方对视频数据进行观测，将每H帧视频数据用一个随机掩模观测矩阵进行一次观测的结果，组成一帧测量数据，并发送测量数据和随机掩模观测矩阵，其中，H表示取值范围为1至20的正整数；(1b)接收方接收发送方发送的测量数据和随机掩模观测矩阵；(2)初始化单帧协方差矩阵集合：(2a)生成18幅人工黑白图，每幅人工黑白图的大小为65×65像素，每幅人工黑白图代表一个方向；(2b)采用窗口大小为8×8像素，以1个像素的步长，分别在每个方向的人工黑白图像上滑窗选取大小为8×8像素的所有块，得到每个方向的方向块集合；(2c)分别对每个方向的方向块集合进行主成分分析PCA分解，得到主成分分析PCA正交基和特征值矩阵，保留每个方向上的前8个最大特征值和对应的主成分正交基，得到相应的特征值矩阵和方向基；(2d)计算每个人工黑白图所代表方向上的单帧协方差矩阵，得到单帧协方差矩阵集合；(3)基于联合稀疏和高斯分布的分段线性估计构造初始重构视频：(3a)对每个人工黑白图所代表的方向，将其方向上的H个单帧协方差矩阵放在矩阵对角线上，构造每个人工黑白图所代表方向的用于重构三维视频数据的联合稀疏的视频协方差矩阵，其中，第k个方向的视频协方差矩阵如下：其中，表示第k个方向的视频协方差矩阵，Pk表示第k个方向的单帧协方差矩阵，k表示人工黑白图所代表的方向编号，k＝1,2,...,18；(3b)将M×N×H维的重构视频初始为零矩阵，对初始重构视频的每一帧以步长p的大小划分为n×n维的S个图像块，并保留分块的位置，将每一帧相同位置的图像块组成视频块，得到视频块集合{x1,...,xl,...,xS}，其中，xl表示第l个视频块，表示重构视频第t帧的第l个大小为n×n维的图像块，T表示转置操作，对于人工黑白图所代表的方向k上的第l个视频块服从均值为0，协方差矩阵为的高斯分布，表示第k个方向的视频协方差矩阵，M、N、H分别表示重构视频中的第一维、第二维、第三维的大小，p、n分别表示小于等于M、N维数中最小的值的正整数，k表示人工黑白图所代表的方向编号，k＝1,2,...,18，l＝1,2,...,S，S表示视频块的数目，即每一帧划分的图像块的数目；(3c)按照下式，计算视频块在人工黑白图中所代表方向上的估计值：xlk=P‾kΦlT(ΦlP‾kΦlT+σ2Id)-1yl]]>其中，表示第l个视频块在人工黑白图所代表的方向k上的估计值，表示第k个视频协方差矩阵，Φl表示从随机掩模观测矩阵取出的第l个视频块的观测矩阵，yl表示从测量数据取出的第l个视频块的测量数据，σ的取值范围为0至1，Id表示d维单位矩阵，T表示转置操作，·‑1表示矩阵求逆，k表示人工黑白图所代表的方向编号，k＝1,2,...,18，l表示视频块的编号，l＝1,2,...,S，S表示视频块的数目，即每一帧划分的图像块的数目；(3d)按照下式，计算人工黑白图所代表方向的最优方向:k~l=arg mink(||Φlxlk-yl||2+σ2(xlk)TP‾k-1(xlk)+σ2log|P‾k|)]]>其中，表示第l个视频块在人工黑白图所代表方向中的最优方向，表示返回使目标函数值最小时k的取值，Φl表示从随机掩模观测矩阵取出的第l个视频块的观测矩阵，表示第l个视频块在人工黑白图所代表的方向k上的估计值，yl表示从测量数据取出的第l个视频块的测量数据，表示第k个视频协方差矩阵，σ的取值范围为0至1，||·||2表示范数的平方，|·|表示行列式的值，T表示转置操作，·‑1表示矩阵求逆，k表示人工黑白图所代表的方向编号，k＝1,2,...,18，l表示视频块的编号，l＝1,2,...,S，S表示视频块的数目，即每一帧划分的图像块的数目；(3e)将每个视频块在其最优方向上的估计值，按照步骤(3b)划分视频块时所保留的分块的位置，组合成初始重构视频；(3f)设置迭代次数s以及最大外部迭代次数U，令当前迭代次数s为1，并将初始重构视频作为第一次迭代的重构视频，其中，U表示正整数；(4)利用视频帧间和帧内的相关性搜索每个图像块的相似块:(4a)将重构视频的每一帧以步长p的大小划分为n×n维的块，将所有帧的块组成二维图像块集合G1，其中，p、n表示小于等于M、N维数中最小的值的正整数，M、N表示重构视频的第一维、第二维的大小；(4b)将重构视频的每一帧以步长为1划分为n×n维的块，将所有帧的块组成二维图像块集合G2，并记录视频块在G2中的索引，其中，n表示小于等于M、N维数中最小的值的正整数，M、N表示重构视频的第一...

【技术特征摘要】

【专利技术属性】
技术研发人员：刘芳，李婉，郝红侠，焦李成，李玲玲，杨淑媛，尚荣华，马文萍，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61