基于压缩感知多视点分布式视频编码及帧排列装置及方法制造方法及图纸

本发明专利技术属于压缩感知和分布式视频编码技术领域。为提供一种适用于非直线分布的多视点帧排列方法，提高视点间边信息质量，进而进一步提高解码的视频帧质量，为此，本发明专利技术采取的技术方案是，基于压缩感知的多视点分布式视频编码及帧排列方法，包括：编码器部分和解码器部分，其中编码器包括关键视点和非关键视点的编码步骤：首先，视点间采用的是关键视点、关键视点、非关键视点如此的排列，在视点内部的帧排列是关键帧与非关键帧间隔排列。第二，将帧分为2类，一类是关键视点与非关键视点的关键帧，关键帧是根据压缩感知理论进行编码的，非关键帧采用分布式视频编码方法对其进行编码。本发明专利技术主要应用于压缩感知和分布式视频编码。

【技术实现步骤摘要】
基于压缩感知多视点分布式视频编码及帧排列装置及方法
本专利技术属于压缩感知和分布式视频编码
，尤其涉及一种基于压缩感知的多视点分布式视频编码及帧排列方法。
技术介绍
传统的视频编码技术，无论是H.26X系列还是MPEG系列，编码端都通过帧间预测和DCT变换去除时间和空间冗余，以获得高压缩效率，这使得整个系统对编码器的计算能力和内存容量的要求远高于解码器。目前，大多数多视点视频编码（MVC）方法都是在H.264/AVC标准的基础上进行扩展形成的。MVC往往比单视点视频信号编码具有更加复杂的预测编码结构，其编码算法复杂度也远远大于单视点视频编码算法。所以这类基于预测的MVC方法适合于立体电视、视频点播等具有一对多拓扑结构的应用场合。而在一些编码端资源受限的视频应用领域中，发端设备要求低复杂度、低功耗的编码，接收端可以进行海量的数据存储和高复杂度的计算。所以在这些场合中，需要寻找新的高效的编码方法来对多视点视频进行压缩和传输。
技术实现思路
本专利技术旨在克服现有技术的不足，提供一种适用于非直线分布的多视点帧排列方法，提高视点间边信息质量，进而进一步提高解码的视频帧质量，为达到上述目的，本专利技术采取的技术方案是，基于压缩感知的多视点分布式视频编码及帧排列方法，包括：编码器部分和解码器部分，其中编码器包括关键视点和非关键视点的编码步骤：首先，视点间采用的是关键视点、关键视点、非关键视点如此的排列，在视点内部的帧排列是关键帧与非关键帧间隔排列。第二，根据解码端对视频质量、视频实时性的要求，将帧分为2类，一类是关键视点与非关键视点的关键帧，关键帧是根据压缩感知理论进行编码的，首先通过选择适当的稀疏基将N×N维原始信号变为N×N维多0的稀疏信号，再经过观测矩阵将N×N维信号降到N×M维，最后编码器将关键帧的稀疏信号与经过观测矩阵降维的信号发送到解码器部分；另一类是关键视点与非关键视点的非关键帧，非关键帧采用分布式视频编码方法对其进行编码：首先，将每一个非关键帧进行基于块的离散余弦变换并对变换系数做量化处理；接着对这些量化后的系数按照不同频段重新组织安排，即将每一个块中的相同的频率系数放在一起；然后将系数编码成相应的比特，并按照比特面排序后，送到信道编码器，由信道编码器产生校验比特：S=XHT式中，X表示非关键帧，H为校验矩阵，S为X的校验比特，T为H校验矩阵的转置最后，编码器部分将校验比特发送到解码部分。解码器部分分为两部分：第一部分，首先是第一个关键视点的关键帧经过压缩感知的重构算法对关键帧解码；第二，第二个关键视点的关键帧经过压缩感知的重构算法对关键帧解码；第三，根据已经解码的关键视点的关键帧，通过视差矢量外推法外推获得非关键视点中非关键帧的视点间边信息。第二部分，首先将非关键视点的关键帧通过压缩感知的重构算法解码，然后非关键帧通过相邻的已解码关键帧进行双向运动补偿内插法，内插得到非关键视点中非关键帧的时间边信息。前两部分解码后，通过线性融合算法进行时间边信息与视点间边信息的融合，得到最终的边信息。将边信息和原始非关键帧的差异看作是虚拟信道中的相关噪声，利用Laplacian模型能够很好地估计残差的分布；接下来采用和编码端相同的变换方法对边信息依次进行反量化，得到非关键帧变换系数的估值；利用虚拟噪声模型计算出信息比特送入信道解码器，信道解码器根据编码端传过来的校验比特对边信息进行校验；然后根据虚拟信道模型和边信息系数实现非关键帧重构，最后通过反离散余弦变换得到非关键帧，和已解码关键帧一起通过多路复用得到最终解码视频流。压缩感知具体为：当信号具有稀疏性或者可压缩性的时候，通过线性投影，得到远小于奈奎斯特采样定理所要求的采样点，接收端通过凸优化或者迭代算法等高精度的重构出原始信号。视差矢量外推法是通过已经解码的前两个关键视点，根据视点间的几何关系及图像匹配出视差矢量MV，然后根据3个视点的几何关系，由前一视点外推得到当前视点的视点间边信息，定义I[n,t,x,y]表示第n个视点在t时刻所在帧中(x,y)位置处的像素值，则第n个视点的像素值可以描述为：I[n,t,x,y]=I[n-1,t,x+mvx,y+mvy]，其中MV=(mvx,mvy)为视差矢量，mvx表示视差矢量MV的横向分量，mvy表示视差矢量MV的纵向分量，x表示横坐标，y表示纵坐标，n-1表示第n-1个视点双向运动矢量内插法是通过当前帧的前一已解码帧和后一已解码帧，通过这两帧的运动匹配，分别获得前向运动矢量和后向运动矢量，然后根据如下公式内插获得当前帧的时间边信息：其中，I[c,x,y]表示第c帧中(x,y)位置处的像素值；分别表示前向运动矢量、后向运动矢量；表示前向运动矢量MVf的横向分量，表示前向运动矢量MVf的纵向分量；表示后向运动矢量MVb的横向分量，表示后向运动矢量MVb的纵向分量；x表示横坐标，y表示纵坐标。基于压缩感知多视点分布式视频编码及帧排列装置，由若干摄像机，视频压缩模块，视频解压模块构成，摄像机、视频压缩模块、视频解压模块依次相连，n个数字摄像头通过复用32条数据线连接至视频压缩模块，视频压缩模块外接一个Flash或者SRAM来存取数据；视频压缩模块通过PCI总线连接至上位机，视频压缩模块由DSP构成，视频解压模块设置在计算机内。DSP模块进一步具体包括：根据压缩感知理论通过选择字典学习方法获得稀疏矩阵的模块，该模块经过稀疏基变换将N×N维原始信号变为N×N维0多非0少的的稀疏信号；降维模块，用于经过结构化的观测矩阵将N×N维信号降到N×M维；然后通过Flash或者SRAM存储视频信号和经过视频压缩模块获得的稀疏矩阵以及观测矩阵。本专利技术的技术特点及效果：本专利技术通过帧排列方法，运动矢量内插法获得的时间边信息与视差矢量外推法获得的视点间边信息融合，比较之前的棋盘式排列的多视点分布式视频编码相比，不仅保证了视频帧的重构质量，而且还提高了对多视点排布情况的适用性。附图说明图1本专利技术的基于压缩感知的多视点分布式视频编码系统的原理结构图。图2本专利技术的基于压缩感知的多视点分布式视频编码的帧排列图。图3本专利技术硬件结构整体框图。具体实施方式现有的分布式多视点视频编码的帧排列方式大多采用棋盘型，即关键帧（K帧）和非关键帧（WZ帧）间隔排布，在这种排列方式中，视点间边信息与时间边信息分别采用视差矢量内插法和运动补偿内插法。但是这种排列方式仅适用于多个视点分布在同一直线的情况下，当多个视点分布在非直线上时，采用这种帧排列的多视点分布式视频编码系统，视点间边信息质量较低，导致解码的视频帧质量比较低，急需一种适用于非直线分布的多视点帧排列方法。本专利技术采用的技术方案是，一种基于压缩感知的多视点分布式视频编码系统，包括相互通信连接的编码器和解码器，其中编码器包括关键视点和非关键视点的编码。首先，视点间采用的是关键视点、关键视点、非关键视点如此的排列，在视点内部的帧排布是关键帧与非关键帧间隔排列。第二，根据解码端对视频质量、视频实时性的要求，将帧分为2类，一类是关键视点与非关键视点的关键帧，关键帧是根据压缩感知理论进行编码的，本文档来自技高网...

【技术保护点】
一种基于压缩感知的多视点分布式视频编码及帧排列方法，其特征是，包括：编码器部分和解码器部分，其中编码器包括关键视点和非关键视点的编码步骤：首先，视点间采用的是关键视点、关键视点、非关键视点如此的排列，在视点内部的帧排列是关键帧与非关键帧间隔排列；第二，根据解码端对视频质量、视频实时性的要求，将帧分为2类，一类是关键视点与非关键视点的关键帧，关键帧是根据压缩感知理论进行编码的，首先通过选择适当的稀疏基将N×N维原始信号变为N×N维多0的稀疏信号，再经过观测矩阵将N×N维信号降到N×M维，最后编码器将关键帧的稀疏信号与经过观测矩阵降维的信号发送到解码器部分；另一类是关键视点与非关键视点的非关键帧，非关键帧采用分布式视频编码方法对其进行编码：首先，将每一个非关键帧进行基于块的离散余弦变换并对变换系数做量化处理；接着对这些量化后的系数按照不同频段重新组织安排，即将每一个块中的相同的频率系数放在一起；然后将系数编码成相应的比特，并按照比特面排序后，送到信道编码器，由信道编码器产生校验比特S＝XHT式中，X表示非关键帧，H为校验矩阵，S为X的校验比特，T为H校验矩阵的转置，最后，编码器部分将校验比特发送到解码部分；解码器部分分为两部分：第一部分，首先是第一个关键视点的关键帧经过压缩感知的重构算法对关键帧解码；第二，第二个关键视点的关键帧经过压缩感知的重构算法对关键帧解码；第三，根据已经解码的关键视点的关键帧，通过视差矢量外推法外推获得非关键视点中非关键帧的视点间边信息；第二部分，首先将非关键视点的关键帧通过压缩感知的重构算法解码，然后非关键帧通过相邻的已解码关键帧进行双向运动补偿内插法，内插得到非关键视点中非关键帧的时间边信息；前两部分解码后，通过线性融合算法进行时间边信息与视点间边信息的融合，得到最终的边信息；将边信息和原始非关键帧的差异看作是虚拟信道中的相关噪声，利用Laplacian模型能够很好地估计残差的分布；接下来采用和编码端相同的变换方法对边信息依次进行反量化，得到非关键帧变换系数的估值；利用虚拟噪声模型计算出信息比特送入信道解码器，信道解码器根据编码端传过来的校验比特对边信息进行校验；然后根据虚拟信道模型和边信息系数实现非关键帧重构，最后通过反离散余弦变换得到非关键帧，和已解码关键帧一起通过多路复用得到最终解码视频流。...

【技术特征摘要】
1.一种基于压缩感知的多视点分布式视频编码及帧排列方法，其特征是，包括：编码步骤和解码步骤，其中编码步骤包括关键视点和非关键视点的步骤：首先，视点间采用的是关键视点、关键视点、非关键视点如此的排列，在视点内部的帧排列是关键帧与非关键帧间隔排列；第二，根据解码端对视频质量、视频实时性的要求，将帧分为2类，一类是关键视点与非关键视点的关键帧，关键帧是根据压缩感知理论进行编码的，首先通过选择适当的稀疏基将N×N维原始信号变为N×N维多0的稀疏信号，再经过观测矩阵将N×N维信号降到N×M维，最后编码器将关键帧的稀疏信号与经过观测矩阵降维的信号发送到解码器部分；另一类是关键视点与非关键视点的非关键帧，非关键帧采用分布式视频编码方法对其进行编码：首先，将每一个非关键帧进行基于块的离散余弦变换并对变换系数做量化处理；接着对这些量化后的系数按照不同频段重新组织安排，即将每一个块中的相同的频率系数放在一起；然后将系数编码成相应的比特，并按照比特面排序后，送到信道编码器，由信道编码器产生校验比特S＝XHT式中，X表示非关键帧，H为校验矩阵，S为X的校验比特，T为H校验矩阵的转置，最后，编码器部分将校验比特发送到解码部分；解码步骤分为两步骤：第一步骤，首先是第一个关键视点的关键帧经过压缩感知的重构算法对关键帧解码；第二，第二个关键视点的关键帧经过压缩感知的重构算法对关键帧解码；第三，根据已经解码的关键视点的关键帧，通过视差矢量外推法外推获得非关键视点中非关键帧的视点间边信息；第二步骤，首先将非关键视点的关键帧通过压缩感知的重构算法解码，然后非关键帧通过相邻的已解码关键帧进行双向运动补偿内插法，内插得到非关键视点中非关键帧的时间边信息；前两部分解码后，通过线性融合算法进行时间边信息与视点间边信息的融合，得到最终的边信息；将边信息和原始非关键帧的差异看作是虚拟信道中的相关噪声，利用Laplacian模型能够很好地估计残差的分布；接下来采用和编码端相同的变换方法对边信息依次进行反量化，得到非关键帧变换系数的估值；利用虚拟噪声模型计算出...

【专利技术属性】
技术研发人员：郭继昌，许颖，申燊，孙骏，金卯亨嘉，
申请(专利权)人：天津大学，
类型：发明
国别省市：