视频压缩感知重构方法及装置制造方法及图纸

本发明专利技术公开了一种视频压缩感知重构方法及装置，该方法包括：B、在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；C、将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽象，建立帧碎片到帧碎片块之间的非线性映射；D、由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。本发明专利技术能高速且高质量的渲染重构视频帧。

Method and device for video compression perception reconstruction

The invention discloses a device for sensing video compression and reconstruction method, the method includes: B, after receiving the compressed video frame to be reconstructed after extracting the compressed video frame fragments according to predefined extraction rules; C, the frame pieces extracted by video input frame reconstruction model in advance of training the input layer consists of frame pieces, the video frame reconstruction model of multiple features of abstract hidden layer input frame fragments feature abstraction, a nonlinear mapping between frame to frame block debris fragments; D, from the video frame reconstruction model of multiple feature abstract hidden layer according to the nonlinear mapping is established the frame to reconstruct the fragments of the input for the frame pieces, frame by frame and block debris fragments of the video frame reconstruction model block output layer reconstruction, the reconstructed block generated fragments of frame based video. The invention can render and reconstruct video frames with high speed and high quality.

【技术实现步骤摘要】
视频压缩感知重构方法及装置
本专利技术涉及计算机
，尤其涉及一种视频压缩感知重构方法及装置。
技术介绍
现有的基于时间域的视频压缩感知算法普遍对计算复杂度非常敏感，特别是在渲染重构视频帧时处理速度极慢，即便使用图形处理器(GraphicsProcessingUnit，GPU)进行并行加速也无法显著改善这个问题。虽然，目前也有算法能够较快的完成视频块的感知重建，但是重建的质量通常较低。因此，如何高速且高质量的渲染重构视频帧已经成为一种亟待解决的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种视频压缩感知重构方法及装置，旨在高速且高质量的渲染重构视频帧。为实现上述目的，本专利技术提供的一种视频压缩感知重构方法，所述方法包括以下步骤：B、在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；C、将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽象，建立帧碎片到帧碎片块之间的非线性映射；D、由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。优选地，所述步骤B之前还包括：A、创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。优选地，所述视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层，k为大于1的自然数，每一个特征抽象隐含层包含如下公式：hk(y)＝θ(bk+wky)，其中，为该特征抽象隐含层激活值向量，Lk为第k层特征抽象隐含层的神经元数目，θ(bk+wky)为激活函数，为该特征抽象隐含层神经元偏置向量，为权值矩阵，为该特征抽象隐含层输入向量；基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征抽象，建立起来的帧碎片到帧碎片块之间的非线性映射。优选地，所述预先确定的提取规则为：对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。优选地，所述步骤A还包括训练数据和测试数据的生成步骤，该训练数据和测试数据的生成步骤包括：获取预设数量的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间；将转换后的各个视频通过预定义的度量转换矩阵进行压缩；将所有压缩后的视频按照预设比例分成第一数据集和第二数据集，将第一数据集作为训练集，第二数据集作为测试集。此外，为实现上述目的，本专利技术还提供一种视频压缩感知重构装置，所述视频压缩感知重构装置包括：提取模块，用于在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；特征抽象模块，用于将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽象，建立帧碎片到帧碎片块之间的非线性映射；重构模块，用于由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。优选地，所述视频压缩感知重构装置还包括：创建模块，用于创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。优选地，所述视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层，k为大于1的自然数，每一个特征抽象隐含层包含如下公式：hk(y)＝0(bk+wky)，其中，为该特征抽象隐含层激活值向量，Lk为第k层特征抽象隐含层的神经元数目，θ(bk+wky)为激活函数，为该特征抽象隐含层神经元偏置向量，为权值矩阵，为该特征抽象隐含层输入向量；基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征抽象，建立起来的帧碎片到帧碎片块之间的非线性映射。优选地，所述预先确定的提取规则为：对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。优选地，所述创建模块还包括用于生成训练数据和测试数据的生成单元，所述生成单元用于：获取预设数量的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间；将转换后的各个视频通过预定义的度量转换矩阵进行压缩；将所有压缩后的视频按照预设比例分成第一数据集和第二数据集，将第一数据集作为训练集，第二数据集作为测试集。本专利技术提出的视频压缩感知重构方法及装置，通过预先确定的提取规则提取出待重构的压缩视频帧的帧碎片；由经预先训练的视频帧重构模型的多个特征抽象隐含层对该帧碎片进行特征抽象，建立帧碎片到帧碎片块之间的非线性映射，并根据所述非线性映射将输入的帧碎片重构为帧碎片块之后输出。由于是将待重构的压缩视频帧提取为帧碎片后，针对帧碎片来进行重构，而不是直接对较大的压缩视频帧进行处理，降低了计算复杂度，提高了视频帧重构的速度；而且，通过预先训练的视频帧重构模型的多个特征抽象隐含层对每一帧碎片进行特征抽象，并将帧碎片重构为帧碎片块进行输出，能有效地提取压缩视频帧的每一细节特征，提高了视频帧重构的质量。附图说明图1为本专利技术视频压缩感知重构方法第一实施例的流程示意图；图2为本专利技术视频压缩感知重构方法第二实施例的流程示意图；图3为本专利技术视频压缩感知重构方法一实施例中视频帧重构模型的结构示意图；图4为本专利技术视频压缩感知重构装置第一实施例的功能模块示意图；图5为本专利技术视频压缩感知重构装置第二实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种视频压缩感知重构方法。参照图1，图1为本专利技术视频压缩感知重构方法第一实施例的流程示意图。在第一实施例中，该视频压缩感知重构方法包括：步骤S10，在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片。本实施例中，接收到待重构的压缩视频帧后，并不直接对所述压缩视频帧进行渲染重构，而是先对所述压缩视频帧按照预先确定的提取规则进行帧碎片的提取。该预先确定的提取规则可以是根据颜色、内容、格式、面积大小等不同特征对所述压缩视频帧进行帧碎片的提取，在此不做限定。在一种可选的实施方式中，所述预先确定的提取规则为：对待重构本文档来自技高网...

【技术保护点】
一种视频压缩感知重构方法，其特征在于，所述方法包括以下步骤：B、在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；C、将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽象，建立帧碎片到帧碎片块之间的非线性映射；D、由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。

【技术特征摘要】
1.一种视频压缩感知重构方法，其特征在于，所述方法包括以下步骤：B、在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；C、将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽象，建立帧碎片到帧碎片块之间的非线性映射；D、由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。2.如权利要求1所述的视频压缩感知重构方法，其特征在于，所述步骤B之前还包括：A、创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。3.如权利要求1或2所述的视频压缩感知重构方法，其特征在于，所述视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层，k为大于1的自然数，每一个特征抽象隐含层包含如下公式：hk(y)＝0(bk+wky)，其中，为该特征抽象隐含层激活值向量，Lk为第k层特征抽象隐含层的神经元数目，θ(bk+wky)为激活函数，为该特征抽象隐含层神经元偏置向量，为权值矩阵，为该特征抽象隐含层输入向量；基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征抽象，建立起来的帧碎片到帧碎片块之间的非线性映射。4.如权利要求1或2所述的视频压缩感知重构方法，其特征在于，所述预先确定的提取规则为：对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。5.如权利要求2所述的视频压缩感知重构方法，其特征在于，所述步骤A还包括训练数据和测试数据的生成步骤，该训练数据和测试数据的生成步骤包括：获取预设数量的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间；将转换后的各个视频通过预定义的度量转换矩阵进行压缩；将所有压缩后的视频按照预设比例分成第一数据集和第二数据集，将第一数据集作为训练集，第二数据集作为测试集。6.一种视频压缩...

【专利技术属性】
技术研发人员：王健宗，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44