基于压缩感知和卷积神经网络的视频信号测量域估计方法技术

本发明专利技术涉及一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，包括：将参考帧图像数据划分为若干宏块；随机选取待估计宏块，选择与待估计宏块在第一方向和第二方向上相邻四个宏块；根据相邻四个宏块计算待估计宏块的像素值和真实测量值；构建卷积神经网络模型，计算待估计宏块的预测测量值；根据真实测量值和预测测量值对卷积神经网络模型进行训练，当卷积神经网络模型输出层的损失函数低于预设阈值时，得到最优参数。本发明专利技术克服了现有技术不能兼顾计算复杂度与模型鲁棒性的问题，可快速分析出视频帧的时间相关性，在非常低的测量率和任意改变的运动向量的条件下仍能实现实时、准确地任意位置宏块分析。

【技术实现步骤摘要】
基于压缩感知和卷积神经网络的视频信号测量域估计方法
本专利技术属于视频处理
，具体涉及一种基于压缩感知和卷积神经网络的视频信号测量域估计方法。
技术介绍
随着信息技术的飞速发展，人们对于图像、视频等多媒体信息的要求越来越高，照相机、摄像机等信号采集设备的压力也越来越大。传统的奈奎斯特(Nyquist)采样定理表明，为了不失真地恢复模拟信号，采样频率要求不低于信号最大频率的两倍。经过该采样方法得到的数字信号数据量巨大，且存在信息冗余，不利于存储和传输。基于压缩感知(CompressedSensing，CS)理论的采样技术降低了对采样频率的要求，可以实现低功耗、低复杂度的信息采集，利用该技术可以实现更有效的信息采集、传输、存储以及处理。为了高效地处理视频，基于CS理论的视频压缩感知(CompressedVideoSensing，CVS)编解码系统被提出。它为我们提供了一个低复杂度处理视频信息的有效方法。然而，在CVS系统中，一次采样过后，原始像素域信号转换到了测量域上，由于我们仅仅获得了块的测量值，视频帧间的时间相关性很难准确得到，这使得在测量域上直接获取视频序列的运动信息是不可能的，而视频序列间的运动信息，可以保证解码端在能够良好恢复原视频信号的前提下，减少编码端所需传输的数据量，进一步提高压缩采样效率。另一方面，在视觉信息、语音信息和自然语言处理过程中有很多新兴的工具，深度学习作为一种非常有效工具得到了广泛的应用。其中，卷积神经网络(ConvolutionalNeuralNetwork，CNN)是最具有代表性的深度学习网络模型，非常适用于处理图像和视频数据。1959年，Hubel&Wiesel发现，动物视觉皮层细胞负责检测光学信号。20世纪90年代，L.Cun等人发表论文，确立了CNN的现代结构。2012年CNN在ImageNet竞赛中一鸣惊人，直接奠定了它的重要地位。经过结构、算法上的不断完善，现在CNN的强大特征提取和拟合能力使得它广泛用在各种领域。近年来，很多研究学者寻求CS与CNN的有效结合来解决CVS中存在的难题。Y.Shen,T.Han等人提出的“CS-CNN”方法中，直接利用CNN结构实现CS的采样和重构过程，该方法带来了计算复杂度的增加，并且忽略了视频帧间的时间相关性。另外，文章“Estimationofmeasurementsforblock-basedcompressedvideosensing:studyofcorrelationnoiseinmeasurementdomain”提出了基于宏块的CVS测量域估计模型，该方法的不足在于，测量矩阵的伪逆矩阵通过奇异值分解近似得到，模型鲁棒性不高，当使用高斯矩阵作为测量矩阵时，估计误差非常大。
技术实现思路
为了解决现有技术中存在的问题，本专利技术提出了一种基于压缩感知和卷积神经网络的视频信号测量域估计方法。本专利技术要解决的技术问题通过以下技术方案实现：本专利技术实施例提供了一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，包括：将视频序列划分为若干图像组，每个图像组包括至少两帧图像数据，选择每个图像组的第一帧作为参考帧，将参考帧图像数据划分为若干宏块；在所述参考帧图像数据中任一位置选取待估计宏块，选择与所述待估计宏块在第一方向和第二方向上相邻四个宏块；根据所述相邻四个宏块计算待估计宏块的像素值和真实测量值；构建卷积神经网络模型，计算待估计宏块的预测测量值；根据所述真实测量值和所述预测测量值对所述卷积神经网络模型进行训练，当卷积神经网络模型输出层的损失函数低于预设阈值时，得到最优参数。在本专利技术的一个实施例中，所述计算待估计宏块的像素值，包括：对所述待估计宏块与所述相邻四个宏块进行建模运算，得到待估计宏块的像素值。在本专利技术的一个实施例中，所述建模运算的公式为：其中，x(B′)表示待估计宏块像素值，∑表示求和操作，Γi表示相邻四个宏块的位置关系矩阵，x(Bi)表示相邻四个宏块的像素值，i＝1,2,3,4。在本专利技术的一个实施例中，所述计算待估计宏块的真实测量值，包括：根据预设规则，计算相邻四个宏块的测量值；根据所述相邻四个宏块的测量值计算待估计宏块的真实测量值。在本专利技术的一个实施例中，所述预设规则为：y(Bi)＝Φx(Bi)其中，y(Bi)表示宏块的测量值，x(Bi)表示宏块的像素值，i表示宏块的索引，Φ表示测量矩阵。在本专利技术的一个实施例中，所述待估计宏块的真实测量值为：其中，yture表示待估计宏块的真实测量值，∑表示求和操作，Λi表示由运动向量和测量矩阵确定的加权系数矩阵，y(Bi)表示相邻四个宏块的测量值，x(Bi)表示相邻四个宏块的像素值，i＝1,2,3,4，Φ表示测量矩阵。在本专利技术的一个实施例中，所述卷积神经网络模型，包括：四个卷积神经网络和一个感知器层。在本专利技术的一个实施例中，所述待估计宏块的预测测量值为：其中，ypred表示待估计宏块的预测测量值，∑表示求和操作，wi代表相邻四个宏块的权重分布，fi表示相邻四个宏块对应的卷积神经网络，ΦΓi表示卷积神经网络的输入，y(Bi)表示相邻四个宏块的测量值，x(Bi)表示相邻四个宏块的像素值，i＝1,2,3,4，Φ表示测量矩阵。在本专利技术的一个实施例中，所述损失函数为测量域相关噪声，表达式为：J＝||ypred-ytrue||2/||ytrue||2其中，J表示测量域相关噪声，ytrue表示待估计宏块的真实测量值，ypred表示待估计宏块的预测测量值。在本专利技术的一个实施例中，所述预设阈值为0.003。与现有技术相比，本专利技术的有益效果：1、本专利技术通过将卷积神经网络引入视频压缩感知系统当中，使用卷积神经网络训练测量矩阵的伪逆和块权重，克服了现有技术不能兼顾计算复杂度与模型鲁棒性的问题，使得本专利技术在准确性和实时性上优于现有技术，实现在测量域上建立任意位置宏块的精确估计，从而用于快速分析视频帧的时间相关性。2、本专利技术基于有标签数据集的有监督训练，借助卷积神经网络结构的优点，通过降采样来充分利用数据本身包含的局部性等特征，并且保证一定程度上的位移和变形的不变性，使得模型获得很强的泛化能力。克服了现有技术由于测量率的要求使得资源受限条件下多媒体信息处理具有一定难度的不足，本专利技术即使在非常低的测量率和任意改变的运动向量条件下，相比于现有技术，仍然能够实现准确、实时的任意位置宏块分析，有效地在资源受限的环境中处理图像和视频信息。附图说明图1是本专利技术实施例提供的基于压缩感知和卷积神经网络的视频信号测量域估计方法的流程图；图2是本专利技术实施例提供的待估计宏块的相对位置分解示意图；图3是本专利技术实施例提供的卷积神经网络结构示意图；图4是本专利技术实施例提供的卷积神经网络模型整体框架图；图5是本专利技术实施例提供的仿真实验内容1相关噪声对比图；图6是本专利技术实施例提供的仿真实验内容2相关噪声和时间复杂度对比结果。具体实施方式下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。实施例一请参见图1，图1为本专利技术实施例提供的基于压缩感知和卷积神经网络的视频信号测量域估计方法的流程图。本专利技术提供了一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，包括：将视频序列划分为若干图像组，每个图像组包本文档来自技高网...

【技术保护点】
1.一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，其特征在于，包括：将视频序列划分为若干图像组，每个图像组包括至少两帧图像数据，选择每个图像组的第一帧作为参考帧，将参考帧图像数据划分为若干宏块；在所述参考帧图像数据中任一位置选取待估计宏块，选择与所述待估计宏块在第一方向和第二方向上相邻四个宏块；根据所述相邻四个宏块计算待估计宏块的像素值和真实测量值；构建卷积神经网络模型，计算待估计宏块的预测测量值；根据所述真实测量值和所述预测测量值对所述卷积神经网络模型进行训练，当卷积神经网络模型输出层的损失函数低于预设阈值时，得到最优参数。

【技术特征摘要】
1.一种基于压缩感知和卷积神经网络的视频信号测量域估计方法，其特征在于，包括：将视频序列划分为若干图像组，每个图像组包括至少两帧图像数据，选择每个图像组的第一帧作为参考帧，将参考帧图像数据划分为若干宏块；在所述参考帧图像数据中任一位置选取待估计宏块，选择与所述待估计宏块在第一方向和第二方向上相邻四个宏块；根据所述相邻四个宏块计算待估计宏块的像素值和真实测量值；构建卷积神经网络模型，计算待估计宏块的预测测量值；根据所述真实测量值和所述预测测量值对所述卷积神经网络模型进行训练，当卷积神经网络模型输出层的损失函数低于预设阈值时，得到最优参数。2.根据权利要求1所述的方法，其特征在于，所述计算待估计宏块的像素值，包括：对所述待估计宏块与所述相邻四个宏块进行建模运算，得到待估计宏块的像素值。3.根据权利要求2所述的方法，其特征在于，所述建模运算的公式为：其中，x(B′)表示待估计宏块像素值，Σ表示求和操作，Γi表示相邻四个宏块的位置关系矩阵，x(Bi)表示相邻四个宏块的像素值，i＝1,2,3,4。4.根据权利要求1所述的方法，其特征在于，所述计算待估计宏块的真实测量值，包括：根据预设规则，计算相邻四个宏块的测量值；根据所述相邻四个宏块的测量值计算待估计宏块的真实测量值。5.根据权利要求4所述的方法，其特征在于，所述预设规则为：y(Bi)＝Φx...

【专利技术属性】
技术研发人员：郭洁，吕军梅，宋彬，姚继鹏，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61