The invention discloses a video compression method based on convolutional neural network and significant information in HEVC compression domain. The method improves and strengthens HEVC from two aspects: video saliency algorithm based on attention mechanism and perception priority video compression algorithm. In video saliency aspect, the method combines convolutional neural network with HEVC compression process to improve and strengthen each C. The results of U motion estimation are adaptively and dynamically fused to detect the saliency of input video. In perception-first video compression algorithm, the corresponding QP is selected according to the saliency value of CU to ensure that CU with high saliency can be encoded with smaller QP, and the saliency feature of CU block is incorporated into the traditional rate-distortion calculation method. This method reduces the perceptual redundancy of video and achieves better compression effect.
【技术实现步骤摘要】
基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法
本专利技术涉及视频处理
，更具体的说是涉及一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法。
技术介绍
目前，随着视频压缩技术的不断发展，人们对视频的高品质、高实时性要求越来越高，新一代视频编码标准HEVC(HighEfficiencyVideoCoding)应运而生，其以较高的编码性能应用于高清视频处理中。但是，新一代视频编码标准HEVC在编码性能提高的同时，编码复杂度也随之大增，这样其应用于视频压缩过程中时，其压缩效率难以保证，尤其是在高清视频应用越来越普及的情况下，因为带宽受限而出现的问题给视频压缩技术带来了巨大的挑战，现代社会对视频高清度的要求也越来越高，由最初的QCIF发展至4K(分辨率为3840×2160)，乃至不久后发展为8K(分辨率为7680×4320)的超高清视频，这样对视频的压缩、存储和传输都提出了更高的要求，尤其是如何能够提高压缩效率，使人眼所关注部分的画质更加清晰、真实等至关重要。现有的视频编码标准HEVC已经不能满足在高质量的高清视频传输、提升人眼的主观视觉感受质量的...
【技术保护点】
1.一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，包括以下步骤：在卷积神经网络的基础上结合HEVC压缩过程中对各个CU块的运动估计结果对输入视频进行显著性检测；计算各CU块的显著值并对其对应的QP值进行选择，并将各CU块的显著值加入传统的率失真计算方法，获取最终的率失真优化目标，实现高质量的视频感知编码。
【技术特征摘要】
1.一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，包括以下步骤：在卷积神经网络的基础上结合HEVC压缩过程中对各个CU块的运动估计结果对输入视频进行显著性检测；计算各CU块的显著值并对其对应的QP值进行选择，并将各CU块的显著值加入传统的率失真计算方法，获取最终的率失真优化目标，实现高质量的视频感知编码。2.根据权利要求1所述的一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，对输入视频进行显著性检测，具体包括以下步骤：输入原始视频帧，根据卷积神经网络对输入视频帧进行空域显著性检测，生成空域显著性检测结果；根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果；将所述空域显著性检测结果和所述时域部分的运动显著性结果，采用熵不确定度算法进行融合。3.根据权利要求2所述的一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，所述卷积神经网络的结构包括：(1)卷积层：经过卷积操作后得到表示图像局部特征的特征图，每个卷积层后加一个修正线性单元；(2)局部响应归一化层：对神经网络中间层的输出进行了平滑，输出如下：其中，(x,y)表示像素位置，i表示通道索引，N为通道数，α,β,k,n均为自定义常数；l表示在第l个局部响应归一化层，j的表示对应的通道索引；(3)最大池化层：最大池化层用于提取局部相近的语义信息，该过程通过一个N×N的滑动窗口操作，其中窗口移动步长为N，通过计算原图像的局部被窗口所包含区域的最大值作为新的特征图对应位置的像素值；(4)反卷积层：实现将小尺寸的特征图尺寸缩放为原图像的大小，得到最终输出。4.根据权利要求2所述的一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果，具体包括以下步骤：从视频压缩域提取运动信息，利用HEVC中进行浅层解码的过程，得到视频帧中预测单元PU的运动矢量信息；将所述运动矢量信息的大小作为块运动的剧烈程度重组成时域运动特征图。5.根据权利要求3所述的一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，根据所述时域运动特征图，采用全局运动估计算法，采用透视模型得到视频中的全局运动信息，该过程可以表述为：式中(x,y)和(x′,y′)分别是当前帧和参考帧的对应像素点，参数集m＝[m0,...,m7]代表需要估计的全局运动参数；使用梯度下降法对该模型求解，计算可得代表摄像机运动信息的全局运动，由原始运动减去全局运动，得到相对于背景的前景运动；根据显示运动速度的感知先验分布幂函数：式中，v表示运动速度；k和α表示常数；根据其自信息计算运动的时间显著性，计算公式如下：S(t)＝-logp(v)＝αlogv+β其中β＝...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。