一种时空域显著性检测及融合方法技术

本发明专利技术公开了一种时空域显著性检测及融合方法，利用卷积神经网络对输入视频帧进行空域显著性检测，同时根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果，采用熵不确定度的方法对时空域显著性进行融合，从而得到针对视频的时空域显著性结果；该方法可有效结合时空域信息得到较准确的时空显著图，为后续视频压缩提供了有力的保障。

【技术实现步骤摘要】
一种时空域显著性检测及融合方法
本专利技术涉及视频
，更具体的说是涉及一种时空域显著性检测及融合方法，该方法基于卷积神经网络和运动矢量的时空域显著性检测及融合。
技术介绍
目前，随着视频压缩技术的不断发展、高品质、高实时性视频已成为发展趋势，这也促进了高清、超高清视频应用的迅速发展。目前，新一代视频编码标准HEVC(HighEfficiencyVideoCoding)在保留了传统视频编码的框架基础上，采纳近年来视频压缩技术研究的新成果，使其编码性能基本可以达到H.264/AVC标准的2倍。然而，这种压缩性能的提高也带来了巨大的编码复杂度，仍需要进行进一步的研究和改进。同时，随着视频分辨率和质量的提高，现代社会对视频高清度的要求也越来越高，由最初的QCIF发展至4K(分辨率为3840×2160)，乃至不久后发展为8K(分辨率为7680×4320)的超高清视频，这样对视频的压缩、存储和传输都提出了更高的要求。在高清视频应用越来越普及的情况下，因为带宽受限而出现的问题给视频压缩技术带来了巨大的挑战，如何保证高质量的高清视频传输、提升人眼的主观视觉感受质量己经成为刻不容缓需要解决的问题，尤其是如何能够提高压缩效率，使人眼所关注部分的画质更加清晰、真实等至关重要。视频压缩的编码效率是通过减少统计冗余和感知冗余来实现的。在标准的视频压缩方法中，去除统计冗余作为核心技术，包括帧内预测，帧间预测，熵编码等等，去除感知冗余的技术主要包括量化矩阵中衰减高频分量，色度亚采样，去块滤波等。然而，对于人类视觉系统(HVS)的研究发现，人类通常只能清楚地看到视角2-5°内的小区域，并且当我们在观察图像时，由于对一幅图像的各个区域的理解不同，人们会把视线集中在一些比较特殊的地方(ROI，即人眼视觉的感兴趣区域)，因此眼睛的注意力并不是平均分布的，而是对ROI区域的图像失真较为敏锐，如果将视频编码方法和人类视觉系统(HumanVisualSystem，HVS)有机结合，将可以去除更多的主观视觉感知冗余，同时提升人眼的主观视觉感知质量，并进一步提升视频压缩效果。因此,降低视频的感知冗余从而得到较好的压缩效果是目前视频发展的新方向，需要以注意力机制为基础的视频显著性算法和感知优先的视频压缩算法这两个方面对HEVC进行改进和强化。因此，在感知视频压缩的处理之前，如何能够准确获得视觉显著性区域或者ROI区域，是需要首先解决的关键问题。
技术实现思路
有鉴于此，本专利技术提供了一种时空域显著性检测及融合方法，基于卷积神经网络和运动矢量的时空域显著性检测及融合，可有效结合时空域信息得到较准确的时空显著图，为后续视频压缩提供了有力的保障。为了实现上述目的，本专利技术采用如下技术方案：本专利技术提供一种时空域显著性检测及融合方法，包括：输入原始视频帧，根据卷积神经网络对输入视频帧进行空域显著性检测，生成空域显著性检测结果；根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果；将所述空域显著性检测结果和所述时域部分的运动显著性结果，采用熵不确定度算法进行融合。进一步地，所述卷积神经网络结构，包括：(1)卷积层：经过卷积操作后得到表示图像局部特征的特征图，每个卷积层后加一个修正线性单元；(2)局部响应归一化层：对神经网络中间层的输出进行了平滑，输出如下：其中(x,y)表示像素位置，i表示通道索引，N为通道数，α,β,k,n均为自定义常数；l表示在第l个局部响应归一化层；。(3)最大池化层：最大池化层用于提取局部相近的语义信息，该过程通过一个N×N的滑动窗口操作，其中窗口移动步长为N，通过计算原图像的局部被窗口所包含区域的最大值作为新的特征图对应位置的像素值；(4)反卷积层：实现将小尺寸的特征图尺寸缩放为原图像的大小，得到最终输出。进一步地，根据卷积神经网络对输入视频帧进行空域显著性检测，生成空域显著性检测结果，包括：将所述卷积神经网络训练完成后，对输入的所述原始视频帧图像进行前向传播，得到最终的空域显著性图。进一步地，根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果，包括：从视频压缩域提取运动信息，利用HEVC中进行浅层解码的过程，得到视频帧中预测单元PU的运动矢量信息；将所述运动矢量信息的大小作为块运动的剧烈程度重组成时域运动特征图。进一步地，根据所述时域运动特征图，采用全局运动估计算法，采用透视模型得到视频中的全局运动信息，该过程可以表述为：式中(x,y)和(x′,y′)分别是当前帧和参考帧的对应像素点，参数集m＝[m0,...,m7]代表需要估计的全局运动参数；使用梯度下降法对该模型求解，计算可得代表摄像机运动信息的全局运动，由原始运动减去全局运动，得到相对于背景的前景运动；根据显示运动速度的感知先验分布幂函数：(1.4)式中，v表示运动速度；k和α表示常数；根据其自信息计算运动的时间显著性，计算公式如下：S(t)＝-logp(v)＝αlogv+β(1.5)其中β＝-logk并且α和β分别为0.2，0.09；最后将其归一化到[0,1]，得到时域显著性图。进一步地，将所述空域显著性检测结果和所述时域部分的运动显著性结果，采用熵不确定度算法进行融合，包括：将计算得到所述空域显著性图和所述时域显著性图合并，获得整体的时空显著性图，使用下式计算融合后显著图：式中，U(t)表示时域的感知不确定度；U(s)表示空域显著性的不确定度；S(t)表示运动的时间显著性；S(S)表示当前帧的空域显著性。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种时空域显著性检测及融合方法，利用卷积神经网络对输入视频帧进行空域显著性检测，同时根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果，采用熵不确定度的方法对时空域显著性进行融合，从而得到针对视频的时空域显著性结果；该方法可有效结合时空域信息得到较准确的时空显著图，为后续视频压缩提供了有力的保障。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1附图为本专利技术提供的一种时空域显著性检测及融合方法的流程图。图2附图为本专利技术提供的视频时空显著性检测及针对高清视频的感知压缩过程的整体实现框图。图3附图为本专利技术提供的卷积神经网络的结构示意图。图4a附图为本专利技术提供的空域显著性效果示例的原始画面图。图4b附图为本专利技术提供的空域显著性效果示例的模型计算所得空域显著性图。图5附图为本专利技术提供的运动矢量示意图。图6a附图为本专利技术提供的时域显著性效果示例的原始画面图。图6b附图为本专利技术提供的时域显著性效果示例的模型计算所得时域显著性图。图7附图为本专利技术提供的时空融合效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本文档来自技高网...

【技术保护点】
1.一种时空域显著性检测及融合方法，其特征在于，包括：输入原始视频帧，根据卷积神经网络对输入视频帧进行空域显著性检测，生成空域显著性检测结果；根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果；将所述空域显著性检测结果和所述时域部分的运动显著性结果，采用熵不确定度算法进行融合。

【技术特征摘要】
1.一种时空域显著性检测及融合方法，其特征在于，包括：输入原始视频帧，根据卷积神经网络对输入视频帧进行空域显著性检测，生成空域显著性检测结果；根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果；将所述空域显著性检测结果和所述时域部分的运动显著性结果，采用熵不确定度算法进行融合。2.根据权利要求1所述的一种时空域显著性检测及融合方法，其特征在于，所述卷积神经网络结构，包括：(1)卷积层：经过卷积操作后得到表示图像局部特征的特征图，每个卷积层后加一个修正线性单元；(2)局部响应归一化层：对神经网络中间层的输出进行了平滑，输出如下：其中(x,y)表示像素位置，i表示通道索引，N为通道数，α,β,k,n均为自定义常数；l表示在第l个局部响应归一化层；j表示通道索引；(3)最大池化层：最大池化层用于提取局部相近的语义信息，该过程通过一个N×N的滑动窗口操作，其中窗口移动步长为N，通过计算原图像的局部被窗口所包含区域的最大值作为新的特征图对应位置的像素值；(4)反卷积层：实现将小尺寸的特征图尺寸缩放为原图像的大小，得到最终输出。3.根据权利要求2所述的一种时空域显著性检测及融合方法，其特征在于，根据卷积神经网络对输入视频帧进行空域显著性检测，生成空域显著性检测结果，包括：将所述卷积神经网络训练完成后，对输入的所述原始视频帧图像进行前向传播，得到最终的空域显著性图。4.根据权利要求3所述的一种时空域显著性检测及融合方法，其特征在于，根据HEVC压缩过程中帧间预测过程得...

【专利技术属性】
技术研发人员：祝世平，刘畅，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11