用于视频编码的编码器、解码器、系统和方法技术方案

一种用于对视频信号进行编码的编码器，包括：时空边缘检测器，其被配置为检测所述视频信号的多个时空表面；矢量化模块，其被配置为矢量化所述时空表面；以及属性跟踪器，其被配置为对所述矢量化的时空表面确定多个纹理绘制属性，所述多个纹理绘制属性表征在所述矢量化的时空表面中的各个矢量化的时空表面的至少一侧的颜色和纹理中的至少一个；其中，所述编码器被配置为基于所述矢量化的时空表面和所述多个纹理绘制属性来对所述视频信号进行编码。

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码的编码器、解码器、系统和方法
本专利技术的领域涉及视频编码。特定实施例涉及用于对视频信号进行编码的编码器、用于对编码的视频信号进行解码的解码器、用于对视频信号进行编码和对编码的视频信号进行解码的系统、用于对视频信号进行编码和/或对编码的视频信号进行解码的方法，以及计算机程序产品。
技术介绍
在过去的十年中，已经出现了大量具有不同分辨率的屏幕表面。此外，某些观看设备支持宽带接入，而其它设备支持有限接入。这两个性能并不总是相关。为了在限制性网络上为这样的异构设备群组提供相同的内容，可扩展视频编解码器通常侧重于基于分辨率或PSNR评估质量来提供质量层。基础层包括低频率，适合小屏幕，每个质量层添加更多、更高的频率分量。具有小屏幕的设备仅需要基础层，而更大的屏幕需要更多质量层，因此需要更多带宽。这种方法不利于具有大屏幕和有限带宽的设备。可扩展视频编解码器的基础层不适合大屏幕。由于低频方面的原因，它们使视频看起来很模糊。人们对质量的感知并不仅在于分辨率。我们感知到图像的“简化”但高频版本优于模糊、“复杂”版本，例如在卡通动画中。虽然几乎所有纹理信息丢失，但清晰的边缘得以保留。卡通动画仍然看起来像吸引人的真实版本——比具有相同数量比特(在信息理论意义上)的模糊视频更像。
技术实现思路
本专利技术实施例的目标是减少用于存储和传输编码的视频信号的存储和传输要求。本专利技术的某些实施例的相关目标是根据MOS(平均评价分数)而不是PSNR(峰值信噪比)来压缩图像。MPEG(运动图像专家组)族的编码器已达到任意更大程度的压缩将导致高度可见伪影的程度。相反，本专利技术的某些实施例的目标是在发生传输错误时产生更少的视觉干扰伪影。根据本专利技术的第一方面，提供一种用于对视频信号进行编码的编码器，包括时空边缘检测器、矢量化模块和属性跟踪器。时空边缘检测器被配置为检测所述视频信号的多个时空表面。矢量化模块被配置为矢量化所述时空表面。属性跟踪器被配置为对矢量化的时空表面确定多个纹理绘制属性，所述多个纹理绘制属性表征在所述矢量化的时空表面中的各个矢量化的时空表面的至少一侧的颜色和纹理中的至少一个。此外，所述编码器被配置为基于所述矢量化的时空表面和所述多个纹理绘制属性来对所述视频信号进行编码。以这种方式，通过在矢量化的时空表面的基础上对视频信号进行编码，可有效地表示视频信号，因此可降低存储和传输要求。此外，该方法通过使用基于矢量的呈现(representation)和纹理绘制属性，允许按照MOS而不是PSNR来对视频信号进行编码。因此，如果有限的带宽迫使编码器传输劣化的视频，或者如果发生传输错误，则出现视觉干扰伪影的可能性更小。在特定实施例中，纹理绘制属性包括以下中的至少一个：绘制颜色指示；基于词典的动态纹理；以及生成的动态纹理。本专利技术的某些实施例的进一步的目标是通过使用质量层的单个视频呈现来服务不同的设备，其中，质量范围与我们人类对内容的“简化”版本到更“详细”版本的感知对应。在实施例中，所述时空边缘检测器被配置为以级联的方式迭代地检测所述多个时空表面，以便确定多个层，所述多个层中的第一层包括第一数量的时空表面，所述多个层中的第二层包括第二数量的更细粒度的时空表面。以这种方式，即使当设备具有大分辨率和低带宽时，编码器也满足通过使用质量层的单个视频呈现而被服务的不同设备的需要，因为编码基于矢量化的时空表面和纹理绘制属性，所以即使在基础层中，也允许对视频信号进行解码以得到满意的结果。在实施例中，所述矢量化模块被配置为以级联的方式迭代地矢量化所述时空表面，以便确定多个层，所述多个层中的第一层包括第一数量的矢量化参数，所述第一数量的矢量化参数被配置为对所述时空表面的第一数量的矢量化的时空表面建模，所述多个层中的第二层包括第二数量的矢量化参数，所述第二数量的矢量化参数被配置为对所述时空表面的第二数量的更紧密拟合的矢量化的时空表面建模。以这种方式，即使当设备具有大分辨率和低带宽时，该方法也相应地进一步满足通过使用质量层的单个视频呈现而被服务的不同设备的需要，因为编码基于矢量化的时空表面和纹理绘制属性，所以即使在基础层中，也允许对视频信号进行解码以得到满意的结果。在实施例中，所述时空边缘检测器被配置为：使用不对称指数衰减窗口来在时空上平滑所述视频信号的考虑帧；在时空上计算强度梯度；在时空上应用非最大抑制；以及在所述视频信号的所述考虑帧之前的有限数量的帧上，使用沿着所述视频信号的时间维度延伸的滞后阈值化来在时空上阈值化边缘。以这种方式，即使给定有限的处理资源，也可有效地考虑时间维度。具体地，当仅执行前向蔓延(propagation)时，可使用一个单个过去的帧，而在执行前向和后向蔓延两者时，可使用更多的帧。在可替代的实施例中，检测包括通过使用滤波器、阈值化、细化(thinning)、形态学或其它方式评估梯度量值来提取具有相似特性的边缘(即表面)。在另一个实施例中，细化所检测到的多个时空表面中的时空表面包括在形态学上腐蚀所述时空表面的体素，而保留拓扑。以这种方式，可更有效地执行矢量化。在实施例中，所述矢量化模块被配置为：在所述矢量化之前，在时空上分析所述时空表面的每个体素的26个体素连接的邻域，以便确定所述体素的不相交表面片段。在实施例中，所述矢量化模块被配置为使用以下中的至少一个来拟合所述时空表面中的时空表面，以便对所述时空表面确定多个控制点和多个局部几何导数：三维贝塞尔曲面拟合算法；线性块；样条函数；以及NURBS(非均匀有理基本样条)。在实施例中，所述属性跟踪器被配置为：基于与所述矢量化的时空表面对应的原始视频信号轮廓的厚度，在所述矢量化的时空表面的控制点处并与所述矢量化的时空表面相距一距离处，在所述矢量化的时空表面中的各个矢量化的时空表面的至少一侧，优选地在任一侧，对纹理绘制特征进行采样。具体地，在特定实施例中，编码器可包括细化模块，其被配置为细化所检测到的多个时空表面。以这种方式，作为所述检测的后处理步骤或者作为所述矢量化的预处理步骤，所述检测和所述矢量化步骤可更好地彼此调整，从而可对细化的时空表面执行所述矢量化。在另一个实施例中，所述矢量化包括使用以下中的至少一个来拟合所述时空表面中的时空表面，以便对所述时空表面确定多个控制点和多个局部几何导数：三维贝塞尔曲面拟合算法；线性块；样条函数；以及NURBS(非均匀有理基本样条)。在进一步开发的实施例中，所述矢量化使用隐函数。在另一个实施例中，对所述矢量化的时空表面确定所述多个绘制属性包括：基于与所述矢量化的时空表面对应的原始视频信号轮廓的厚度，在所述矢量化的时空表面的控制点处并与所述矢量化的时空表面相距一距离处，在各个矢量化的时空表面的至少一侧，优选地在任一侧(即两侧中的每侧)，对纹理绘制特征进行采样。以这种方式，在进行编码时可考虑原始视频信号轮廓的边缘厚度或模糊量，以确保在与所述矢量化的空间表面相距适当的距离处，而不是在所述原始视频信号轮廓内执行所述采样。在特定实施例中，控制点是来自矢量化的副产品，因此它们可能是显著(salient)点，因为它们位于相关的纹理绘制环境中或接近相关的纹理绘制环境。以这种方式，编码器可通过重新使用先前获取的结果而更有效。在进一步开发的实施例中，这通过构建4D时空图像金本文档来自技高网...

【技术保护点】
一种用于对视频信号进行编码的编码器，包括：‑时空边缘检测器，其被配置为检测所述视频信号的多个时空表面；‑矢量化模块，其被配置为矢量化所述时空表面；以及‑属性跟踪器，其被配置为对矢量化的时空表面确定多个纹理绘制属性，所述多个纹理绘制属性表征在所述矢量化的时空表面中的各个矢量化的时空表面的至少一侧的颜色和纹理中的至少一个；其中，所述编码器被配置为基于所述矢量化的时空表面和所述多个纹理绘制属性来对所述视频信号进行编码。

【技术特征摘要】
【国外来华专利技术】2015.07.24 EP 15306209.61.一种用于对视频信号进行编码的编码器，包括：-时空边缘检测器，其被配置为检测所述视频信号的多个时空表面；-矢量化模块，其被配置为矢量化所述时空表面；以及-属性跟踪器，其被配置为对矢量化的时空表面确定多个纹理绘制属性，所述多个纹理绘制属性表征在所述矢量化的时空表面中的各个矢量化的时空表面的至少一侧的颜色和纹理中的至少一个；其中，所述编码器被配置为基于所述矢量化的时空表面和所述多个纹理绘制属性来对所述视频信号进行编码。2.根据权利要求1所述的编码器，其中，所述时空边缘检测器被配置为以级联的方式迭代地检测所述多个时空表面，以便确定多个层，所述多个层中的第一层包括第一数量的时空表面，所述多个层中的第二层包括第二数量的更细粒度的时空表面。3.根据权利要求1或2所述的编码器，其中，所述矢量化模块被配置为以级联的方式迭代地矢量化所述时空表面，以便确定多个层，所述多个层中的第一层包括第一数量的矢量化参数，所述第一数量的矢量化参数被配置为对所述时空表面的第一数量的矢量化的时空表面建模，所述多个层中的第二层包括第二数量的矢量化参数，所述第二数量的矢量化参数被配置为对所述时空表面的第二数量的更紧密拟合的矢量化的时空表面建模。4.根据前述权利要求中任一项所述的编码器，其中，所述时空边缘检测器被配置为：-使用不对称指数衰减窗口来在时空上平滑所述视频信号的考虑帧；-在时空上计算强度梯度；-在时空上应用非最大抑制；以及-在所述视频信号的所述考虑帧之前的有限数量的帧上，使用沿着所述视频信号的时间维度延伸的滞后阈值化来在时空上阈值化边缘。5.根据前述权利要求中任一项所述的编码器，其中，所述矢量化模块被配置为：在所述矢量化之前，在时空上分析所述时空表面的每个体素的26个体素连接的邻域，以便确定所述体素的不相交表面片段。6.根据前述权利要求中任一项所述的编码器，其中，所述矢量化模块被配置为使用以下中的至少一个来拟合所述时空表面中的时空表面，以便对所述时空表面确定多个控制点和多个局部几何导数：三维贝塞尔曲面拟合算法；线性块；样条函数；以及NURBS(非均匀有理基本样条)。7.根据前述权利要求中任一项所述的编码器，其中，所述属性跟踪器被配置为：基于与所述矢量化的时空表面对应的原始视频信号轮廓的厚度，在所述矢量化的时空表面的控制点处并与所述矢量化的时空表面相距一距离处，在所述矢量化的时空表面中的各个矢量化的时空表面的至少一侧，优选地在任一侧，对纹理绘...

【专利技术属性】
技术研发人员：M·埃尔茨，P·龙当阿尔法塞，
申请(专利权)人：阿尔卡特朗讯公司，
类型：发明
国别省市：法国,FR