使用至少评估后的视觉质量的视频编码方法技术

一种视频编码方法包含至少以下步骤：利用视觉质量评估模块基于涉及编码回路中的数据评估视觉质量；以及参考至少评估后的视觉质量用于执行运动估计。另一中视频编码方法包含至少以下步骤：利用视觉质量评估模块基于涉及编码回路中的数据评估视觉质量；以及参考至少评估后的视觉质量，用于决定与运动估计关联的目标编码参数。

【技术实现步骤摘要】
【国外来华专利技术】使用至少评估后的视觉质量的视频编码方法交叉参考相关引用本申请要求2013年3月11日提交的申请号为No.61/776,053的美国临时申请以及2014年3月2日提交的申请号为No.14/194,812的美国申请的优先权，上述申请参考并入本文。
所公开的本专利技术的实施例关于视频编码，且更特别地，关于使用由一个或多个视觉质量度量确定的至少评估后的视觉质量的视频编码方法和相关视频编码装置。
技术介绍
现有的视频编码标准通常采取基于块(或基于编码单元)的编码技术，以开发空间冗余。例如，基本方法是将整个来源帧分割为多个块(编码单元)，对每个块(编码单元)执行预测，使用离散余弦转换来转换每个块(编码单元)的残值，以及执行量化和熵编码。除此之外，重建帧在编码回路中生成，以提供参考像素数据用于编码后续块(编码单元)。对于某些视频编码标准，环路滤波器可用于增强重建帧的图像质量。例如，解块(de-blocking)滤波器包含于H.264编码回路，以及解块滤波器和样本自适应偏置(SampleAdaptiveOffset，SAO)滤波器包含于高效率视频编码(HighEfficiencyVideoCoding，HEVC)编码回路中。通常来讲，编码回路由多个处理阶段组成，包含转换、量化、帧内/帧间预测等。基于现有的视频编码标准，一个处理阶段基于从来源帧(即，即将被编码的输入帧)和参考帧(即，在编码过程中生成的重建帧)派生的基于像素的失真值来选择视频编码模式。例如，基于像素的失真值可以是绝对差值的总和(SAD)，转换后的差值的总和(SATD)或平方差值的总和(SSD)。然而，基于像素的失真值仅仅考虑来源帧和参考帧的像素之间的像素值差值，且有时不相关于从解码一个编码后的帧生成的重建帧的实际视觉质量。具体地，基于实验结果，不同的处理后的图像，从原始图像派生的并具有相对于原始图像的相同的基于像素的失真(例如，相同的均方差(MSE))的每个图像，可对观看者呈现不同的视觉质量。即，较小的基于像素的失真不代表人类视觉系统中更好的视觉质量。因此，编码后的帧由于最小基于像素的失真值选择的基于视频编码模式而生成，且每个编码后的帧不保证从解码编码后的帧生成的重建帧具有最佳视觉质量。
技术实现思路
根据本专利技术的示范性实施例，提出一种使用由一个或多个视觉质量度量获得的至少评估后的视觉质量的视频编码方法和相关视频编码装置。根据本专利技术的第一方面，揭示了一种示范性视频编码方法。示范性视频编码方法包含：利用视觉质量评估模块基于涉及编码回路中的数据评估视觉质量；以及参考至少评估后的视觉质量用于执行运动估计，该运动估计依据多个候选运动向量的评估的视觉质量信息从该多个候选运动向量中选择具有最佳视觉质量的候选运动向量，作为该当前块的目标运动向量。根据本专利技术的第二方面，揭示了另一示范性视频编码方法。示范性视频编码方法包含：利用视觉质量评估模块基于涉及编码回路中的数据评估视觉质量；以及参考至少评估后的视觉质量，用于决定与运动估计关联的目标编码参数，其中该参考至少评估后的视觉质量，用于决定与运动估计关联的目标编码参数的步骤包含：该运动估计依据多个候选运动向量的评估的视觉质量信息从该多个候选运动向量中选择具有最佳视觉质量的候选运动向量，从该具有最佳视觉质量的该候选运动向量获得具有最佳视觉质量的该目标编码参数。根据本专利技术的第三方面，揭示了一种示范性视频编码装置。示范性视频编码装置包含视觉质量评估模块和编码电路。视觉质量评估模块，用于基于涉及编码回路中的数据，评估视觉质量；以及编码电路，包含编码回路，用于参考至少评估后的视觉质量用于执行运动估计，其中该编码电路依据多个候选运动向量的评估的视觉质量信息从该多个候选运动向量中选择具有最佳视觉质量的候选运动向量，作为该当前块的目标运动向量。根据本专利技术的第四方面，揭示了另一示范性视频编码装置。示范性视频编码装置包含视觉质量评估模块和编码电路。视觉质量评估模块，用于基于涉及编码回路中的数据，评估视觉质量；以及编码电路，包含编码回路，编码电路用于参考至少评估后的视觉质量，用于决定与运动估计关联的目标编码参数，其中该编码电路依据多个候选运动向量的评估的视觉质量信息从该多个候选运动向量中选择具有最佳视觉质量的候选运动向量，从该具有最佳视觉质量的该候选运动向量获得具有最佳视觉质量的该目标编码参数。在阅读了图示于各种图和附图中的优先实施例的以下详细描述后，本专利技术的这些和其它目的将对本领域的普通技术人员变得明显。附图说明图1是根据本专利技术的实施例图示视频编码装置的方框图。图2示图示现有的基于失真的运动估计的示意图。图3是图示根据本专利技术的实施例的所提出的基于视觉质量的运动估计的示意图。图4是图示根据本专利技术的第一实施例的视频编码方法的流程图。图5是图示根据本专利技术的第二实施例的视频编码方法的流程图。具体实施方式遍及整篇描述和权利要求的某些术语用于指代特定部件。如本领域的技术人员意识到的，制造商可用不同的名称指代部件。此文档不打算区别名称不同但功能相同的部件。在权利要求和下文的描述中，术语“包括”和“包含”用于开放方式，且因此应该解释为意思是“包含，但不限于”。而且，术语“耦合”意于表示间接或直接电连接。因此，如果一个装置耦合到另一装置，那个连接可以通过直接电连接，或通过经由其它装置和连接的间接电连接。本专利技术的概念将人类视觉系统的特性并入视频编码过程，以改进视频压缩效率或视觉质量。更具体地，视觉质量评价涉及到视频编码过程，以便从解码一编码后的帧生成的重建帧能够具有增强的视觉质量。所提出的基于视觉质量的视频编码设计的进一步细节描述于下。图1是根据本专利技术的实施例图示视频编码装置的方框图。视频编码装置100用于编码来源帧IMGIN，以生成承载对应于来源帧IMGIN的编码后的帧信息的比特流BS。在本实施例中，视频编码装置100包含编码电路102和视觉质量评估模块104。以示例的方式，但并非限制，编码电路102的架构可以基于任何现有的视频编码架构来配置。应该注意到，编码电路102可遵循现有的视频编码架构，以具有实施于其中的多个处理阶段；然而，此并非表示包含于编码电路102的每个处理阶段必须使用现有的设计来实施。例如，与由视觉质量评估模块104执行的视觉质量评估关联的和/或由视觉质量评估模块104获得的视觉质量影响/控制的任何处理阶段，仍然落入本专利技术的范围。如图1所示，编码电路102包含由拆分模块111、减法器(即，用于执行减法操作的加法器)112、转换模块113、量化模块114、逆量化模块116、逆转换模块117、加法器118、解块滤波器119、样本自适应偏置(SAO)滤波器120、帧缓冲器121、帧间预测模块122、帧内预测模块123组成的编码回路，其中帧间预测模块122包含运动估计单元124和运动补偿单元125。编码电路102还包含熵编码模块115，用于通过对从量化模块114生成的量化后的因子执行熵编码，以生成比特流BS。应该注意到，解块滤波器119和SAO滤波器120的一个或所有可以省略/旁路以用于某些应用。即，依据实际设计要求，解块滤波器119和/或SAO滤波器120是可选的。本领域技术人员应该容易理解包含于编码电路102中的处理阶段的基本操作，为了简洁，此本文档来自技高网...

【技术保护点】
一种视频编码方法，其特征在于，包含：利用视觉质量评估模块基于涉及编码回路中的数据来评估视觉质量；以及参考至少评估后的视觉质量来执行运动估计。

【技术特征摘要】
【国外来华专利技术】2013.03.11 US 61/776,053;2014.03.02 US 14/194,8121.一种视频编码方法，其特征在于，包含：利用视觉质量评估模块基于涉及编码回路中的数据来评估视觉质量；检查基于像素的失真是否应该用于运动向量决定；如果是，则基于来源帧的原始数据的至少部分和从来源帧的原始数据派生的处理后的数据的至少部分，计算基于像素的失真，并且参考评估后的视觉质量和计算后的基于像素的失真执行运动估计；以及如果否，则参考评估后的视觉质量执行运动估计。2.如权利要求1所述的视频编码方法，其特征在于，涉及所述编码回路的所述数据是来源帧的原始数据。3.如权利要求1所述的视频编码方法，其特征在于，涉及所述编码回路的所述数据是从来源帧的原始数据派生的处理后的数据。4.如权利要求3所述的视频编码方法，其特征在于，所述处理后的数据包含转换后的因子、量化后的因子、重建后的像素数据、运动补偿后的像素数据或帧内预测后的像素数据。5.如权利要求1所述的视频编码方法，其特征在于，所述评估后的视觉质量是从检查影响人类视觉感觉的至少一个图像特性派生的，且所述至少一个图像特性包含锐利度、噪声、模糊、边缘、动态范围、阻挡伪迹、平均强度、色温、场景组合、人脸、动物出现、吸引更多或更少兴趣的图像内容、空间遮蔽、时间遮蔽或频率遮蔽。6.如权利要求1所述的视频编码方法，其特征在于，所述评估视觉质量的步骤包含：根据涉及所述编码回路中的所述数据计算单个视觉质量度量；以及仅仅基于所述单个视觉质量度量确定每个评估后的视觉质量。7.如权利要求1所述的视频编码方法，其特征在于，所述评估视觉质量的步骤包含：根据涉及所述编码回路中的所述数据计算多个不同的视觉质量度量；以及基于所述不同的视觉质量度量确定每个评估后的视觉质量。8.如权利要求7所述的视频编码方法，其特征在于，所述基于所述不同的视觉质量度量确定每个评估后的视觉质量的步骤包含：确定多个权重因素；以及通过根据所述权重因素结合所述不同的视觉质量度量，确定每个评估后的视觉质量。9.如权利要求8所述的视频编码方法，其特征在于，所述权重因素通过训练来确定。10.如权利要求1所述的视频编码方法，其特征在于，所述执行运动估计的步骤包含：决定至少一个运动向量。11.如权利要求1所述的视频编码方法，其特征在于，根据所述评估后的视觉质量和所述基于像素的失真，执行所述运动估计的步骤包含：根据所述评估后的视觉质量和所述基于像素的失真中的一个，执行粗决定，以确定多个粗略候选运动向量；以及根据所述评估后的视觉质量和所述基于像素的失真中的另一个，执行细决定，以从所述多个粗略候选运动向量确定至少一个精细候选运动向量，其中目标运动向量是从所述至少一个精细候选运动向...

【专利技术属性】
技术研发人员：何镇在，朱启诚，陈鼎匀，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71