基于量化参数的视频处理的系统和方法技术方案

本文公开了基于量化参数处理视频的系统和方法的各个方面。在实施例中，所述方法包括提取用于捕获图像块的纹理信息的多个特征。训练神经网络回归器以映射所提取的多个特征以确定最佳量化参数。通过使用所确定的最佳量化参数对该图像块进行编码。

【技术实现步骤摘要】
【国外来华专利技术】基于量化参数的视频处理的系统和方法相关申请的交叉引用/通过引用并入无
本公开的各种实施例涉及视频处理。更具体地，本公开的各种实施例涉及基于量化参数的视频处理。
技术介绍
视频处理
的进步革新了数字产业及其相关设备和应用。随着高分辨率视频内容服务的普及，视频编码技术的发展变得越来越重要。在某些场景中，当用于编码视频内容的一个或多个图像块的比特数减少时，可能难以在不同图像块和/或图像帧上维持特定质量水平的视频内容。可能需要先进的系统的技术，使得视频质量不会在不同的图像块和/或图像帧上波动，并且可以在编码的视频中优化整体视频质量。通过与如本申请的其余部分和参考附图所述的具有本公开的某些方面的所述系统进行比较，常见的和传统的方法的进一步限制和缺点对于本领域技术人员将是明晰的。
技术实现思路
一种基于量化参数处理视频内容的系统和方法，基本上如至少一幅附图所示和/或结合其所述，在权利要求中更完整地记载。通过阅读本公开的以下详细描述以及附图，可以理解本公开的这些和其他特征和优点，附图中相同的附图标记始终表示相同的部分。附图说明图1是示出了根据本公开的实施例的用于实现所公开的基于量化参数处理视频的系统和方法的网络环境的框图。图2是示出了根据本公开的实施例的示例性视频处理设备的框图。图3示出了根据本公开的实施例的用于实现所公开的基于量化参数处理视频的系统和方法的示例性最佳量化参数预测技术。图4示出了根据本公开的实施例的用于实现所公开的基于量化参数处理视频的系统和方法的前馈神经网络的示例性概览。图5A和图5B共同描述了根据本公开的实施例的示出基于量化参数处理视频的示例性方法的流程图。具体实施方式以下描述的实现可以在所公开的基于量化参数处理视频的系统和方法中被找到。本公开的示例性方面可以包括可以提取图像块的用于捕获纹理信息的多个特征的方法。可以训练神经网络回归器以映射所提取的多个特征以确定最佳量化参数(QP)。可以通过使用所确定的最佳QP来编码图像块。根据实施例，第一图像帧的图像块可以由多个QP编码，多个QP用于生成第一图像帧的图像块的多个重建图像块。可以对多个重建图像块中的每一个利用图像质量测量，以确定该图像块的最佳QP。根据实施例，图像质量测量可以是基于卷积神经网络的全参考图像质量测量。可以通过使用图像质量测量为多个重建图像块中的每一个生成分数。该分数可以表示多个重建图像块中的每一个的视觉质量的测量。根据实施例，所确定的最佳QP的值可以在用于生成该图像块的多个重建图像块的多个QP的值中最高。所确定的最佳QP的值也可以大于或等于预先指定的图像质量阈值。根据实施例，可以基于提取的多个特征生成训练数据集，所述多个特征对应于所确定的图像块的最佳QP。生成的训练数据集可以包括视频的第一图像帧的其他图像块的多个特征和对应的最佳QP。可以提取其他图像块的多个特征以捕获其他图像块的纹理信息。根据实施例，生成的训练数据集可以用于训练神经网络回归器。可以基于该训练的神经网络回归器确定该图像块的所提取的多个特征与所确定的最佳QP之间的映射函数。根据实施例，神经网络回归器可以是基于前馈神经网络的回归模型。基于所述训练的神经网络回归器，可以为第二图像帧的另一个图像块预测另一最佳QP。图1是示出了根据本公开的实施例的用于实现所公开的基于量化参数处理视频的系统和方法的网络环境的框图。参考图1，示出了视频处理设备102、显示设备104、通信网络106、视频108和一个或多个用户，诸如用户110。根据实施例，视频处理设备102可以经由通信网络106被通信地耦合到显示设备104和一个或多个服务器(未示出)上。根据实施例，用户可以与显示设备104和/或视频处理设备102相关联。视频处理设备102可以包括合适的逻辑、电路、接口和/或代码，其可以处理诸如视频108的一个或多个视频内容，以生成编码的视频。视频处理设备102的示例可以包括但不限于数码相机、便携式摄像机、视频编解码器、智能手机、投影仪、平板电脑、笔记本电脑、服务器、游戏设备、媒体流设备、视频会议装备和/或编码器和/或其他计算设备。显示设备104可以包括合适的逻辑、电路、接口和/或代码，其配置为在解码之后呈现所编码的视频。显示设备104的示例可以包括但不限于电视(诸如高清电视(HDTV))、超高清电视(UHDTV)、互联网协议电视(IPTV)、数字媒体接收器、媒体回放设备、视频编解码器、智能手机、游戏设备、视频会议装备和/或解码器和/或其他计算设备。通信网络106可以包括媒体和一个或多个服务器，视频处理设备102可以通过该媒体与一个或多个显示设备(诸如显示设备104)通信。通信网络106的示例可以包括但不限于因特网、云网络、无线局域网(WLAN)、局域网(LAN)、普通老式电话服务(POTS)和/或城域网(MAN)。根据各种有线和无线通信协议，网络环境100中的各种设备可用于连接到通信网络106。这种有线和无线通信协议的示例可以包括但不限于传输控制协议和因特网协议(TCP/IP)、长期演进(LTE)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE802.11、IEEE802.16、蜂窝通信协议和/或蓝牙(BT)通信协议。在操作中，视频处理设备102可以被配置为接收视频108的图像序列。视频处理设备102可以被配置为提取用于捕获图像块的纹理信息的多个特征(图2中所述)。图像块可以指的是视频108的第一图像帧的输入图像块。视频处理设备102可以被配置为利用多个QP对第一图像帧的图像块进行编码，以生成第一图像帧的输入图像块的多个重建图像块。根据实施例，视频处理设备102可以被配置为对多个重建图像块中的每一个生成分数。可以通过使用图像质量测量来生成该分数。图像质量测量可以是基于卷积神经网络(FRCNN)的全参考图像质量测量。尽管如此，在不脱离本公开的范围的情况下，图像质量测量可以是用于客观图像质量评估的任何其他方法，诸如其他全参考方法、半参考方法和/或无参考方法。所生成的分数可以表示多个重建图像块中的每一个的视觉质量的测量。根据实施例，视频处理设备102可以被配置为从多个QP值中确定该图像块的最佳量化参数(图3中详细示出和描述)。可以通过对多个重建图像块中的每一个使用图像质量测量(诸如FRCNN)和质量阈值来确定图像块的最佳QP。所确定的最佳QP的值可以是该多个QP的值中最高的一个。所确定的最佳QP的值可以大于或等于预先指定的图像质量阈值。根据实施例，视频处理设备102可以被配置为通过使用所确定的最佳量化参数来对图像块进行编码。视频处理设备102可以被配置为提取视频108的第一图像帧的另一图像块的多个特征。视频处理设备102进一步可以被配置为确定另一图像块的最佳QP。这可以通过使用诸如FRCNN的图像质量测量和质量阈值的类似于上述的过程来完成。根据实施例，视频处理设备102可以被配置为生成训练数据集。该训练数据集可以是基于图像块的所提取的多个特征和对应确定的最佳QP。类似地，另一个图像块的所提取的多个特征和对应确定的最佳QP也可以被用来形成训练数据集。大的训练数据集可以通过使用视频108的一个或多个图像帧(诸如至少第本文档来自技高网...

【技术保护点】
1.一种用于视频处理的系统，所述系统包括：视频处理器中的一个或多个电路，所述一个或多个电路被配置为：提取图像块的用于捕获纹理信息的多个特征；训练神经网络回归器以映射提取的所述多个特征来确定最佳量化参数；和通过使用确定的最佳量化参数对所述图像块进行编码。

【技术特征摘要】
【国外来华专利技术】2016.03.09 US 15/065,2481.一种用于视频处理的系统，所述系统包括：视频处理器中的一个或多个电路，所述一个或多个电路被配置为：提取图像块的用于捕获纹理信息的多个特征；训练神经网络回归器以映射提取的所述多个特征来确定最佳量化参数；和通过使用确定的最佳量化参数对所述图像块进行编码。2.根据权利要求1所述的系统，其中所述一个或多个电路被配置为利用多个量化参数对第一图像帧的所述图像块进行编码，以生成所述第一图像帧的所述图像块的多个重建图像块。3.根据权利要求2所述的系统，其中所述一个或多个电路被配置为对所述多个重建图像块中的每一个采用图像质量测量，以用于所述图像块的所述最佳量化参数的所述确定。4.根据权利要求3所述的系统，其中所述图像质量测量是基于卷积神经网络的全参考图像质量测量。5.根据权利要求3所述的系统，其中所述一个或多个电路被配置为通过使用所述图像质量测量为所述多个重建图像块中的每一个生成分数，其中所述分数表示所述多个重建图像块中的每一个的视觉质量的测量。6.根据权利要求5所述的系统，其中所述确定的最佳量化参数的值在所述多个量化参数的值中最高，并且其中所述确定的最佳量化参数的所述值大于或等于预先指定的图像质量阈值。7.根据权利要求1所述的系统，其中所述一个或多个电路被配置为基于所述图像块的所述提取的多个特征和对应的所述确定的最佳量化参数来生成训练数据集。8.根据权利要求7所述的系统，其中生成的训练数据集包括视频内容的第一图像帧的其他图像块的多个特征和对应的最佳量化参数，其中其他图像块的所述多个特征被提取以捕获所述其他图像块的纹理信息。9.根据权利要求7所述的系统，其中所述一个或多个电路被配置为将生成的训练数据集用于所述神经网络回归器的所述训练。10.根据权利要求1所述的系统，所述一个或多个电路被配置为基于经训练的神经网络回归器确定所述图像块的所述提取的多个特征与所述...

【专利技术属性】
技术研发人员：叶鹏，徐迅，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP