使用ρ域位分配的视频电话中的关注区编码方法及装置制造方法及图纸

本揭示内容针对用于视频电话（ＶＴ）的关注区（ＲＯＩ）编码的技术。所揭示的技术还包含用于在ρ域内以宏区块（ＭＢ）级使用经加权位分配模型将位分配到ＲＯＩ和非ＲＯＩ区域的技术。

【技术实现步骤摘要】
【国外来华专利技术】
本揭示内容涉及数字视频编码，且更明确地说，涉及用于视频电话(VT)应用的编码关注区(ROI)信息的技术。
技术介绍
已经为编码数字视频序列建立了许多不同的视频编码标准。举例来说，移动图片专家组(MPEG)已经开发出许多标准，包含MPEG-1、MPEG-2和MPEG-4。其它实例包含国际电信联盟(ITU)H.263标准和新兴的H.264标准。这些视频编码标准通常支持通过以压缩方式编码数据而改进视频序列的传输效率。 视频电话(VT)允许用户共享视频和音频信息以支持例如视频会议的应用。示范性视频电话标准包含由对话启始协议(SIP)界定的那些标准、ITU H.323标准和ITU H.324标准。在VT系统中，用户可发送并接收视频信息，仅接收视频信息，或仅发送视频信息。接收者通常以视频信息从发送者传输的形式观看所接收的视频信息。 已提议对视频信息的选定部分进行优先编码。举例来说，发送者可指定以较高质量编码关注区(ROI)以用于传输到接收者。发送者可能希望对远程接收者强调所述ROI。尽管发送者可能希望将注意力集中在视频场景内的其它对象上，但ROI的典型实例是人脸。利用对ROI的优先编码，与非ROI区相比，接收者能够较清楚地观看ROI。
技术实现思路
本揭示内容针对用于视频电话(VT)的关注区(ROI)编码的技术。所揭示的技术包含用于适应性地跳过视频帧的非ROI区域以保留编码位以供分配到ROI的技术。所揭示的技术还包含用于在ρ域内以宏区块(MB)级使用经加权位分配模型将位分配到ROI的技术。另外，所揭示的技术包含用于产生针对ROI视频的质量度量的技术，其在评估经编码视频序列的质量时共同考虑用户对ROI的关注程度、ROI视频保真度和ROI感知质量。 非ROI跳过技术用于增强ROI的图像质量，而不会使非ROI区的图像质量显著降级。明确地说，非ROI跳过技术可保留非ROI位以提供额外位用于分配到ROI。可应用质量度量来使位分配技术偏移以增强经编码视频场景中的主观图像质量。ρ域中的位分配可提供对ROI量化的较准确且一致的控制以便增强视觉质量。非ROI跳过、ρ域位分配和质量度量可共同或单独使用以实现对ROI和非ROI编码的有效控制。 在一个实施例中，本揭示内容提供一种方法，所述方法包括基于先前帧的视频保真度、先前帧的感知质量和用户对关注区的偏好来产生含有关注区的经编码视频帧的质量度量。 在另一实施例中，本揭示内容提供一种装置，所述装置包括视频编码器，其编码含有关注区的视频帧；以及质量度量计算器，其基于先前帧的视频保真度、先前帧的感知质量和用户对关注区的偏好来产生视频帧的质量度量。 在又一实施例中，本揭示内容提供一种方法，所述方法包括获得视频帧内的关注区界定；获得界定可用于所述帧的编码位的数目的帧预算；以及基于所述帧预算和关注区内的宏区块与视频帧的不在关注区内的区域内的宏区块之间的加权将ρ域值分配到帧内的宏区块。 在额外实施例中，本揭示内容提供一种装置，所述装置包括关注区映射器，其产生视频帧内的关注区界定；帧级速率控制器，其产生界定可用于所述帧的编码位的数目的帧预算；以及位分配模块，其基于所述帧预算和关注区内的宏区块与视频帧的不在关注区内的区域内的宏区块之间的加权将ρ域值分配到帧内的宏区块。 在另一实施例中，本揭示内容提供一种方法，所述方法包括将连续帧分组为帧单元；编码所述帧单元中各个帧内的关注区；以及针对所述帧单元中的至少一个帧跳过对不在各个关注区内的区域的编码。 在又一实施例中，本揭示内容提供一种装置，所述装置包括关注区映射器，其产生视频帧内的关注区界定；视频编码器，其编码视频帧；以及跳过模块，其将分组连续帧分组为帧单元，引导视频编码器编码所述帧单元中各个帧内的关注区，并引导视频编码器针对所述帧单元中的至少一个帧跳过对不在各个关注区内的区域的编码。 本文描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么可部分通过计算机可读媒体来实现所述技术，所述计算机可读媒体包括含有在执行时会执行本文描述的方法中的一者或一者以上的指令的程序代码。 附图和以下描述内容中陈述了一个或一个以上实施例的细节。从描述内容和附图以及从权利要求书中将容易了解其它特征、目的和优点。 附图说明 图1是说明并入有ROI启用视频编解码器(CODEC)的视频编码和解码系统的方框图。 图2是说明与无线通信装置相关联的显示器上呈现的视频场景内的ROI界定的图。 图3A和3B是说明图2中描绘的视频场景的ROI和非ROI区域的图。 图4是说明并入有具有非ROI跳过模块、ROIρ域位分配模块和ROI权重计算器的ROI启用编码器的视频通信装置的方框图。 图5是说明ROI质量度量计算器的方框图。 图6是进一步说明并入有用于ROI质量度量计算的ROI用户偏好输入装置的无线通信装置的图。 图7是说明使用ROI质量度量计算器来分析视频序列以优化由视频编码器应用的编码参数的方框图。 图8是说明使用ROI质量度量计算器来分析经编码视频以调节由视频编码器应用的编码参数的方框图。 图9是说明针对经编码视频的ROI质量度量计算的流程图。 图10是说明针对视频序列的ROI质量度量计算的流程图。 图11是说明ROIρ域位分配的流程图。 图12是将使用经加权位分配模型的编码技术与最佳解决方案的总体感知质量进行比较的曲线图。 图13是说明非ROI跳过技术的流程图。 图14是说明将连续帧分组为帧单元以支持非ROI跳过的图。 图15是说明编码连续ROI区域以及共同非ROI区域以支持非ROI跳过的图。 图16是将使用标准位分配、经加权位分配和背景跳过的ROI编码技术的总体感知质量进行比较的曲线图，其中用户偏好因数α＝0.9。 图17是将使用标准位分配、经加权位分配和背景跳过的ROI编码技术的总体视频保真度进行比较的曲线图，其中用户偏好因数α＝0.9。 图18是将使用标准位分配、经加权位分配和背景跳过的ROI编码技术的ROI视频保真度进行比较的曲线图，其中用户偏好因数α＝0.9。 图19是将使用标准位分配、经加权位分配和背景跳过的ROI编码技术的非ROI视频保真度进行比较的曲线图，其中用户偏好因数α＝0.9。 图20是将使用标准位分配、经加权位分配和背景跳过的ROI编码技术的总体感知质量进行比较的曲线图，其中用户偏好因数α＝0.7。 图21是将使用标准位分配、经加权位分配和背景跳过的ROI编码技术的总体视频保真度进行比较的曲线图，其中用户偏好因数α＝0.7。 图22是将使用标准位分配、经加权位分配和背景跳过的ROI编码技术的总体感知质量进行比较的曲线图，其中用户偏好因数α＝0.5。 图23是将使用标准位分配、经加权位分配和背景跳过的ROI编码技术的总体视频保真度进行比较的曲线图，其中用户偏好因数α＝0.5。 图24是将在各种用户偏好因数值下使用标准帧跳过和非ROI跳过的ROI编码技术的感知质量进行比较的曲线图。 图25是将当非ROI跳过开启和关闭时ROI编码技术的感知质量进行比较的曲线图。 图26是说明示范性视频序列上由非ROI跳过引起的失真的曲线图。 图27是将使用非ROI跳过、没有非ROI跳过和适应性非ROI跳过的ROI编码技术的总体感知质量进行比本文档来自技高网...

【技术保护点】
一种方法，其包括：获得视频帧内的关注区的界定；获得界定可用于所述帧的编码位数目的帧预算；以及基于所述帧预算和所述关注区内的宏区块与所述视频帧的不在所述关注区内的区域内的宏区块之间的加权将ρ域值分配到所述帧内的宏区块。

【技术特征摘要】
【国外来华专利技术】US 2005-3-1 60/658,008;US 2005-8-9 11/199,9351.一种方法，其包括获得视频帧内的关注区的界定；获得界定可用于所述帧的编码位数目的帧预算；以及基于所述帧预算和所述关注区内的宏区块与所述视频帧的不在所述关注区内的区域内的宏区块之间的加权将ρ域值分配到所述帧内的宏区块。2.根据权利要求2所述的方法，其进一步包括将所述ρ域值映射到相应的量化参数(QP)值以将一数目的编码位分配到所述宏区块中的每一者。3.根据权利要求2所述的方法，其进一步包括使用所述分配的编码位来编码所述视频帧的所述宏区块。4.根据权利要求2所述的方法，其中所述分配的位的数目小于或等于由所述帧预算指定的位数目。5.根据权利要求2所述的方法，其中所述加权至少部分基于先前帧的失真。6.根据权利要求2所述的方法，其中所述加权至少部分基于先前帧的视频保真度、所述先前帧的感知质量和用户对所述关注区的偏好。7.根据权利要求6所述的方法，其中所述感知质量包含所述先前帧的时间质量值和空间质量值。8.根据权利要求6所述的方法，其中所述时间质量值包含所述关注区的第一时间质量值以及所述视频帧的不在所述关注区内的区域的第二时间质量值。9.根据权利要求6所述的方法，其中所述空间质量值包含所述关注区的第一空间质量值以及所述视频帧的不在所述关注区内的区域的第二空间质量值。10.根据权利要求6所述的方法，其中所述空间质量值至少部分基于所述先前帧中成块假象的存在，且其中所述时间质量值至少部分基于所述先前帧中时间闪烁假象的存在。11.根据权利要求6所述的方法，其中所述视频保真度包含至少部分基于所述先前视频帧的峰值信号噪声比的失真值。12.根据权利要求1所述的方法，其中分配ρ域值包含基于关于是否将跳过对不在所述关注区内的所述区域的编码的指示来分配所述ρ域值。13.根据权利要求12所述的方法，其进一步包括将连续帧分组为帧单元，编码与所述各个帧相关联的关注区，以及针对所述帧中的至少一者跳过对所述视频帧的不在各个关注区内的区域的编码。14.根据权利要求12所述的方法，其进一步包括当与先前帧单元相关联的失真值小于阈值时，针对所述帧中的至少一者选择性地跳过对不在各个关注区内的区域的编码。15.一种装置，其包括关注区映射器，其产生视频帧内的关注区的界定；帧级速率控制器，其产生界定可用于所述帧的编码位数目的帧预算；以及位分配模块，其基于所述帧预算和所述关注区内的宏区块与所述视频帧的不在所述关注区内的区域内的宏区块之间的加权而将ρ域值分配到所述帧内的宏区块。16.根据权利要求15所述的装置，其进一步包括ρ-QP映射器，所述ρ-QP映射器将所述ρ域值映射到相应的量化参数(QP)值以将一数目的编码位分配到所述宏区块中的每一者。17.根据权利要求15所述的装置，其进一步包括视频编码器，所述视频编码器使用所述分配的编码位来编码所述视频帧的所述宏区块。18.根据权利要求15所述的装置，其中所述分配的位的数目小于或等于由所述帧预算指定的位数目。19.根据权利要求15所述的装置，其中所述加权至少部分基于先前帧的视频保真度、所述先前帧的感知质量和用户对所述关注区的偏好。20.根据权利要求19所述的装置，其中所述感知质量包含所述先前帧的时间质量值和空间质量值。21.根据权利要求20所述的装置，其中所述时间质量值包含所述关注区的第一时间质量值以及所述视频帧的不在所述关注区内的区域的第二时间质量值。22.根据权利要求20所述的装置，其中所述空间质量值包含所述关注区的第一空间质量值以及所述视频帧的不在所述关注区内的区域的第二空间质量值。23.根据权利要求20所...

【专利技术属性】
技术研发人员：王浩宏，哈立德希勒米厄勒马列，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：US[]