使用感兴趣对象的数据对视频成码的比特率控制制造技术

本发明专利技术描述了包括使用感兴趣对象数据的对视频成码的比特率控制的系统、制品和方法。

【技术实现步骤摘要】
使用感兴趣对象的数据对视频成码的比特率控制背景网际协议语音(VoIP)提供各种数据传输服务，包括诸如视频会议等具有双向或广播视频和音频传输的多媒体会话。随着质量的提高和成本的下降，视频会议已经变得非常流行。这已经提高了诸如视频会议等允许共享和传送大量多媒体数据的应用的比特率效率的重要性。这些传输使用视频编码器，该视频编码器压缩视频信息以使得能够通过给定带宽发送更多信息。经压缩的信号然后可被传送到在显示之前对该信号进行解码或解压缩的接收器。具有较低带宽的一些网络需要降低总比特率以便甚至在维持视频中关键内容的视觉质量的同时接收和显示视频数据。对于具有相对较大带宽的网络，在维持视频中关键内容的视觉质量的同时降低比特率提供了供其它传输(无论与正在传送的视频的显示或音频有关的传输还是其它无关的网络传输)自由使用的更多带宽。附图说明本文中所描述的内容通过示例而非限制地在附图中示出。为说明的简单和清楚起见，在附图中示出的元素不一定按比例绘制。例如，为清楚起见，某些元素的尺寸可能相对于其它元素被放大。此外，在认为合适的地方，在附图中重复附图标记以指示相应或相似的元件。在附图中：图1是示例视频成码(coding)系统的示图；图2是图1的示例视频成码系统的一部分的示图；图3是替换视频成码系统的示图；图4是根据一个示例视频成码系统的视频帧的示图；图5是示出图4的视频帧的映射的示图；图6是示出图4的视频帧的另一映射的示图；图7是示出示例视频成码过程的流程图；图8是操作中的示例视频成码过程的示图；图9是示例视频成码系统的示图；图10是用于操作示例视频成码系统的示例系统的示图；以及图11是完全根据本公开至少一些实现安排的示例系统的示图。具体实施方式现在参考附图描述一个或多个实现。尽管讨论了特定配置和构造，然而应当理解这样做只是为了解说目的。相关领域内技术人员应当理解，可使用其它配置和安排而不背离说明书的精神和范围。相关领域内技术人员将显而易见，也可在本申请所描述内容以外的多种其它系统和应用中采用本文所述的技术和/或安排。尽管以下描述陈述了可在诸如片上系统(SoC)架构之类的架构中出现的多个实现，但是本文所述的技术和/或安排的实现不限于特定的架构和/或计算系统并且可由用于类似目的的任何架构和/或计算系统所实现。例如，使用例如多个集成电路(IC)芯片和/或封装的多种架构、和/或多种计算设备和/或诸如机顶盒、智能电话等的消费者电子(CE)设备可实现本文所述的技术和/或安排。此外，尽管下列描述可能陈述了诸如逻辑实现、系统组件的类型和相互关系、逻辑划分/集成选择等的诸多具体细节，但是可在不具有此类具体细节的情况下实现所要求保护的主题。在其它实例中，诸如例如控制结构和全软件指令序列之类的某些内容可能并未详细示出以避免模糊本文所公开的内容。本文所公开的内容可实现在硬件、固件、软件或它们的任意组合中。本文所公开的内容还可被实现为存储在机器可读介质上的指令，其可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或传送机器(例如，计算设备)可读形式的信息的任何介质和/或机制。例如，机器可读介质可包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)等等。在另一形式中，诸如非瞬态计算机可读介质等非瞬态制品可以与上述示例或其它示例中的任一个联用，不同之处在于它本质上不包括瞬时信号。它本质上包括除了信号之外的可以按诸如RAM等“瞬时”方式临时保存数据的那些元件。在说明书中对“一个实现”、“实现”、“示例实现”等的引用表明所描述的实现可包括特定特征、结构或特性，但不一定每个实现均包括该特定特征、结构或特性。此外，这样的短语不一定是指同一个实现。此外，当结合一个实现描述特定特征、结构或特性时，认为在本领域技术人员学识范围内，可以与其他实现一起实施这样的特征、结构或特性，不论本文是否有明确描述。以下描述了包括使用感兴趣对象数据的对视频成码的比特率控制的系统、制品和方法。经编码的比特流可使用从编码器到解码器的具有最大带宽或比特率能力的传输路径，并且这些传输路径可以与或不与其它数据流共享。解码器也可以对比特率施加其它限制。因此，降低视频或诸如视频会议传输等VoIP传输的比特率可以在较低带宽网络上提供高质量视频传输或者为其它网络传输提供可用带宽。一种用于降低视频会议的比特率的方法包括对显示器上的诸如人脸等感兴趣对象特征进行参数建模。参数模型提供用于渲染检测到的对象的参数。有了这些模型，编解码器系统仅仅向接收器传送检测到的对象的基础网格或线框以及用于重建对象的参数。接收器或解码器然后使用渲染参数来重建图像上的感兴趣对象并重新使用先前提供的背景数据。然而，该方法受到接收器侧的特定动画能力的限制，这可导致不现实的或降级的图像以及对象的不自然移动。对于许多视频或VoIP传输，诸如在视频会议期间，用户经常将他们的注意力集中在正在前景中说话的人，而较少关注周围的背景。人眼以与用于数码相机的视场焦点概念相似的方式运作，其中所聚焦的项目通常在清晰的焦点中，而前景和/或背景中的其它次要项目可能是模糊的或者具有较低质量。如将在下文描述的，现在有可能通过在维持图像中感兴趣对象的高质量图像的同时降低图像中背景的质量来传送具有较低比特率的经编码比特流以便进行视频传输。这可以在宏块级基础上执行，其中宏块所提供的图像质量依赖于该宏块到图像上由对象位置定义的点的距离。用于该系统的成码标准可以是具有高级视频编解码器(AVC)和SVC扩展(诸如H.264/MPEG-4AVC–SVC)等的H.264，诸如MPEG-2或VCI等，但在所公开的视频成码系统的情况下许多其它版本或标准可以适当地操作。高效率视频成码(HEVC)也可以与本系统中的SVC联用。可以使用的其它标准包括来自谷歌的VP8/WebM等。SVC是用于应对现代视频服务环境中的网络和设备的异质性的重要工具。SVC比特流包含可以独立解码的若干子集比特流，这些子流表示具有不同分辨率、帧率、质量、位深等的源视频内容。通过使用多层成码结构来实现可缩放性。一般而言，通常存在一个基础层，可以首先对该基础层进行编码，然后对SVC系统中的若干增强层进行编码。本公开允许维护高质量图像，并因此可能更适于增强层之一，但可用于包括基础层在内的任一层。可以在单个层、所有层或仅仅特定层提供本系统，诸如允许某一最低质量图像的那些层。参考图1，根据本公开的至少某些实现来安排示例视频成码系统100。在各种实现中，视频成码系统100可被配置成根据上述一个或多个标准来承担视频编码和/或实现视频编解码器。此外，视频成码系统100能够以各种形式被实现为图像处理器、视频处理器和/或媒体处理器的一部分，并且可承担帧间预测、帧内预测、预测性成码和/或残余预测。如此处所使用的，术语“成码器(coder)”可以指编码器和/或解码器。类似地，如此处所使用的，术语“成码”可以指经由编码器编码和/或经由解码器解码。成码器、编码器或解码器可具有编码器和解码器两者的组件。在一些示例中，视频成码系统100可包括为了清楚起见未在图1中示出的附加项。例如，视频成码系统100可包括处理器、射频型本文档来自技高网...

【技术保护点】
一种用于视频成码的计算机实现的方法，包括：接收指示在要显示的图像上至少一个对象的位置的图像数据；确定形成所述图形的至少一部分且与所述对象的位置相关的多个宏块中的各个宏块的位置；以及由视频编码器至少部分地依据宏块中的至少一个相对于所述对象在所述图像上的位置的位置，来调整由所述至少一个宏块提供的图像部分的质量。

【技术特征摘要】
2013.05.30 US 13/906,0311.一种用于视频成码的计算机实现的方法，包括：接收指示在要显示的图像上至少一个对象的位置的图像数据；确定形成所述图像的至少一部分且与所述对象的位置相关的多个宏块中的各个宏块的位置，其中确定多个宏块中的各个宏块的位置包括将所述多个宏块中的每一个与多个水平中的至少一个相关联，每个水平表示离相对于所述对象定义的点的距离范围；以及由视频编码器至少部分地依据宏块中的至少一个相对于所述对象在所述图像上的位置的位置，来调整由所述至少一个宏块提供的图像部分的质量，所述调整包括：依据所述宏块的水平来调整过滤器的过滤强度，其中对过滤强度的调整被应用到整个宏块且当不同宏块距所述对象距离不同时在不同宏块之间不同；在提供宏块以变换和量子化所述宏块的数据之前减少与所述宏块相关联的比特数；依据被用来调整过滤器的过滤强度的所述宏块的所述水平来设置用于计算分配给宏块的量子化参数(QP)的缩放因子。2.如权利要求1所述的方法，其特征在于，包括确定哪些宏块是不形成所述对象的一部分的非对象宏块，并且其中调整包括调整所述非对象宏块的图像质量。3.如权利要求1所述的方法，其特征在于，调整包括至少部分地依据从宏块到相对于所述对象定义的点的距离来调整对应于该宏块的图像部分的质量。4.如权利要求1所述的方法，其特征在于，调整包括至少部分地依据从宏块到所述对象的中心点和质心中的至少一个的距离来调整所述图像部分的质量。5.如权利要求1所述的方法，其特征在于，包括将所述多个宏块中的各个宏块与多个水平中的至少一个相关联，每一个水平与离相对于所述对象定义的点的至少一个不同距离相关联。6.如权利要求1所述的方法，其特征在于，每一个水平与离相对于所述对象定义的点的至少一个不同距离相关联，并且其中提供用于标记非对象宏块的至少两个水平。7.如权利要求1所述的方法，其特征在于，包括将所述多个宏块中的每一个与多个水平中的至少一个相关联，每一个水平与离相对于所述对象定义的点的至少一个不同距离相关联，并且其中至少一个水平被置于具有所述对象的外边界的宏块附近，并且至少一个其它水平与显示所述对象的宏块隔开。8.如权利要求1所述的方法，其特征在于，调整包括调整用于减少与宏块相关联的比特数的过滤强度。9.如权利要求1所述的方法，其特征在于，调整质量至少部分地依据从至少一个宏块到所述图像上的对象组的中心点的距离。10.如权利要求1所述的方法，其特征在于，所述对象是人脸。11.如权利要求1所述的方法，其特征在于包括确定哪些宏块是不形成所述对象的一部分的非对象宏块，并且其中调整包括调整所述非对象宏块的图像质量，其中调整包括至少部分地依据从宏块到相对于所述对象定义的点的距离来调整对应于该宏块的图像部分的质量，其中调整包括至少部分地依据从宏块到所述对象的中心点和质心中的至少一个的距离来调整所述图像部分的质量，每一个水平与离相对于所述对象定义的点的至少一个不同距离相关联，其中提供用于标记非对象宏块的至少两个水平，其中至少一个水平被置于具有所述对象的外边界的宏块附近，并且至少一个其它水平与显示所述对象的宏块隔开，其中调整包括调整用于减少与宏块相关联的比特数的过滤强度，其中调整质量至少部分地依据从至少一个宏块到所述图像上的对象组的中心点的距离，并且其中所述对象是人脸。12.一种用于在计算机上进行视频成码的系统：显示器；通信地耦合到所述显示器的至少一个处理器；通信地耦合到所述处理器的至少一个存储器；通信地耦合到所述处理器的宏块水平图生成器，被配置成：接收指示在要显示的图像上至少一个对象的位置的图像数据，以及确定形成所述图像的至少一部分且与所述对象的位置相关的多个宏块中的各个宏块的位置，其中...

【专利技术属性】
技术研发人员：彭雅蒂，邱怡仁，江宏，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US