组合多比特率与可伸缩视频编码制造技术

使用多比特率（MBR）编码与可伸缩视频编码（SVC）的组合来生成视频流。客户机的能力和请求用于确定要生成的视频流以及向客户机递送什么视频流。基于客户机的分辨率能力将客户机置于各组中。对于每个分辨率分组，MBR用于生成空间流，并且SVC用于生成时间和质量流。

【技术实现步骤摘要】
【国外来华专利技术】组合多比特率与可伸缩视频编码
技术介绍
参与视频会议的客户机通常具有不同的处理能力和可用带宽。在某些情况下，一个视频会议客户机可能具有波动的带宽量，而其他客户机具有稳定的带宽量。某些客户机可能无法像其他客户机那样接收相同质量的视频流或对视频流进行编码。例如，某些客户机可能能够以每秒30帧（fps）的帧速率按1080p分辨率（每帧1920x1080个像素）来编码和回放，而其他客户机可能只能以15fps的速率按CIF分辨率（320x240）来编码和接收。
技术实现思路
提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。此“
技术实现思路
”并不旨在标识要求保护的主题的关键特征或必要特征。本
技术实现思路
也不旨在用于限制所要求保护的主题的范围。使用多比特率（MBR）编码与可伸缩视频编码（SVC）的组合来生成视频流。客户机的能力和请求被用于确定要生成的视频流以及向客户机递送什么视频流。基于客户机的分辨率能力将客户机置于各组中。对于每个分辨率分组，MBR用于生成空间流，并且SVC用于生成时间和质量流。前面的概括描述和下面的详细描述只提供了示例，并且只是说明性的。因此，前面的概括描述和下面的详细描述不应该被视为限制性的。此外，除这里阐述那些特征外，还可以提供其他特征或变体。例如，各实施例可以涉及具体实施方式中所描述的各种特征组合和子组合。附图简述纳入到本专利技术中并构成其一部分的附图示出本专利技术的各实施例。在附图中：图1是操作环境的框图；图2是示出在视频会议环境中生成组合了MBR与SVC的不同流的不同客户机的图示；图3是示出在视频会议期间组合SVC与MBR的图示；图4是示出在视频流中组合MBR与SVC的视频会议系统的流程图；图5是示出组合了MBR与SVC的流的生成的流程图；以及图6是包括计算设备的系统的框图。详细描述下面的详细描述参考各个附图。只要可能，就在附图和下面的描述中使用相同的附图形标记来指示相同或相似的元件。尽管描述了本专利技术的各实施例，但是，修改、改编、以及其他实现也是可能的。例如，可以对附图中所示出的元件进行置换、添加、或修改，且可以通过对所公开的方法置换、重新排序、或添加阶段来修改这里所描述的方法。因此，下面的详细描述并不限制本专利技术。相反，本专利技术的正确范围由所附权利要求书进行定义。图1是操作环境的框图。操作环境可包括视频会议环境100。视频会议环境100可包括具有各种能力的各种客户机，诸如经由内联网网络连接115连接的内联网客户机110和视频会议服务器120。视频会议环境100还可包括第一因特网客户机130、第二因特网客户机140和第三因特网客户机150。这些因特网客户机中的每一个可经由因特网160连接到视频会议服务器120。视频会议服务器120、内联网客户机110、第一因特网客户机130、第二因特网客户机140和第三因特网客户机150各自可包括参考图6更详细地描述的计算设备600。当多个客户机想要在彼此间共享数据流时，可以使用视频会议环境100。每个客户机可连接到视频会议服务器120。视频会议服务器120可维护哪些客户机被连接以及每个客户机的能力的列表。能力可由参与视频会议的客户机提供和/或由视频会议服务器获得。每个客户机的能力可包括以下全部或部分，但不限于此：客户机的处理能力、分辨率能力、帧率、比特率、连接速度、可用带宽、正使用的相机等。能力对于一些/所有客户机可以不同。例如，一些客户端能够以较低分辨率进行编码和回放（例如，速率为每秒15帧（fps）速率的CIF分辨率（352x288））；一些客户端能够以中等分辨率进行编码和回放（例如，帧率为30fps的VGA分辨率（每帧640x480像素））；而其他客户端能够以较高分辨率进行编码和回放（例如，具有30fps速率的720p和1080p）。此外，一些客户机可以能够编码和回放较大数量的流。视频会议服务器120可周期性地更新客户机的能力中的任何改变。例如，视频会议服务器120可以或者周期性地自动分析或者手动分析网络连接，并确定客户机具有比先前确定的更多的带宽可用。视频会议服务器120还可从客户端接收指示能力改变的消息并存储该信息以用于促进流的生成和数据共享。视频会议服务器120还可被配置为确定哪些客户机负责生成数据流，并请求将所生成的数据流发送到视频会议服务器120和/或所连接的客户机中的一些/全部。视频会议服务器120被配置为基于客户机的分辨率能力来将客户机能力聚集到不同的组中。每组可包括包含一个或多个不同分辨率的分辨率范围和/或仅包含一个分辨率的范围。例如，可存在用于1080p客户机的一个组，用于720p和480p客户机的一个组，以及用于CIF客户机的另一个组。客户机还可向视频会议服务器120提供其对观看和播放视频的所希望的偏好（例如，全屏模式、全尺寸模式、小窗口模式、比特率和帧率）。视频会议服务器120聚集该信息并将其发送到正在生成流的每个客户机。例如，可存在从客户机向视频会议服务器120的CIF、VGA和HD请求，CIF的比特率范围是从100到250Kpbs，帧速率的范围是从10到30fps，VGA的比特率范围是从500到700K，帧速率的范围是从15到30fps，以及HD的比特率范围是从1到1.5Mpbs，帧速率是30fps。在本示例中，视频会议服务器120向被请求来生成流（例如，活动讲话者和/或订阅的流）的每个客户机发送以下信息：（CIF,150K到250K，10到30），（VGA，500K到700K，15到30），以及（720p，1M到1.5M，30）。每个客户机使用该信息及其自身的能力来生成视频流。使用多比特率（MBR）编码与可伸缩视频编码（SVC）的组合来对视频流进行编码。可伸缩视频编码（SVC）是H.264标准的扩展。SVC允许对部分比特率进行传输和解码，以提供具有较低的时间或空间分辨率或经降低的保真度的视频服务。然而，SVC可具有高编码和解码复杂度。在SVC所描述的各种伸缩性模式中，空间和质量伸缩性是要编码和解码的最复杂的模式。由此，并非视频会议中的全部客户机都被配置为高效地执行这些操作。然而，大多数客户机能够高效地执行不那么复杂的其他SVC编码/解码。此外，当分辨率范围较大时，SVC的空间伸缩性可能不是很高效。然而，MBR编码在空间伸缩性方面在计算上更高效。将SVC的各方面与MBR编码过程的各方面相组合，代替仅使用用于视频编码/解码的SVC，来降低视频编码/解码的复杂度。MBR是指其中以若干分辨率和/或帧速率对同一内容进行编码以优化到一个或多个客户机的内容递送的数据流。一般而言，被分组到较高分辨率组中的客户机能够比被分组到较低分辨率组中的客户机生成更多的流。根据一个实施例，生成流的每个客户机使用MBR来获得空间伸缩性，并且SVC用于时间和质量伸缩性。图2是示出在视频会议环境100中生成不同流的不同的客户机的图示，该流组合了MBR与SVC。每个客户机可生成一个或多个数据流以发送给视频会议服务器120和/或某一其他目的地。每一客户机可具有音频/视频输出，诸如连接到该客户机的摄像头和/或话筒。输入可被用于生成一个或多个视频流（可包括音频）以及在将视频流发送到视频会议服务器120和/或某个其他目的地之前对其进行编码。例如，客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.06.18 US 12/819,0921.一种使用多比特率(MBR)编码与可伸缩视频编码(SVC)编码的组合来对视频流进行编码的方法，包括：使用处理单元确定与视频会议中的客户机相关联的能力，其中所述能力与每个客户机对一个或多个视频流进行编码的能力有关；使用所述处理单元将每个客户机置于组中，所述每个客户机是基于所述每个客户机的所确定的能力来选择的；从所述视频会议中的所述客户机中的至少一个接收由所述客户机中的所述至少一个生成的具有不同分辨率的不同流，所述不同流包括用于空间伸缩性的MBR流以及与时间和质量伸缩性中的至少一个有关的一个或多个SVC流；以及将从所述视频会议中的所述客户机中的所述至少一个接收到的所述不同流中的至少一个发送到所述视频会议中的其它客户机中的至少一个。2.如权利要求1所述的方法，其特征在于，还包括将来自每个客户机的能力和请求聚集到消息中，并且向所述视频会议中被请求在所述视频会议内生成流的客户机提供所述消息。3.如权利要求1所述的方法，其特征在于，将每个客户机置于组中包括确定每个客户机的所支持的分辨率，以及根据所支持的分辨率对所述客户机进行分组。4.如权利要求1所述的方法，其特征在于，将SVC流的每层分组化到单独的流中。5.如权利要求2所述的方法，其特征在于，所接收的请求包括期望的分辨率、帧速率和比特率。6.如权利要求2所述的方法，其特征在于，还包括确定所述视频会议内的情况何时改变以及更新所述消息，使得不同的流由一个或多个客户机来生成。7.一种生成视频流的方法，所述视频流组合了多比特率(MBR)编码与可伸缩视频编码(SVC)，所述方法包括：确定与视频会议中的客户机相关联的...

【专利技术属性】
技术研发人员：MC·李，T·钱，T·摩尔，
申请(专利权)人：微软公司，
类型：
国别省市：