多视频流在播放端的无缝切换方法与系统技术方案

本公开涉及多视频流在播放端的无缝切换方法与系统。示例系统包括具有被配置为执行操作的编码器控制器的多流编码器。操作包括接收多个视频源以及对视频源进行编码，以便形成多个编码流。多个编码流中的每个编码流包括相应的主视频源和至少一个辅视频源。该系统还包括具有被配置为执行操作的播放器控制器的多流播放器。操作包括接收多个编码流，接收指示期望视频源的视频源选择命令，以及基于视频源选择命令来确定包括期望视频源的高分辨率版本的期望编码流。

【技术实现步骤摘要】
多视频流在播放端的无缝切换方法与系统
本公开涉及高清流传媒传输领域，更具体地，涉及基于用户互动的高清流传媒传输领域。
技术介绍
在传统的视频流式传输或广播场景中，存在多个视频源，并且对于任何特定时间，观众只能观看它们中的一个。在传统的广播中，大多数视频流通过广播站，在该广播站中，人（例如，导演）选择它们中的一个来广播。最近的方法为每个观众提供了选择要观看的视频流的各种方式。然而，现有的方法或者不能在切换（switch）期间确保时间同步，或者为了提供同步，要求在客户端侧的显著更多的网络带宽和计算资源，或者要求昂贵的服务器计算成本。因此，需要为观众提供系统和方法来在保持帧完全同步的同时在多个流当中进行选择，同时仅使用少量额外的网络带宽和计算成本，并且在服务器侧不使用额外的计算。
技术实现思路
本文公开的系统和方法涉及多流编码和解码/回放。在一些实施例中，所描述的系统和方法可以在多个高分辨率视频流之间提供无缝的观众控制的切换。在一个方面，提供了一种系统。该系统包括多流编码器，该多流编码器包括被配置为执行操作的编码器控制器。操作包括接收多个视频源以及对视频源进行编码，以便形成多个编码流。多个编码流中的每个编码流包括相应的主视频源和至少一个辅视频源。该系统还包括具有被配置为执行操作的播放器控制器的多流播放器。操作包括接收多个编码流，接收指示期望视频源的视频源选择命令，以及基于视频源选择命令来确定包括期望视频源的高分辨率版本的期望编码流。在另一方面，提供了一种方法。该方法包括在多流编码器处接收多个视频源。该方法还包括利用多流编码器对视频源进行编码，以便形成多个编码流。多个编码流中的每个编码流包括相应的主视频源和至少一个辅视频源。该方法还包括在多流播放器处接收多个编码流。该方法附加地包括在多流播放器处接收指示期望视频源的视频源选择命令。该方法还包括由多流播放器基于视频源选择命令来确定包括期望视频源的高分辨率版本的期望编码流。通过适当时参考附图来阅读以下详细描述，这些以及其他实施例、方面、优点和替换方案对于本领域普通技术人员来说将变得显而易见。此外，应当理解，本文提供的本
技术实现思路
和其他描述及附图仅旨在通过示例的方式示出实施例，因此，许多变动是可能的。例如，结构元件和过程步骤可以被重新布置、组合、分布、消除或以其他方式改变，同时保持在所要求保护的实施例的范围内。附图说明图1示出了根据示例实施例的系统。图2示出了根据示例实施例的图1的系统。图3示出了根据示例实施例的图1的系统的一部分。图4A示出了根据示例实施例的在编码流中使用颜色编码来编码渲染策略。图4B示出了根据示例实施例的涉及图1的系统的用户交互场景。图5A示出了根据示例实施例的高分辨率视频帧。图5B示出了根据示例实施例的压缩视频帧。图5C示出了根据示例实施例的压缩视频帧。图6示出了根据示例实施例的为2D视频创建视口的线性几何映射。图7示出了根据示例实施例的函数映射压缩和在渲染时恢复视口。图8示出了根据示例实施例的涉及在编码流中选择和布置视口的场景。图9示出了根据示例实施例的涉及子弹时间（bullettime）实时流管道和执行观众剪切的场景。图10示出了根据示例实施例的方法。具体实施方式本文描述了示例方法、设备和系统。应当理解，词语“示例”和“示例性”在本文中用于表示“用作示例、实例或说明”。在本文中被描述作为“示例”或“示例性”的任何实施例或特征不一定被解释为优选于或优于其他实施例或特征。在不脱离本文所呈现的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。因此，本文描述的示例实施例并不表示是限制性的。如在本文中一般描述并在附图中示出的，本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计，所有这些都在本文中是预期的。此外，除非上下文另有说明，否则每个附图中示出的特征可以彼此结合使用。因此，附图通常应被视为一个或多个总体实施例的组成方面，应当理解，并非所有示出的特征对于每个实施例都是必要的。I.概述在传统的视频流或广播场景中，存在多个视频源，并且对于任何特定时间，观众通常能够观看视频源中的一个。在传统的广播中，大多数视频流通过广播站，在该广播站中，人（例如，导演）选择要广播哪个视频流。这通常被称为“导演剪切（DirectCut）”。本文描述的实施例涉及允许观众选择要观看的视频流，称为“观众剪切（ViewerCut）”。观众剪切允许每个观众有对事件的不同视图，并根据需要改变视频流。在这样的场景下，描述了用于视频捕获、转码、流式传输和渲染的系统和方法。这样的系统和方法可以利用被设计成改善和/或优化切换平滑度并减少或最小化资源要求的算法。针对各种使用案例提出了具体实施例，包括超高分辨率缩放和“子弹时间”流式传输。在其他方面中，当前描述的观众剪切解决方案提供了：1）当在流之间切换时准确的帧同步；2）很少的服务器侧计算，即使在服务大量观众时也如此；以及3）客户端侧的最小带宽和计算成本。在一些实施例中，本系统和方法包括以两个连续且紧密联接的步骤在流之间切换：1）响应于用户输入或系统改变，从第一流切换到低分辨率第二流；以及2）当数据准备好时，从低分辨率第二流切换到高分辨率第二流。描述了具体的算法和硬件，以减少步骤1和步骤2之间的滞后，使得观众不直接受到分辨率改变的影响。II.示例系统在一些实施例中，示例系统可以包括两个主要元素：1）多流编码器；以及2）多流播放器，这两者都被配置为响应于用户输入或系统改变而提供视频流之间的无缝切换。图1示出了根据示例实施例的系统100。系统100包括多流编码器110，该多流编码器110包括编码器控制器112。编码器控制器112可以被配置为执行操作。操作包括接收多个视频源10a、10b、10c。编码器控制器112的操作还包括对视频源10a、10b、10c进行编码，以便形成多个编码流120a、120b、120c。多个编码流120a、120b、120c中的每个编码流包括相应的主视频源（例如，高分辨率源A122a）和至少一个辅视频源（例如，低分辨率源B122b和低分辨率源C122c）。系统100还包括多流播放器130。多流播放器130包括被配置为执行操作的播放器控制器132。操作包括接收多个编码流120a、120b和120c，以及接收指示期望视频源的视频源选择命令136。播放器控制器132的操作还包括基于视频源选择命令来确定包括期望视频源的高分辨率版本的期望编码流。在一些实施例中，每个编码流可以包括相应的主视频源（例如，高分辨率源A122a）的高分辨率版本和至少一个辅视频源（例如，低分辨率源B122b和低分辨率源C122c）的低分辨率版本。在这样的场景下，主视频源的高分辨率版本和辅视频源的低分辨率版本是从不同视频源编码的。在各种示例中，多流编码器110可以被配本文档来自技高网...

【技术保护点】
1.一种用于视频流式传输的系统，包括：/n包括被配置为执行操作的编码器控制器的多流编码器，所述操作包括：/n接收多个视频源；以及/n对所述视频源进行编码，以便形成多个编码流，其中，所述多个编码流中的每个编码流包括相应的主视频源和至少一个辅视频源；和/n包括被配置为执行操作的播放器控制器的多流播放器，所述操作包括：/n接收所述多个编码流；/n接收指示期望视频源的视频源选择命令；以及/n基于所述视频源选择命令，确定包括所述期望视频源的高分辨率版本的期望编码流。/n

【技术特征摘要】
1.一种用于视频流式传输的系统，包括：
包括被配置为执行操作的编码器控制器的多流编码器，所述操作包括：
接收多个视频源；以及
对所述视频源进行编码，以便形成多个编码流，其中，所述多个编码流中的每个编码流包括相应的主视频源和至少一个辅视频源；和
包括被配置为执行操作的播放器控制器的多流播放器，所述操作包括：
接收所述多个编码流；
接收指示期望视频源的视频源选择命令；以及
基于所述视频源选择命令，确定包括所述期望视频源的高分辨率版本的期望编码流。


2.根据权利要求1所述的系统，其中，每个编码流包括所述相应的主视频源的高分辨率版本和所述至少一个辅视频源的低分辨率版本，其中，所述主视频源的高分辨率版本和所述辅视频源的低分辨率版本是从不同视频源编码的。


3.根据权利要求1所述的系统，其中，所述多流编码器被配置为通过互联网向所述多流播放器发送多个相应的编码流。


4.根据权利要求1所述的系统，其中，所述多个编码流等于多个相应的视频源，其中，对于n个视频源中的每一个，所述多流编码器被配置为编码n个编码流，其中，每个编码流包括单个主视频源和n-1个辅视频源，其中，每个编码流包括来自所述多个视频源当中的不同主视频源。


5.根据权利要求1所述的系统，其中，每个编码流包括单个主视频源和一个或多个辅视频源，所述一个或多个辅视频源是基于以下中的至少一个来选择的：提供相应视频源的相机的位置、提供相应视频源的相机的取向或历史用户行为数据。


6.根据权利要求1所述的系统，其中，通过利用基于对数的函数或几何变换中的至少一个来扭曲所述至少一个辅视频源的至少一部分。


7.根据权利要求1所述的系统，其中，对所述视频源进行编码以便形成多个编码流包括将视频元数据嵌入到所述多个编码流的至少一部分中，其中，所嵌入的视频元数据包括指示所述主视频源和所述至少一个辅视频源的信息，并且其中，确定所述期望编码流是基于所嵌入的视频元数据的，其中，所嵌入的视频元数据包括关于视频格式的信息。


8.根据权利要求1所述的系统，其中，所述播放器控制器还被配置为执行操作，所述操作包括：将所述期望视频源的高分辨率版本发送到显示器。


9.根据权利要求1所述的系统，其中，所述播放器控制器还被配置为执行操作，所述操作包括：将当前播放的编码流中的所述期望视频源的低分辨率版本发送到显示器并缓冲所述期望编码流，其中，在所述期望编码流的至少一部分被缓冲之后，切换到所述期望编码流，以便提供所述期望视频源的高分辨率版本。


10.根据权利要求1所述的系统，还包括：
用户界面；和
多个相机，被配置为从不同视点对共同对象进行成像，其中，接收视频源选择命令包括从所述用户界面接收的用户输入，其中，所述用户输入是以下中的至少一种：滑动交互、轻击交互、双击交互、捏拉缩放交互、手势命令、语音命令、面部识别交互或眼...

【专利技术属性】
技术研发人员：余飞，周昌印，
申请(专利权)人：杭州盖视科技有限公司，
类型：发明
国别省市：浙江;33