用于广播直播媒体流的系统和方法技术方案

用于直播媒体广播的基于网络的系统包括服务器系统，该服务器系统包括处理结构，该处理结构被配置为：部署可在请求客户端计算设备上执行的处理器可执行程序代码，以向请求客户端计算设备提供基于浏览器的混合用户界面，使用由所述请求客户端计算设备从所述服务器系统接收到的至少一个媒体流而在所述浏览器中进行选择性混合，生成混合视频流和至少一个相关联的音频流；该处理结构还被配置为：从其他客户端计算设备接收一个或多个直播媒体流；通过至少一个直播流媒体连接，将来自一个或多个直播媒体流的媒体数据流传输到请求客户端计算设备；以及从请求客户端计算设备接收混合视频流和至少一个相关联的音频流。提供了各种相关系统、设备和方法。

【技术实现步骤摘要】
【国外来华专利技术】用于广播直播媒体流的系统和方法相关申请的交叉引用本申请要求于2017年10月19日提交的美国临时专利申请NO.62/574,662的优先权，其全部内容通过引用合并于此。
以下总体上涉及流媒体的传输、处理和分发，并且更具体地涉及用于广播直播媒体流的系统和方法。
技术介绍
传统上，诸如电视新闻和体育赛事报道的直播、专业质量的节目的制作仅是可以访问和控制昂贵的演播室设备、演播室空间和训练有素的人员的复杂媒体组织的领域。近来，诸如视频和音频的用户生成的媒体内容变得非常流行。这是由用户对利用现代便携式用户设备的高质量视频和音频捕获能力、高速网络的泛在性、日益可靠的通信基础设施带来的优势以及用户可以浏览并提供内容的诸如YouTube、Twitch、Periscope和FacebookLive的新媒体平台的可用性的兴趣所致。随着用户生成的内容越来越受欢迎，传统的媒体制作人通常已经接受了新媒体平台，以用作他们正在制作的直播内容可以广播到的替代或附加频道。这也引起了许多消费者对新媒体平台的兴趣，因为他们能够使用也提供通常不太正式的用户生成内容的相同媒体平台来消费专业制作的及时内容。当今的用户可以通过其设备、网络和媒体消费平台来访问各种直播媒体流特征和功能。但是，对于个人用户而言，在不能访问大型媒体组织可用的昂贵设备、工作室网络和操作人员的情况下，生成期望的且功能强大的专业级直播节目仍然是困难且昂贵的。同时，可能有兴趣扩展其操作以适应即时制作或其他临时制作以便报道新出现的事件或从广泛传播的事件中收集贡献以便获得特定世界事件的“基本真相”的这类大型媒体组织也体验到他们自身的基础设施限制。尤其是，此类组织的固定设备、工作室空间和人员，发现这些资产只能扩展到目前为止。已经出现了各种技术来增强用户生成复杂的直播媒体内容的能力。例如，卡尔曼森(Kalmanson)等的美国专利申请公开NO.2018/0063556公开了用于在直播流视频平台上提供访客广播的系统和方法，以便个人用户可以将其他用户的视频流合并到广播中。此外，可以使用各种视频聊天服务和相关应用。但是，当前可用的服务、应用、系统和方法并不旨在为用户——专业操作者和随意操作者——提供对专业质量的直播制作工具的随时访问，这些专业质量的直播制作工具易于部署和控制并且整合源自各种用户的设备的直播媒体以便处理广播质量的直播媒体流到各种平台的摄入、混合和分发。
技术实现思路
根据一个方面，提供了一种用于直播媒体广播的基于网络的系统，包括：服务器系统，该服务器系统包括处理结构，该处理结构被配置为：部署可在请求客户端计算设备上执行的处理器可执行程序代码，以向请求客户端计算设备提供基于浏览器的混合用户界面，以使用由请求客户端计算设备从服务器系统接收到的至少一个媒体流，在浏览器中进行选择性混合，以生成混合视频流和至少一个相关联的音频流；处理结构进一步被配置为：从其他客户端计算设备接收一个或多个直播媒体流；通过至少一个直播流媒体连接，将来自一个或多个直播媒体流的媒体数据流传输到请求客户端计算设备；以及从请求客户端计算设备接收混合视频流和至少一个相关联的音频流。在一个实施例中，服务器系统处理结构被配置为：通过至少一个Web实时通信(WebRTC)连接，将来自一个或多个所接收的直播媒体流的媒体数据流传输到请求客户端计算设备。在一个实施例中，服务器系统处理结构被配置为：通过至少一个WebRTC连接，来接收混合视频流和至少一个相关联的音频流。在一个实施例中，服务器系统处理结构被进一步配置为：处理混合视频流和至少一个相关联的音频流中的一个，以形成用于广播的至少一个的基于实时消息传输协议(基于RTMP)的媒体流。在一个实施例中，服务器系统处理结构被进一步配置为：处理混合视频流和至少一个相关联的音频流中的一个，以形成用于广播的至少一个基于HTTP直播流(基于HLS)的媒体流。在一个实施例中，服务器系统处理结构被进一步配置为：处理混合视频流和至少一个相关联的音频流中的一个，以形成用于广播的至少一个基于超光速(FTL)的媒体流。在一个实施例中，服务器系统处理结构被进一步配置为：处理混合视频流和至少一个相关联的音频流中的一个，以形成用于广播的至少一个媒体流，其中，用于广播的至少一个媒体流选自由以下各项组成的组：至少一个基于WebRTC的媒体流、至少一个对等媒体流和至少一个直播分块媒体流。在一个实施例中，所接收的一个或多个直播媒体流包括：至少一个直播媒体流，该至少一个直播媒体流通过WebRTC连接从另一个客户端计算设备被流传输到服务器系统。在一个实施例中，所接收的一个或多个直播媒体流包括：至少一个直播媒体流，该至少一个直播媒体流通过WebRTC连接使用DTLS-SRTP(数据报传输层安全性-安全实时传输协议)从另一个客户端计算设备被流传输到服务器系统。在一个实施例中，所接收的一个或多个直播媒体流包括：至少一个直播非WebRTC媒体流，其中，服务器系统处理结构被配置为：摄取至少一个直播非WebRTC媒体流；对至少一个直播非WebRTC媒体流进行转码以生成WebRTC兼容的媒体流；使用实时流传输协议(RTSP)将WebRTC兼容的媒体流发布到服务器系统的WebRTC网关；以及使用服务器系统的WebRTC网关，通过相应的WebRTC连接将WebRTC兼容的媒体流流传输到请求客户端计算设备，以使用请求客户端计算设备进行选择性混合。在一个实施例中，至少一个直播非WebRTC媒体流是实时消息传输协议(RTMP)媒体流。在一个实施例中，至少一个直播非WebRTC媒体流是HTTP直播流(HLS)媒体流。在一个实施例中，至少一个直播非WebRTC媒体流是FTL(超光速)媒体流。在一个实施例中，服务器系统处理结构被进一步配置为：将混合视频流流传输到其他客户端设备中的一个或多个客户端设备；以及将至少一个定制混合音频流中的每一个定制混合音频流流传输到其他客户端设备中的相应客户端设备。在一个实施例中，基于浏览器的混合用户界面包括：阵容区域，该阵容区域用于显示正在由请求客户端计算设备从服务器系统接收的一个或多个媒体流中的每一个媒体流的至少表示；和场景区域，该场景区域用于显示在阵容区域中表示的媒体流中的至少一个或多个媒体流的所选择的混合。在一个实施例中，阵容区域进一步用于显示在请求客户端计算设备本地生成或正在由请求客户端计算设备从另一个计算设备接收的一个或多个附加媒体流的表示。在一个实施例中，基于浏览器的混合用户界面包括：布局选择器，该布局选择器用于从多个可选择布局中选择用于所选择的混合的布局。在一个实施例中，基于浏览器的混合用户界面包括：媒体池区域，该媒体池区域用于显示一个或多个可选择的图像、视频文件和音频文件中的每一个的表示，该一个或多个可选择的图像、视频文件和音频文件可用于包括在所选择的混合中。在一个实施例中，基于浏览器的混合用户界面包括：持久音频区域，该持久音频区域用于显示从媒本文档来自技高网...

【技术保护点】
1.一种用于直播媒体广播的基于网络的系统，包括：/n服务器系统，所述服务器系统包括处理结构，所述处理结构被配置为：/n部署可在请求客户端计算设备上执行的处理器可执行程序代码，以向所述请求客户端计算设备提供基于浏览器的混合用户界面，用于使用由所述请求客户端计算设备从所述服务器系统接收到的至少一个媒体流在所述浏览器中进行选择性混合，以生成混合视频流和至少一个相关联的音频流；/n所述处理结构进一步被配置为：/n从其他客户端计算设备接收一个或多个直播媒体流；/n通过至少一个直播流媒体连接，将来自所述一个或多个直播媒体流的媒体数据流传输到所述请求客户端计算设备；以及/n从所述请求客户端计算设备接收所述混合视频流和所述至少一个相关联的音频流。/n

【技术特征摘要】
【国外来华专利技术】20171019 US 62/574,6621.一种用于直播媒体广播的基于网络的系统，包括：
服务器系统，所述服务器系统包括处理结构，所述处理结构被配置为：
部署可在请求客户端计算设备上执行的处理器可执行程序代码，以向所述请求客户端计算设备提供基于浏览器的混合用户界面，用于使用由所述请求客户端计算设备从所述服务器系统接收到的至少一个媒体流在所述浏览器中进行选择性混合，以生成混合视频流和至少一个相关联的音频流；
所述处理结构进一步被配置为：
从其他客户端计算设备接收一个或多个直播媒体流；
通过至少一个直播流媒体连接，将来自所述一个或多个直播媒体流的媒体数据流传输到所述请求客户端计算设备；以及
从所述请求客户端计算设备接收所述混合视频流和所述至少一个相关联的音频流。


2.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述服务器系统处理结构被配置为：
通过至少一个Web实时通信(WebRTC)连接将来自所述一个或多个所接收的直播媒体流的媒体数据流传输到所述请求客户端计算设备。


3.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述服务器系统处理结构被配置为通过至少一个WebRTC连接来接收所述混合视频流和所述至少一个相关联的音频流。


4.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述服务器系统处理结构进一步被配置为：
处理所述混合视频流和所述至少一个相关联的音频流中的一个相关联的音频流，以形成用于广播的至少一个基于实时消息传输协议(RTMP)的媒体流。


5.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述服务器系统处理结构进一步被配置为：
处理所述混合视频流和所述至少一个相关联的音频流中的一个相关联的音频流，以形成用于广播的至少一个基于HTTP直播流(基于HLS)的媒体流。


6.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述服务器系统处理结构进一步被配置为：
处理所述混合视频流和所述至少一个相关联的音频流中的一个相关联的音频流，以形成用于广播的至少一个基于超光速(基于FTL)的媒体流。


7.根据权利要求1所述的用于现场媒体广播的基于网络的系统，其中，所述服务器系统处理结构进一步被配置为：
处理所述混合视频流和所述至少一个相关联的音频流中的一个相关联的音频流，以形成用于广播的至少一个媒体流，其中，所述用于广播的至少一个媒体流选自由以下各项组成的组：至少一个基于WebRTC的媒体流、至少一个对等媒体流和至少一个直播分块媒体流。


8.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所接收的一个或多个直播媒体流包括：
至少一个直播媒体流，所述至少一个直播媒体流通过WebRTC连接从另一个客户端计算设备被流传输到所述服务器系统。


9.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所接收的一个或多个直播媒体流包括：
至少一个直播媒体流，所述至少一个直播媒体流通过WebRTC连接使用DTLS-SRTP(数据报传输层安全性-安全实时传输协议)从另一台客户端计算设备被流传输到所述服务器系统。


10.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所接收的一个或多个直播媒体流包括：
至少一个直播非WebRTC媒体流，
其中，所述服务器系统处理结构被配置为：
摄取所述至少一个直播非WebRTC媒体流；
对所述至少一个直播非WebRTC媒体流进行转码，以生成WebRTC兼容的媒体流；
使用实时流传输协议(RTSP)将所述WebRTC兼容的媒体流发布到所述服务器系统的WebRTC网关；以及
使用所述服务器系统的所述WebRTC网关，通过相应的WebRTC连接将所述WebRTC兼容媒体流流传输到所述请求客户端计算设备，用于使用所述请求客户端计算设备进行选择性混合。


11.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述至少一个直播非WebRTC媒体流是实时消息传输协议(RTMP)媒体流。


12.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述至少一个直播非WebRTC媒体流是HTTP直播流(HLS)媒体流。


13.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述至少一个直播非WebRTC媒体流是FTL(超光速)媒体流。


14.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述服务器系统处理结构进一步被配置为：
将所述混合视频流流传输到所述其他客户端设备中的一个或多个客户端设备；以及
将所述至少一个定制混合音频流中的每一个定制混合音频流流传输到所述其他客户端设备中的相应的一个客户端设备。


15.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述基于浏览器的混合用户界面包括：
阵容区域，所述阵容区域用于显示正在由所述请求客户端计算设备从所述服务器系统接收的所述一个或多个媒体流的每一个媒体流的至少表示；和
场景区域，所述场景区域用于显示在所述阵容区域中表示的媒体流中的至少一个或多个媒体流的所选择的混合。


16.根据权利要求15所述的用于直播媒体广播的基于网络的系统，其中，所述阵容区域进一步用于显示在所述请求客户端计算设备本地生成或正在由所述请求客户端计算设备从另一个计算设备接收的一个或多个附加媒体流的表示。


17.根据权利要求1所述的用于直播媒体广播的基于网络的系统，其中，所述基于浏览器的混合用户界面包括：
布局选择器，所述布局选择器用于从多个可选择布局中选择用于所选择的混合的布局。


18.根据权利要求16所述的用于直播媒体广播的基于网络的系统，其中，所述基于浏览器的混合用户界面包括：
媒体池区域，所述媒体池区域用于显示可用于包括在所选择的混合中的一个或多个可选择的图像、视频文件和音频文件中的每一个的表示。


19.根据权利要求18所述的用于直播媒体广播的基于网络的系统，其中，所述基于浏览器的混合用户界面包括：
持久音频区域，所述持久音频区域用于显示从所述媒体池区域中选择的一个或多个所选择的视频文件和音频文件中的每一个的表示，以作为持久音频包括在所选择的混合中。


20.根据权利要求19所述的用于直播媒体广播的基于网络的系统，其中，所述基于浏览器的混合用户界面包括：
视频叠加区域，所述视频叠加区域用于显示从所述媒体池区域中选择的一个或多个所选择的视频文件和图像文件中的每一个的表示，以作为视频包括在所选择的混合中。


21.根据权利要求15所述的用于直播媒体广播的基于网络的系统，其中，所述基于浏览器的混合用户界面包括：
馈送池区域，所述馈送池区域用于显示一个或多个附加媒体流中每一个的可选择表示，所述一个或多个附加媒体流可用于从所述服务器系统被流传输到所述请求客户端计算设备。


22.根据权利要求21所述的用于直播媒体广播的基于网络的系统，其中，在所述馈送池区域中显示的所述可选择表示包括文本。


23.根据权利要求21所述的用于直播媒体广播的基于网络的系统，其中，所述服务器系统处理结构被配置为：
从所述一个或多个附加媒体流的每一个附加媒体流中提取静止图像；以及
将每个静止图像传输到所述请求客户端计算设备，以作为所述可选择表示的至少一部分在所述馈送池区域中显示。


24.根据权利要求14所述的用于直播媒体广播的基于网络的系统，其中，所述服务器系统处理结构进一步被配置为：
部署可在所述其他客户端计算设备上执行的处理器可执行程序代码，用于向所述其他客户端计算设备提供基于浏览器的参与者界面，用于分别呈现至少准备就绪的视频流和相应的准备就绪的定制音频流。


25.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质体现了可在服务器系统上执行的用于直播媒体广播的计算机程序，所述计算机程序包括：
用于执行下述操作的计算机程序代码：部署可在请求客户端计算设备上执行的处理器可执行程序代码，用于向所述请求客户端计算设备提供基于浏览器的混合用户界面，用于使用由所述请求客户端计算设备从所述服务器系统接收到的至少一个媒体流在所述浏览器中进行选择性混合，以生成混合视频流和至少一个相关联的音频流；
用于从其他客户端计算设备接收一个或多个直播媒体流的计算机程序代码；
用于通过至少一个直播流媒体连接将来自所述一个或多个直播媒体流的媒体数据流传输到所述请求客户端计算设备的计算机程序代码；和
用于从所述请求客户端计算设备接收所述混合视频流和所述至少一个相关联的音频流的计算机程序代码。


26.一种由服务器系统实现的用于直播媒体广播的方法，所述方法包括：部署可在请求客户端计算设备上执行的处理器可执行程序代码，用于向所述请求客户端计算设备提供基于浏览器的混合用户界面，用于使用由所述请求客户端计算设备从所述服务器系统接收到的至少一个媒体流在所述浏览器中进行选择性混合，以生成混合视频流和至少一个相关联的音频流；
从其他客户端计算设备接收一个或多个直播媒体流；
通过至少一个直播流媒体连接将来自所述一个或多个直播媒体流的媒体数据流传输到所述请求客户端计算设备；以及
从所述请求客户端计算设备接收所述混合视频流和所述至少一个相关联的音频流。


27.一种基于网络的直播媒体广播系统，包括：
服务器系统，所述服务器系统包括处理结构，所述处理结构被配置为：
接收至少一个直播非WebRTC媒体流；
摄取所述至少一个直播非WebRTC媒体流；
对所述至少一个直播非WebRTC媒体流进行转码，以生成WebRTC兼容的媒体流...

【专利技术属性】
技术研发人员：大卫·拉扎尔，保罗·滕克，斯蒂芬·塞金，李·霍罗克斯，桑伯恩·希兰，科林·比格吉，特里斯坦·马修斯，莱昂内尔·尼古拉斯，
申请(专利权)人：拉扎尔娱乐公司，
类型：发明
国别省市：加拿大;CA