将使用不同编码参数编码的多个编码成流制造技术

公开一种用于将源视频流的多个编码成流的系统。源视频设备系统捕捉和/或接收包括多个源视频帧的源视频。所述源视频设备系统将所述源视频帧编码至虚拟帧，其中每个虚拟帧是使用至少一个不同的编码参数被编码的。所述源视频设备系统从所述虚拟帧形成容器帧，并通过网络对所述容器帧进行传输。在示例性实施例中，所述容器帧包括与特定源帧相关联的虚拟帧，以及适用于所述容器帧中所有的虚拟帧的容器时间戳。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2014年12月11日递交的申请号为14/568081的非临时性美国专利申请的按照35U.S.C.§119(e)规定的权益，该非临时性美国专利申请要求2014年1月15日递交的申请号为61/927952的临时性美国专利申请的按照35U.S.C.§119(e)规定的权益，其公开通过引用而全部并入本文。
本专利技术涉及对视频数据进行编码，以及尤其涉及提供并成流多个编码。
技术介绍
在典型的视频监控系统中，一台或多台摄像机可通信地耦接至服务器系统。随着视频数据被摄像机记录，视频数据被传送至存储其的服务器系统，以用于后续的检索。客户端系统通信地耦接至服务器系统，且可用于请求和接收所记录的视频数据的流。已开发各项技术用于将视频数据成流至客户端。但是现有技术仍存在缺失。例如，很多技术都无法充分解决对相关视频编码之间的同步的需求。
技术实现思路
根据所公开实施例的方面，公开一种用于对源视频进行编码的方法。在示例性实施例中，一旦接收到源视频的源帧，对源帧的不同虚拟帧进行编码，其中使用至少一个不同的编码参数对不同虚拟帧中的每个进行编码。从所述虚拟帧形成容器帧，并通过网络传输容器帧。在示例性实施例中，所述容器帧包括虚拟帧和适用于容器帧中所有的虚拟帧的容器时间戳。在示例性场景中，所述虚拟帧在容器帧中被连接在一起，其中虚拟帧中的每个包括带有定界符的虚拟帧头，该定界符将虚拟帧彼此定界开。所述容器帧可包括容器帧头，该容器帧头包括容器时间戳。所述容器帧时间戳与从其中生成虚拟帧的源帧中包括的时间戳相同。用于对虚拟帧进行编码的编码参数可以是任意适当的参数，并且可选自例如包括源帧的兴趣域、帧速率、视频质量、压缩比、量化参数、视频分辨率以及压缩技术/编码格式的组。在示例性实施例中，视频源设备对虚拟帧进行编码并将其传输至控制服务器。视频源设备可包括，例如，用于接收源视频的源帧的处理器，以及通信地耦接至处理器的内存，该内存已将使得处理器如本文中所述地对源帧进行编码并对编码的帧进行传输的语句和指令存储其中。根据所公开实施例的方面，控制系统可将配置命令传输至视频源设备，从而配置多个编码组件，以提供多个不同且独立的分辨率编码。命令可指定，分辨率编码中的至少一个包括多个被单独编码的虚拟流。控制系统可从视频源设备接收视频源设备被配置以提供的多个单独虚拟流的描述，其中分辨率编码中的每个包括单独虚拟流中的一个或多个。当控制系统接收到多个单独虚拟流的数据流时，系统将多个单独虚拟流中的每个与各个分辨率编码相关联。根据所公开实施例的另一方面，控制服务器可将编码的视频成流至客户端系统。在示例性实施例中，控制服务器接收包括指示多个编码中的哪些将被发送至客户端的信息的客户端成流参数。多个编码中的每个可包含使用至少一个不同的编码参数编码的视频数据。服务器确定多个编码中的哪些满足客户端成流参数，并将满足客户端成流参数的多个编码中的一个或多个传输至客户端。编码参数可以是任意适当的参数，并且可以选自例如包含源帧的兴趣域、帧速率、视频质量、压缩比、量化参数、视频分辨率以及压缩技术/编码格式的组。在示例性实施例中，多个编码可包括分别根据不同的第一和第二兴趣域(ROI)编码的第一和第二编码。ROI可以是互斥的。根据所公开实施例的另一方面，第一和第二编码可在显示器上显示。在示例性场景中，第一和第二编码可在显示器的相邻部分上显示。在另一个示例性场景中，ROI可以至少部分地重叠。第一ROI可以是第二ROI的子集，且第一编码可以是以比第二编码更高的分辨率被编码的。根据所公开实施例的另一方面，公开一种方法用于显示多个编码，其中每个编码包括使用至少一个不同的编码参数编码的视频数据。在示例性场景中，该方法可包括：在客户端处接收多个编码，其中多个编码包括分别根据不同的第一和第二兴趣域(ROI)编码的第一和第二编码。在示例性场景中，ROI可以是互斥的。编码可作为容器帧的部分被传输至客户端。容器帧可包括其中每个对应于编码中的一个的多个虚拟帧，以及还可包括适用于所有的虚拟帧的容器时间戳。第一和第二编码在客户端的显示器上显示。提供此
技术实现思路
以以简单的方式介绍以下将在具体实施方式中进一步描述的概念的选中部分。本
技术实现思路
并非意在识别所要求保护的主题的关键特征或必要特征，也并非意在用于限制所要求保护的主题的范围。以下将描述其他特征。附图说明当结合附图阅读时，可以更好地理解前述
技术实现思路
以及以下对示例性实施例的附加描述。需要理解的是，所公开系统和方法的可能实施例并不限于所绘示的这些。图1绘示了适于生成并存储多个分辨率编码的示例性监控系统。图2绘示了适于显示多个分辨率编码的示例性显示器。图3绘示了适于生成并接收多个分辨率编码的示例性视频源设备以及控制服务器。图4绘示了由视频源设备和控制服务器提供的示例性功能特征。图5A绘示了包含多路复用的虚拟帧和用于描述这些虚拟帧的描述符的示例性容器帧。图5B绘示了包含多路复用的容器帧的示例性视频流，控制服务器对该示例性视频流进行多路分用和处理。图6绘示了描述包含在多个分辨率编码中的单独虚拟流的示例性视频源设备响应。图7绘示了不同分辨率下的兴趣域的示例性编码的例证。图8绘示了用于将来自视频源设备的数据成流的示例性方法的流程图。图9绘示了用于对源视频进行编码的示例性过程的流程图。图10绘示了用于对源视频进行编码的示例性方法的流程图。图11绘示了由控制服务器和客户端提供的示例性功能特征。图12绘示了包含容器帧的示例性视频流，控制服务器对该容器帧进行多路复用并将其发送至客户端。图13绘示了用于将客户端成流参数从客户端传输至控制服务器的示例性方法。图14绘示了用于将包含容器帧的数据流从控制服务器传输至客户端的示例性方法。图15绘示了用于确定多个虚拟流中的哪些将被多路复用并被从控制服务器发送至客户端的示例性方法。图16绘示了适于通信来自视频源设备的视频的活跃会话的示例性客户端服务器系统的结构框图。图17绘示了图像合成方法的示例性应用。具体实施方式申请人在此公开了用于将源视频流的多个编码成流的系统及方法。在示例性实施例中，源视频设备系统可以捕捉和/或接收包括多个源视频帧的源视频。编码前的视频被称为“源视频”，其中视频的每一帧为“源帧”。源视频设备系统将源视频帧编码至虚拟帧，其中虚拟帧中的每个是使用至少一个不同的编码参数而被编码的。编码参数可以是任意适当的参数，包括例如兴趣域、帧速率、视频质量、视频分辨率、以及压缩技术/编码格式。源视频设备系统从虚拟帧形成容器帧，并通过网络传输容器帧。在示例性实施例中，容器帧包括与特定源帧相关联的虚拟帧，以及适用于容器帧中所有的虚拟帧的容器时间戳。在将源视频的多个编码传输至客户端时，期望客户端能够对来自它所接收到的多个编码的帧进行同步。同步解决至少两个问题：1)当客户端从一个编码切换至另一个时，编码之间的任何时间偏移将会在视频中显示为时间的间断或“跳跃”，这是不可取的。2)当客户端同时地显示表示源视频的相邻兴趣域(后文中互换地称为“ROI”)的编码时，这些编码之间的任何时间偏移使得在这些兴趣域之间穿越的任意对象也将经历时间的间断或“跳跃”，这阻碍了对象在这些兴趣域之间平稳地变迁。这也是不可取的。存在对视频进行同步的很多本文档来自技高网...

【技术保护点】
一种用于对源视频进行编码的方法，包括：计算系统，接收源视频的源帧；所述计算系统对所述源帧进行编码以形成多个虚拟帧，所述多个虚拟帧中的每个是使用至少一个不同的编码参数被编码的；以及所述计算系统通过网络传输容器帧，所述容器帧包括所述多个虚拟帧和适用于所述多个虚拟帧中的每个的容器时间戳。

【技术特征摘要】
【国外来华专利技术】2014.01.15 US 61/927,952;2014.12.11 US 14/568,0811.一种用于对源视频进行编码的方法，包括：计算系统，接收源视频的源帧；所述计算系统对所述源帧进行编码以形成多个虚拟帧，所述多个虚拟帧中的每个是使用至少一个不同的编码参数被编码的；以及所述计算系统通过网络传输容器帧，所述容器帧包括所述多个虚拟帧和适用于所述多个虚拟帧中的每个的容器时间戳。2.根据权利要求1所述的方法，其中，所述多个虚拟帧中的每个包括虚拟帧头，所述虚拟帧头包括对虚拟帧中的每个进行定界的定界符。3.根据权利要求1所述的方法，其中，所述多个虚拟帧在所述容器帧中被连接在一起。4.根据权利要求1所述的方法，其中，所述容器帧包括容器帧头，所述容器帧头包括所述容器时间戳。5.根据权利要求1所述的方法，其中，所述源帧包括源帧时间戳，所述容器帧时间戳实质上与所述源帧时间戳相同。6.根据权利要求1所述的方法，其中，所述至少一个不同的编码参数选自包括所述源帧的兴趣域、帧速率、视频质量、压缩比、量化参数、视频分辨率、压缩技术以及编码格式的组。7.根据权利要求1所述的方法，其中所述计算系统对所述源帧进行编码包括：视频源设备对所述源帧进行编码，以及其中所述计算系统通过网络传输容器帧包括：所述视频源设备传输容器帧。8.根据权利要求7所述的方法，其中，所述计算系统通过网络传输容器帧包括：通过网络向控制服务器传输容器帧。9.根据权利要求1所述的方法，其中，所述计算系统通过网络传输容器帧包括：所述计算系统传输包含所述多个虚拟帧、描述所述多个虚拟帧的至少一个描述符以及适用于所述多个虚拟帧中的每个的容器时间戳的容器帧。10.根据权利要求1所述的方法，其中，所述计算系统对所述源帧进行编码以形成多个虚拟帧包括：所述计算系统对与第一分辨率相对应的多个第一虚拟帧进行编码，以及对与第二分辨率相对应的多个第二虚拟帧进行编码。11.一种用于将数据成流的方法，包括：控制系统通过网络从视频源系统接收所述视频源系统被配置以提供的多个虚拟流的描述，多个编码中的每个包括所述虚拟流中的一个或多个；所述控制系统从所述视频源系统接收数据流，所述数据流包括多个虚拟流；以及所述控制系统将接收到的所述多个虚拟流中的每个与编码相关联。12.根据权利要求11所述的方法，其中，所述控制系统将接收到的所述多个虚拟流中的每个与编码相关联包括：所述控制系统应用接收到的所述描述中的信息以识别与编码相关联的虚拟流。13.根据权利要求11所述的方法，还包括：所述控制系统通过网络向所述视频源系统传输对由所述视频源系统提供的多个虚拟流的描述的请求。14.根据权利要求11所述的方法，其中，所述控制系统从所述视频源系统设备接收多个虚拟流的描述包括：接收包含用于所述多个虚拟流中的每个的标识符的描述。15.根据权利要求11所述的方法，其中，所述控制系统从所述视频源系统设备接收多个虚拟流的描述包括：接收针对所述多个虚拟流中的每个包含被编码的源视频的区的指示的描述。16.根据权利要求11所述的方法，其中，所述控制系统从所述视频源系统设备接收多个虚拟流的描述包括：接收包括用于所述多个虚拟流中的每个的编码参数的描述。17.一种用于将视频数据成流的方法，包括：在服务器处，接收指定待被发送至客户端设备的编码的特征的客户端成流参数；在所述服务器处，至少确定满足所述客户端成流参数的源帧的第一编码和第二编码，所述第一编码和第二编码是使用至少一个不同的编码参数被编码的；以及从所述服务器向所述客户端至少传输所述第一编码和所述第二编码。18.根据权利要求17所述的方法，其中，所述至少一个不同的编码参数选自包括所述源帧的兴趣域、帧速率、视频质量、压缩比、量化参数、视频分辨率、压缩技术以及编码格式的组。19.根据权利要求17所述的方法，其中，所述第一编码是使用第一兴趣域参数被编码的，以及所述第二编码是使用第二兴趣域被编码的，其中所述第一兴趣域不同于所述第二兴趣域。20.根据权利要求19所述的方法，其中所述第一兴趣域是所述第二兴趣域的子集，以及所述第一编码是以比所述第二编码更高的分辨率被编码的。21.根据权利要求17所述的方法，还包括：在所述服务器处，至少确定满足所述客户成端流参数的所述源帧的第三编码，与所述第一编码和所述第二编码相比，所...

【专利技术属性】
技术研发人员：肖恩·P·马拉特，奥伦·谢尔，彼得·W·诺伊费尔德，万·C·阮，西娜·艾佛鲁兹，
申请(专利权)人：威智伦公司，
类型：发明
国别省市：加拿大;CA