基于系统时钟的视频流帧时间戳的相关技术方案

本文描述的方法被配置为将视频流的帧与系统时钟进行相关。相关器应用经由总线接口从捕获设备接收视频流的帧，该帧包括起始帧时间戳和结束帧时间戳，该起始帧时间戳和结束帧时间戳基于捕获设备的设备时钟。第二起始帧时间戳和第二结束帧时间戳基于先前接收的帧和系统时钟而被预测。帧的扭斜值基于起始帧时间戳和结束帧时间戳之间的差而被计算。在所计算的扭斜值超过扭斜阈值时，帧被校正以与预测的起始帧时间戳和结束帧时间戳向。经校正的帧然后被提供以用于显示。以所描述的方式校正视频流帧的时间戳减少抖动并且实现多个视频流的准确同步。

【技术实现步骤摘要】
【国外来华专利技术】基于系统时钟的视频流帧时间戳的相关
技术介绍
现代视频捕获设备使用各种不同类型的技术来捕获、处理、和发送或以其他方式传送捕获的视频数据。视频捕获设备可以被设计为主要捕获可见光视频、基于深度的视频、基于红外的视频或其组合。但是，在某些情况下，视频捕获设备用来处理和/或传送捕获的视频数据的技术限制了所得视频流的质量和/或对观看所得视频流的用户体验产生了负面影响。视频捕获设备的设备时钟可能会漂移，从而导致视频流中出现时间失真或“抖动”，视频处理操作可能会导致视频流扭斜而不同步，和/或通信总线或其他介质可能提供与在传送的另一端向用户提供高质量视频流所必需的相比可靠更低的数据传送。例如，使用通用串行总线(USB)技术来传送视频流的帧有可能会带来与传送后视频流中帧的准确时序相关联的各种挑战。当多个视频流被组合以形成三维视频流、具有多个视点的视频流等时，这些挑战变得更加复杂。同步每个视频流需要每个帧的极其准确的时序，并且每个视频流可能由不同的视频捕获设备捕获，每个设备都具有独特的一组技术，这些技术必须被考虑以便将视频流与共享的时间帧进行相关。提供用于观看的组合视频流而没有明显的时本文档来自技高网...

【技术保护点】
1.一种计算机化显示系统，用于将来自捕获设备的视频帧的时间戳进行相关，所述计算机化显示系统包括：/n至少一个处理器；/n至少一个存储器，包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述至少一个处理器：/n由相关器应用经由总线接口从捕获设备接收视频流的帧，所述帧包括第一起始帧时间戳和第一结束帧时间戳，所述第一起始帧时间戳和所述第一结束帧时间戳基于与所述捕获设备相关联的设备时钟；/n由所述相关器应用基于所述视频流的多个先前接收的帧来预测与所接收的所述帧相关联的第二起始帧时间戳和第二结束帧时间戳，所述第二起始帧时间戳和所述第二结束帧时间戳基于与所述显示...

【技术特征摘要】
【国外来华专利技术】20180521 US 62/674,599;20180525 US 15/990,5491.一种计算机化显示系统，用于将来自捕获设备的视频帧的时间戳进行相关，所述计算机化显示系统包括：
至少一个处理器；
至少一个存储器，包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述至少一个处理器：
由相关器应用经由总线接口从捕获设备接收视频流的帧，所述帧包括第一起始帧时间戳和第一结束帧时间戳，所述第一起始帧时间戳和所述第一结束帧时间戳基于与所述捕获设备相关联的设备时钟；
由所述相关器应用基于所述视频流的多个先前接收的帧来预测与所接收的所述帧相关联的第二起始帧时间戳和第二结束帧时间戳，所述第二起始帧时间戳和所述第二结束帧时间戳基于与所述显示系统相关联的系统时钟；
所述相关器应用基于所述第一起始帧时间戳与所述第二起始帧时间戳之间的差以及所述第一结束帧时间戳与所述第二结束帧时间戳之间的差，来计算所接收的所述帧的扭斜值；
在所计算的所述扭斜值超过扭斜阈值时，由所述相关器应用校正所接收的所述帧，以与所述第二起始帧时间戳和所述第二结束帧时间戳进行相关；以及
提供经校正的所述帧以用于显示。


2.根据权利要求1所述的计算机化系统，其中预测所述第二起始帧时间戳包括：维持所述视频流的所述多个先前接收的帧的起始帧时间戳的映射。


3.根据权利要求1所述的计算机化系统，其中预测所述第二起始帧时间戳和所述第二结束帧时间戳包括：确定所述视频流的所述多个先前接收的帧的平均帧长度，其中所预测的所述第二起始帧时间戳和第二结束帧时间戳以所确定的所述平均帧长度分隔。


4.根据权利要求1所述的计算机化系统，其中校正所接收的所述帧包括：裁剪所接收的所述帧，以匹配所预测的所述第二起始帧时间戳和第二结束帧时间戳，以及利用预测的所述第二起始帧时间戳和第二结束帧时间戳对所接收的所述帧重新加时间戳。


5.根据权利要求1所述的计算机化系统，其中所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起还使所述至少一个处理器：将所接收的所述帧与所述视频流的所述多个接收的帧进行组合。


6.根据权利要求1所述的计算机化系统，其中所述视频流与另一视频流同步；并且
基于所述第二起始帧时间戳和所述第二结束帧时间戳中的至少一个时间戳，经校正的所述帧与所述另一视频流的匹配帧被同步。


7.根据权利要求1所述的计算机化系统，其中所述视频流包括实况视频。


8.根据权利要求1所述的计算机化系统，其中所述总线接口是通用串行总线(USB)接口。


9.一种计算机化方法，用于将来自捕获设备的视频帧的时间戳进行相关，所述计算机化方法包括：
由相关器应用经由总线接口从捕获设备接收视频流的帧，所述帧包括第一起始帧时间戳和第一结束帧时间戳，所...

【专利技术属性】
技术研发人员：S·卡里瓦拉达斯瓦米，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US