用于视频处理的系统和方法技术方案

一种用于多个视频流之间的视频同步的系统及其制造和使用方法。视频同步系统可以使查找帧序列中的视频帧相对于参考帧序列同步，对查找帧序列中的帧进行排序，以使查找帧序列的图像数据对应于参考帧序列的图像数据。可以针对源自单个成像装置或多个成像装置的视频流执行视频同步。可以使用图像数据中的点序列来执行查找帧序列与参考序列的比较。点序列中的点可以是各个像素或具有一个或多个像素的各个特征。可以通过使相应图像数据之间的相关性最大化来执行视频同步。该系统和方法有利地适用于同步从诸如无人机之类的移动平台获取的视频。

【技术实现步骤摘要】
【国外来华专利技术】用于视频处理的系统和方法版权声明本专利文件的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文献或专利公开的传真复制，因为它出现在专利和商标局的专利文件或记录中，但在其他方面保留所有版权。
所公开的实施例总体上涉及图像处理，并且更具体地但不排他地涉及用于同步多个视频流的系统和方法。
技术介绍
视频同步是使不同视频流时间对齐。视频同步具有许多应用。例如，可以从不同的有利位置拍摄特定事件的不同视频，之后可以同步视频以创建所述事件的合并视图。视频同步难以手动执行，这是因为人眼无法轻易地区分以快速帧速率示出的视频帧。另一种同步技术是时间戳，其中视频流的每一帧都标记有该帧的拍摄时间。随后，可以同步不同视频流之间具有匹配时间戳的帧。然而，用于视频同步的时间戳要求视频流源自的成像装置精确同步且无错误。这些标准在实践中很难满足，因此时间戳视频同步方法常常会引起错误。鉴于前述内容，需要克服当前视频同步方法问题的用于视频同步的系统和方法。
技术实现思路
根据本文所公开的第一方面，提出了一种视频同步的方法，包括：将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较；以及基于所述比较将查找帧序列与参考帧序列对齐。根据本文所公开的另一方面，提出了一种视频同步系统，包括：一个或多个传感器，被配置为接收第一视频流和第二视频流；以及处理器，被配置为：从所述第一视频流获取参考帧序列，并从所述第二视频流获取查找帧序列；将来自所述参考帧序列的图像数据与所述查找帧序列的对应图像数据进行比较；以及基于比较的图像数据将所述查找帧序列与所述参考帧序列对齐。根据本文所公开的另一方面，提出了一种设备，包括处理器，所述处理器被配置为：从第一视频流中获取参考帧序列，并从第二视频流中获取查找帧序列；将来自所述参考帧序列的图像数据与所述查找帧序列的对应图像数据进行比较；以及基于比较的图像数据将所述查找帧序列与所述参考帧序列对齐。根据本文所公开的另一方面，提出了一种计算机可读存储介质，包括：用于将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较的指令；以及用于基于所述比较将查找帧序列与参考帧序列对齐的指令。根据本文所公开的另一方面，提出了一种处理系统，包括：获取模块，被配置为用于从参考帧序列获取图像数据并获取查找帧序列的对应图像数据；比较模块，用于将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较；以及对齐模块，用于基于比较的图像数据将查找帧序列与参考帧序列对齐。附图说明图1示出了关于所拍摄的场景的视频流的视频同步系统的实施例的示例性顶层框图。图2示出了图1的视频同步系统的替代实施例的示例性框图。图3示出了使用图1的视频同步系统同步的第一视频流和第二视频流的实施例的示例性图。图4示出了用于使参考帧序列与查找帧序列同步的方法的实施例的示例性流程图，在所述方法中基于来自参考帧序列和查找帧序列的图像数据的比较来使查找帧序列的帧与参考帧序列的帧对齐。图5示出了用于使查找帧序列与参考帧序列对齐的图4的方法的实施例的示例性图。图6示出了图4的方法的替代实施例的示例性图，在所述替代实施例中将参考点序列与查找点序列进行比较以进行视频同步。图7示出了图4的方法的另一替代实施例的示例性流程图，所述流程图用于将参考点序列与查找点序列进行比较以进行视频同步。图8示出了图1的视频同步系统的替代实施例的示例性图，在所述替代实施例中从公共成像装置接收第一视频流和第二视频流。图9示出了图4的方法的另一替代实施例的示例性图，在所述另一替代实施例中将包括图像数据的像素的参考点序列与包括图像数据的像素的查找点序列进行比较以进行视频同步。图10示出了图4的方法的另一替代实施例的示例性流程图，在所述另一替代实施例中将包括图像数据的像素的参考点序列与包括图像数据的像素的查找点序列进行比较以进行视频同步。图11示出了图1的视频同步系统的另一替代实施例的示例性框图，在所述另一替代实施例中从不同的成像装置接收第一视频流和第二视频流。图12示出了图4的方法的另一替代实施例的示例性图，在所述另一替代实施例中将包括图像数据的特征的参考点序列与包括图像数据的特征的查找点序列进行比较以进行视频同步。图13示出了图4的方法的另一替代实施例的示例性流程图，在所述另一替代实施例中通过匹配参考帧序列的帧之间的特征来获取参考点序列。图14示出了图4的方法的另一替代实施例的示例性流程图，在所述另一替代实施例中包括查找特征的查找点序列与包括参考特征的对应参考点序列匹配。图15示出了图4的方法的另一替代实施例的示例性决策流程图，在所述另一替代实施例中通过最大化参考帧序列和查找帧序列的对应图像数据之间的相关性来执行视频同步。图16示出了图4的方法的另一替代实施例的示例性图，描绘了在参考帧序列与查找帧序列之间的不同对齐处的相关性的图。图17示出了图4的方法的另一替代实施例的示例性图，描绘了在参考帧序列与查找帧序列之间的不同对齐处的相关性的图。图18示出了图1的视频同步系统的实施例的示例性图，在所述实施例中视频同步系统安装在无人机(UAV)上。图19示出了包括获取模块、比较模块和对齐模块以用于视频同步的处理系统的实施例的示例性图。应该注意的是，附图并未按比例绘制，并且出于说明目的，在整个附图中类似结构或功能的元素通常用类似的附图标记来表示。还应该注意的是，附图只是为了便于描述优选实施例。附图没有示出所描述的实施例的每个方面，并且不限制本公开的范围。具体实施方式本公开提出了用于同步多个视频流的系统和方法，克服了现有视频同步系统和方法的缺点。现在转向图1，示出了与场景10的成像有关的视频同步系统100的示例性顶层表示。来自场景10的入射光15可以由一个或多个成像装置20来捕获。每个成像装置20可以从场景10接收入射光15并将入射光15转换成数字和/或模拟信号。每个成像装置20可以是例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)器件、N型金属氧化物半导体(NMOS)器件及其混合物/变型。成像装置20可以包括被布置成二维阵列(未示出)的光电传感器，每个光电传感器可以捕获图像信息的一个像素。优选地，每个成像装置20可以具有例如至少0.05兆像素、0.1兆像素、0.5兆像素、1兆像素、2兆像素、5兆像素、10兆像素、20兆像素、50兆像素、100兆像素或甚至更大数量的像素的分辨率。可以对由成像装置20接收的入射光15进行处理以产生一个或多个视频流30。每个成像装置20可以产生场景10的一个或多个视频流30。例如，所选成像装置20可以有利地以多个不同分辨率(例如，低分辨率视频流30和高分辨率视频流30)产生场景10的视频流30，如期望的那样用于平衡清晰度和效率以用于不同用途。在一些实施例中，多个成像装置20可以用于从场景10捕获视频。例如，多个成像装置20可以从场景10的多个不同视角(或有利位置)捕获视频流30。使用多个成像装置20的优点可以包括例如实现全景成像、实现对场景10的深度感知的立体成像和/或实现场景10的三维再创建。可以向视频同步系统100提供多个视频流30以进行视频同步，无论所述多个视频流30是由相同成像装置20还是由不同成像装置20捕获的。适用于所公开的系统和方法的示例性本文档来自技高网...

【技术保护点】
1.一种视频同步方法，包括：将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较；以及基于所述比较将查找帧序列与参考帧序列对齐。

【技术特征摘要】
【国外来华专利技术】1.一种视频同步方法，包括：将来自参考帧序列的图像数据与查找帧序列的对应图像数据进行比较；以及基于所述比较将查找帧序列与参考帧序列对齐。2.根据权利要求1所述的方法，其中所述比较包括：在第一视频流的参考帧序列与第二视频流的查找帧序列之间比较对应图像数据。3.根据权利要求1或权利要求2所述的方法，其中所述比较包括：从所述参考帧序列中获取一个或多个参考点序列；从所述查找帧序列中获取与所述参考点序列相对应的一个或多个查找点序列；以及在所述参考点序列和对应查找点序列之间比较图像数据。4.根据权利要求2或权利要求3所述的方法，还包括：从公共成像装置接收所述第一视频流和所述第二视频流。5.根据权利要求4所述的方法，其中所述获取所述参考点序列中的每个参考点序列包括：在所述参考帧序列的所选帧上选择参考像素；在所述参考帧序列的一个或多个其他帧上定位一个或多个匹配参考像素；以及获取所述参考点序列作为所选参考像素和匹配参考像素的序列。6.根据权利要求5所述的方法，其中所述定位所述匹配参考像素包括：基于所选参考像素的坐标，在所述参考帧序列的帧上定位所述匹配参考像素。7.根据权利要求5或权利要求6所述的方法，还包括：以网格模式选择所述参考点序列。8.根据权利要求5或权利要求6所述的方法，还包括：以随机模式选择所述参考点序列。9.根据权利要求5至8中任一项所述的方法，还包括：在所述参考帧序列的各个帧的中心选择参考点。10.根据权利要求4至9中任一项所述的方法，其中所述获取对应查找点序列中的每个对应查找点序列包括：基于对应参考点序列的坐标来获取所述查找点序列。11.根据权利要求2或权利要求3所述的方法，还包括：从不同的成像装置接收所述第一视频流和所述第二视频流。12.根据权利要求11所述的方法，其中所述获取所述参考点序列包括：在所述参考帧序列的每个帧上选择多个参考特征；将所述参考帧序列的每个帧的参考特征与所述参考序列的其他帧的参考特征进行匹配；以及基于所述匹配来获取所述参考点序列。13.根据权利要求12所述的方法，其中所述在所述参考帧序列的每个帧上选择多个特征包括：使用尺度不变特征变换SIFT技术来选择所述参考特征。14.根据权利要求11至13中任一项所述的方法，其中获取对应查找点序列包括：在所述查找帧序列的每个帧上选择多个查找特征；将所述查找帧序列的每个帧的所选查找特征与所述查找序列的其他帧的所选特征进行匹配以获取所述查找点序列；将所述查找点序列与所述参考点序列进行匹配；以及基于所述将所述查找点序列与所述参考点序列进行匹配来获取对应查找点序列。15.根据权利要求13或权利要求14所述的方法，其中所述在所述查找帧序列的每个帧上选择多个特征包括：使用SIFT技术来选择所述特征。16.根据上述权利要求中任一项所述的方法，其中所述比较包括：确定所述参考点序列的图像数据与所述查找点序列的图像数据之间的相关性。17.根据权利要求16所述的方法，其中所述对齐包括：确定使所述相关性最大化的所述查找帧序列与所述参考帧序列的对齐。18.根据权利要求17所述的方法，其中所述对齐包括：通过梯度上升使所述相关性最大化。19.根据上述权利要求中任一项所述的方法，其中所述比较包括：比较所述参考帧序列和所述查找帧序列的马赛克图像数据。20.根据上述权利要求中任一项所述的方法，其中所述比较包括：比较所述参考帧序列和所述查找帧序列的非马赛克图像数据。21.根据上述权利要求中任一项所述的方法，其中所述参考帧序列和所述查找帧序列具有基本相同的帧速率。22.根据权利要求21所述的方法，其中所述参考帧序列和所述查找帧序列具有相同的帧速率。23.根据上述权利要求中任一项所述的方法，还包括：从移动平台获取所述第一视频流和所述第二视频流。24.根据权利要求23所述的方法，其中所述移动平台是无人机UAV。25.一种视频同步系统，包括：一个或多个传感器，被配置为接收第一视频流和第二视频流；以及处理器，被配置为：从所述第一视频流获取参考帧序列，并从所述第二视频流获取查找帧序列；将来自所述参考帧序列的图像数据与所述查找帧序列的对应图像数据进行比较；以及基于比较的图像数据将所述查找帧序列与所述参考帧序列对齐。26.根据权利要求25所述的视频同步系统，其中所述处理器被配置为：从所述参考帧序列中获取一个或多个参考点序列；从所述查找帧序列中获取与所述参考点序列相对应的一个或多个查找点序列；以及在所述参考点序列和对应查找点序列之间比较图像数据。27.根据权利要求25或权利要求26所述的视频同步系统，其中所述视频同步系统被配置为：从公共成像装置接收所述第一视频流和所述第二视频流。28.根据权利要求27所述的视频同步系统，其中所述处理器被配置为通过以下操作获取所述参考点序列中的每个参考点序列：在所述参考帧序列的所选帧上选择参考像素；在所述参考帧序列的一个或多个其他帧上定位一个或多个匹配参考像素；以及获取所述参考点序列作为所选参考像素和匹配参考像素的序列。29.根据权利要求28所述的视频同步系统，其中所述定位所述匹配参考像素包括：基于所选参考像素的坐标，在所述参考帧序列的帧上定位所述匹配参考像素。30.根据权利要求28或权利要求29所述的视频同步系统，其中所述处理器被配置为：以网格模式选择所述参考点序列。31.根据权利要求28或权利要求29所述的视频同步系统，其中所述处理器被配置为：以随机模式选择所述参考点序列。32.根据权利要求28至31中任一项所述的视频同步系统，其中所述处理器被配置为：在所述参考帧序列的各个帧的中心选择参考点。33.根据权利要求28至32中任一项所述的视频同步系统，其中所述处理器被配置为：基于对应参考点序列的坐标来获取对应查找点序列中的每个对应查找点序列。34.根据权利要求26所述的视频同步系统，其中所述视频同步系统被配置为：从不同的成像装置接收所述第一视频流和所述第二视频流。35.根据权利要求34所述的视频同步系统，其中所述处理器被配置为通过以下操作获取所述参考点序列：在所述参考帧序列中的每个帧上选择多个参考特征；将所述参考帧序列的每个帧的参考特征与所述参考序列的其他帧的参考特征进行匹配；以及基于所述匹配来获取所述参考点序列。36.根据权利要求35所述的视频同步系统，其中所述处理器被配置为：使用尺度不变特征变换SIFT技术，在所述参考帧序列的每个帧上选择多个特征。37.根据权利要求34至36中任一项所述的视频同步系统，所述处理器被配置为通过以下操作获取对应查找点序列：在所述查找帧序列的每个帧上选择多个查找特征；将所述查找帧序列的每个帧的所选查找特征与所述查找序列的其他帧的所选特征进行匹配以获取所述查找点序列；将所述查找点序列与所述参考点序列进行匹配；以及基于所述将所述查找点序列与所述参考点序列进行匹配来获取对应查找点序列。38.根据权利要求36或37所述的视频同步系统，其中所述处理器被配置为：使用SIFT技术，在所述查找帧序列的每个帧上选择所述多个特征。39.根据权利要求26至38中任一项所述的视频同步系统，其中所述处理器被配置为：确定所述参考点序列的图像数据与所述查找点序列的图像数据之间的相关性。40.根据权利要求39所述的视频同步系统，其中所述处理器被配置为：确定使所述相关性最大化的所述查找帧序列与所述参考帧序列的对齐。41.根据权利要求40所述的视频同步系统，其中所述处理器被配置为：通过梯度上升使所述相关性最大化。42.根据权利要求25至41中任一项所述的视频同步系统，其中所述处理器被配置为：比较所述参考帧序列和所述查找帧序列的马赛克图像数据。43.根据权利要求25至42中任一项所述的视频同步系统，其中所述处理器被配置为：比较所述参考帧序列和所述查找帧序列的非马赛克图像数据。44.根据权利要求25至43中任一项所述的视频同步系统，其中所述参考帧序列和所述查找帧序列具有基本相同的帧速率。45.根据权利要求44所述的视频同步系统，其中所述参考帧序列和所述查找帧序列具有相同的帧速率。46.根据权利要求25至45中任一项所述的视频同步系统，其中所述视频同步系统被配置为：从移动平台获取所述第一视频流和所述第二视频流。47.根据权利要求46所述的视频同步系统，其中所述移动平台是无人机UAV。48.一种设备，包括处理器，所述处理器被配置为：从第一视频流中获取参考帧序列，并从第二视频流中获取查找帧序列；将来自所述参考帧序列的图像数据与所述查找帧序列的对应图像数据进行比较；以及基于比较的图像数据将所述查找帧序列与所述参考帧序列对齐。49.根据权利要求48所述的设备，其中所述处理器被配置为：从所述参考帧序列中获取一个或多个参考点序列；从所述查找帧序列中获取与所述参考点序列相对应的一个或多个查找点序列；以及在所述参考点序列和对应查找点序列之间比较图像数据。50.根据权利要求48或权利要求49所述的设备，其中所述设备被配置为：从公共成像装置接收所述第一视频流和所述第二视频流。51.根据权利要求50所述的设备，其中所述处理器被配置为通过以下操作获取所述参考点序列中的每个参考点序列：在所述参考帧序列的所选帧上选择参考像素；在所述参考帧序列的一个或多个其他帧上定位一个或多个匹配参考像素；以及获取所述参考点序列作为所选参考像素和匹配参考像素的序列。52.根据权利要求51所述的设备，其中所述定位所述匹配参考像素包括：基于所选参考像素的坐标，在所述参考帧序列中的帧上定位所述匹配参考像素。53.根据权利要求51或权利要求52所述的设备，其中所述处理器被配置为：以网格模式选择所述参考点序列。54.根据权利要求51或权利要求52所述的设备，其中所述处理器被配置为：以随机模式选择所述参考点序列。55.根据权利要求51至54中任一项所述的设备，其中所述处理器被配置为：在所述参考帧序列的各个帧的中心选择参考点。56.根据权利要求51至55中任一项所述的设备，其中所述处理器被配置为：基于对应参考点序列的坐标来获取对应查找点序列中的每个对应查找点序列。57.根据权利要求48或权利要求49所述的设备，其中所述设备被配置为：从不同的成像装置接收所述第一视频流和所述第二视频流。58.根据权利要求57所述的设备，其中所述处理器被配置为通过以下操作获取所述参考点序列：在所述参考帧序列的每个帧上选择多个参考特征；将所述参考帧序列的每个帧的参考特征与所述参考序列的其他帧的参考特征进行匹配；以及基于所述匹配来获取所述参考点序列。59.根据权利要求58所述的设备，其中所述处理器被配置为：使用尺度不变特征变换SIFT技术，在所述参考帧序列的每个帧上选择所述多个特征。60.根据权利要求57至59中任一项所述的设备，所述处理器被配置为通过以下操作获取对应查找点序列：在所述查找帧序列的每个帧上选择多个查找特征；将所述查找帧序列的每个帧的所选查找特征与所述查找序列的其他帧的所选特征进行匹配以获取所述查找点序...

【专利技术属性】
技术研发人员：毛成林，曹子晟，暴林超，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44