用于沉浸式视频的经由连续帧中的成对匹配的多相机人物关联制造技术

论述了与在多视图视频中执行物体或人类关联或对应关系有关的技术。这种技术包括根据基于帧对之间的双向最小距离对，为距离子矩阵分开优化对应关系子矩阵，来确定特定时间实例的对应关系，跨时间实例生成和融合轨迹片段，并且在这种轨迹片段处理之后，经由离群点物体位置的消除和物体对应关系的重安排来调整对应关系。应关系。应关系。

【技术实现步骤摘要】
【国外来华专利技术】用于沉浸式视频的经由连续帧中的成对匹配的多相机人物关联

技术介绍

[0001]在沉浸式视频和诸如计算机视觉应用之类的其他情境中，若干个相机被安装在感兴趣的场景周围。例如，相机可被安装在运动场周围的体育馆中。利用从相机获得的视频，为视频的每个时间实例的场景生成3D模型(例如，经由点云体积模型或其他表示)。然后可从场景内的虚拟视图生成照片般逼真的视图，来为用户提供沉浸式体验。特别地，这种技术允许了虚拟相机在3D空间中导航，以便在场景内的任何位置从任何视角或角度重放来自场景的动作。
[0002]跟踪场景(例如，场地或球场)中的人(例如，选手)是自动控制虚拟相机的一个关键组成部分，而将来自不同相机视图的同一个人关联在一起是多选手跟踪算法中的一个复杂问题。多相机选手关联将在同一时间戳来自不同相机的同一个人的限界框的检测和跟踪集成在一起。
[0003]要提供来自多个相机的稳定而准确的关联有几个挑战。首先，来自每个相机的检测结果并不完全可靠。在检测中，限界框缺失是很常见的，尤其是当选手挤在一起和发生遮蔽的时候。例如，一个限界框可能覆盖多于一个人(例如，多于三个人)，这导致关联中的人的数目减少。第二，在连续的帧中，检测到的限界框是不稳定的。具体而言，两个相邻的帧可能具有不同数目的限界框，这导致相邻帧中不连续的关联位置。第三，同一个人在不同相机中的图像可能有很大的差异。不同的视角和人物重叠使得匹配变得困难。此外，对实时处理的执行时间也有很强的限制。
[0004]用于来自多个相机的关联的当前技术包括基于几何约束的技术和基于轨迹融合的技术。几何约束技术通常被用于单帧关联上，而轨迹融合技术通常被用于连续帧关联中。此外，当前的技术可以将几何约束、人类关键点和选手重识别特征结合在一起，以通过从几何约束和重识别建立相似性矩阵，并且使用凸优化来优化相似性矩阵以获得最佳关联，从而执行多视图匹配。另外，通过组装外观、运动和几何信息，跟踪关联可以被建模为优化任务。然而这种技术具有局限性。对于几何约束技术，只使用单帧信息，从而在连续帧中会出现抖动。一些技术使用全局优化策略来优化关联结果，然而这种技术是耗时的，并且不能被实时执行。当前的跟踪融合方法依赖于单相机跟踪，其缺点是在拥挤的情况下(例如体育应用)会生成频繁的识别切换。此外，这种技术很复杂，而且也不能用于实时应用。
[0005]希望以高准确度和稳定性在连续帧中实时提供多相机人或物体关联。正是考虑到这些和其他考虑事项，所以需要本改进。随着从多视图视频提供新的沉浸式用户体验的愿望变得更加普遍，这种改进可变得关键。
附图说明
[0006]在附图中以示例的方式而不是限制的方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，在附图之间重复附图标记以指示出对应的或
相似的元素。在附图中：
[0007]图1图示了在多相机环境内跟踪选手的示例系统；
[0008]图2图示了在示例场景上训练的示例相机阵列；
[0009]图3图示了用于在连续帧中使用成对匹配生成物体关联的示例多相机关联模块；
[0010]图4图示了使用估计的脚点确定限界框和相应选手的位置的示例；
[0011]图5图示了示例距离矩阵；
[0012]图6图示了使用双向最小距离的示例限界框配对；
[0013]图7图示了使用双向最小距离的另一示例限界框配对；
[0014]图8图示了示范性双向最小距离标志矩阵和按行矩阵变换；
[0015]图9图示了来自按行变换的结果矩阵；
[0016]图10图示了来自按列变换的结果矩阵；
[0017]图11图示了在继续进行按行和按列变换之后的结果矩阵和示范性子矩阵；
[0018]图12图示了在每个时间帧开始生成的示范性轨迹片段生成；
[0019]图13图示了示范性轨迹片段融合；
[0020]图14图示了用于执行轨迹片段融合的示例过程；
[0021]图15图示了示范性选手重安排或重指派处理；
[0022]图16图示了由于大距离处理而引起的示范性选手移除；
[0023]图17是图示了用于在多视图视频中执行物体关联的示例过程的流程图；
[0024]图18是用于在多视图视频中执行物体关联的示例系统的说明图；
[0025]图19是示例系统的说明图；并且
[0026]图20图示了全都根据本公开的至少一些实现方式安排的示例设备。
具体实施方式
[0027]现在参考附图来描述一个或多个实施例或实现方式。虽然论述了具体的配置和安排，但应当理解这么做只是为了说明。相关领域的技术人员将会认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和安排。相关领域的技术人员将会清楚，本文描述的技术和/或安排也可被用在与本文所述不同的各种其他系统和应用中。
[0028]虽然接下来的描述阐述了例如可在诸如片上系统(system
‑
on
‑
a
‑
chip，SoC)体系结构之类的体系结构中显现的各种实现方式，但本文描述的技术和/或安排的实现方式不限于特定的体系结构和/或计算系统，而是可由任何体系结构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(integrated circuit，IC)芯片和/或封装的各种体系结构，和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费电子(consumer electronic，CE)设备，可实现本文描述的技术和/或安排。另外，虽然接下来的描述可阐述许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等，但可在没有这种具体细节的情况下实现要求保护的主题。在其他情况中，可能没有详细示出一些素材，例如控制结构和完整软件指令序列，以免模糊本文公开的素材。
[0029]可以用硬件、固件、软件或者其任意组合来实现本文公开的素材。本文公开的素材也可被实现为存储在机器可读介质上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何
指的是相机阵列101的特定相机的图像平面的图像内容或者从位于场景210内的虚拟相机的任何视图的图像内容。值得注意的是，视图可以是捕捉的视图(例如，利用相机处的图像捕捉获得的视图)，使得多个视图包括同一个人、物体、实体等等的表示。
[0036]返回到图1，如图所示，每个相机或视图处理生成包括限界框120、121在内的限界框。限界框120可包括任何数据结构，代表或者指示出在视频105的一些或所有帧内检测和跟踪的选手的限界框。例如，限界框120可包括代表每一帧内、每隔一帧、每三帧等等内的每个限界框的位置和大小的数据。限界框121对于视频105包括类似的数据。任意数目的每视图或者每相机的限界框或限界框数据被提供给多相机关联模块114以便处理，如本文本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在多视图视频中执行物体关联的系统，包括：存储器，用于存储多个视频帧的每一者的限界框数据，所述多个视频帧的每一者对应于同一时间实例的场景的特定视图；以及与所述存储器耦合的一个或多个处理器，所述一个或多个处理器用于：接收多个视频帧的每一者的限界框数据，所述多个视频帧的每一者对应于同一时间实例的场景的特定视图；基于所述限界框数据生成距离矩阵，所述距离矩阵包括所述视频帧的所有对之间的限界框的可用组合之间的距离；基于所述距离矩阵内的双向最小距离对应关系限界框对，从所述距离矩阵确定多个距离子矩阵；基于优化包括每个对应关系子矩阵和每个距离子矩阵的目标函数，为每个所述距离子矩阵单独确定对应关系子矩阵；并且基于所述对应关系子矩阵为所述视频帧的限界框数据提供关联列表。2.如权利要求1所述的系统，其中，所述双向最小距离对应关系限界框对中的第一双向最小距离对应关系限界框对包括第一视频帧中的第一限界框与第二视频帧中的第二限界框之间的对应关系，其中，所述第一双向最小距离对应关系限界框对响应于所述第二限界框在从所述第一限界框到所述第二视频帧中的所有候选限界框的所有可用距离中具有与所述第一限界框的最小距离，并且所述第一限界框在从所述第二限界框到所述第一视频帧中的所有候选限界框的所有可用距离中具有与所述第二限界框的最小距离。3.如权利要求1所述的系统，其中，所述一个或多个处理器确定所述多个子矩阵包括：所述一个或多个处理器经由行和列初等变换，基于所述双向最小距离对应关系限界框对来变换所述距离矩阵，以在所述子矩阵内合并所述双向最小距离对应关系限界框对。4.如权利要求1至3中的任一项所述的系统，所述一个或多个处理器用于：使用所述同一时间实例作为起始时间帧生成第一轨迹片段集合；使用所述同一时间实例之后的额外时间实例作为起始时间帧生成一个或多个额外轨迹片段集合；并且使用所述第一轨迹片段集合和所述额外轨迹片段集合来调整用于所述时间实例之一的初始关联列表。5.如权利要求4所述的系统，其中，所述第一轨迹片段集合的第一轨迹片段由所述一个或多个处理器通过执行以下操作来生成：将所述同一时间实例的限界框的位置投影到所述同一时间实例之后的第二时间实例的限界框的第二位置；并且响应于组合优化算法的应用和所述第二时间实例的物体位置在所述同一时间实例的物体位置的阈值距离之内，将所述第二时间实例的物体位置添加到所述第一轨迹片段。6.如权利要求4所述的系统，所述一个或多个处理器用于：融合所述第一轨迹片段集合和所述一个或多个额外轨迹片段集合，以生成结果轨迹片段集合。7.如权利要求6所述的系统，其中，所述一个或多个处理器融合所述第一轨迹片段集合和所述一个或多个额外轨迹片段集合包括所述一个或多个处理器执行以下操作：
确定所述一个或多个额外轨迹片段集合中的第二轨迹片段集合中的第二轨迹片段不与所述第一轨迹片段集合中的任何轨迹片段相交；并且响应于所述第二轨迹片段具有超过阈值的长度，将所述第二轨迹片段添加到所述结果轨迹片段集合。8.如权利要求6所述的系统，其中，所述一个或多个处理器融合所述第一轨迹片段集合和所述一个或多个额外轨迹片段集合包括所述一个或多个处理器执行以下操作：确定所述一个或多个额外轨迹片段集合中的第二轨迹片段集合中的第二轨迹片段不与所述第一轨迹片段集合中的任何轨迹片段相交；并且响应于所述第二轨迹片段和结果轨迹片段集合中的第三轨迹片段的长度之和小于与所述同一时间实例和所述额外时间实例相对应的缓冲器大小，而将所述第二轨迹片段与所述第三轨迹片段合并。9.如权利要求1所述的系统，其中，所述一个或多个处理器提供所述关联列表包括：所述一个或多个处理器在所述限界框数据的位置跟踪之后，基于所述关联列表中的物体的位置的比较，调整所述关联列表中的一个或多个物体。10.如权利要求9所述的系统，其中，所述一个或多个处理器调整所述一个或多个物体包括：所述一个或多个处理器响应于第一视频帧中的第一物体限界框与第一物体关联的中心位置的第一距离超过所述第一物体限界框与第二物体关联的中心位置的第二距离，而将所述第一物体限界框的关联从所述第一物体关联改变到所述第二物体关联。11.如权利要求9所述的系统，其中，所述一个或多个处理器调整所述一个或多个物体包括：所述一个或多个处理器响应于第一视频帧中的第一物体限界框大于与第一物体关联位置的阈值距离而丢弃所述第一物体限界框。12.一种用于在多视图视频中执行物体关联的方法，包括：接收多个视频帧的每一者的限界框数据，所述多个视频帧的每一者对应于同一时间实例的场景的特定视图；基于所述...

【专利技术属性】
技术研发人员：方龙伟，栗强，李文龙，方亦凯，郑航，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：