动作视频的自动数字管理和标记制造技术

一种用于动作视频的自动数字管理、注释以及标记的系统和方法，在处理系统中，接收来自在体育活动期间由运动员携带的基于传感器的设备的GPS数据，并且在一些实施例中是惯性数据。如果呈现为识别至少一个运动员事件，则该处理系统处理GPS数据和惯性数据，并且将识别运动员事件的数据存储在性能数据库中。来自视频摄像机的视频数据被存储在视频数据库中，该视频数据包括与视频的各帧相关的定位、时间和方向信息。视频数据库中的时间代码数据是与性能数据库中的时间代码数据同步的，并且识别运动员事件的数据被用于自动地选择、注释、标记或编辑所述视频数据。

【技术实现步骤摘要】
【国外来华专利技术】动作视频的自动数字管理和标记本申请要求2012年6月11日申请的美国临时专利申请号为61/689，654、名称为“Auto Digital Curat1n And Tagging OfAct1n Videos” 的申请以及 2013 年 I 月 4 日申请的美国专利申请号 13/734，818、名称为 “Automatic Digital Curat1n And TaggingOfAct1n Videos”的申请的优先权，通过引用将它们的全部内容并入本文。本申请包括受版权保护的素材。当由任何人对本专利公开的拓制出现在专利和商标局文件或者记录中时，版权拥有者对其没有异议，但是在其它情况下版权拥有者保留全部版权权利。
本专利技术一般涉及用于记录视频的设备的领域，并且特别地涉及一种用于动作视频的自动数字管理和标记的方法和装置。
技术介绍
便携摄像机的广泛可用性引起了短的自制和专业视频的激增。很多这些视频，尤其是利用POV(Point OfView:视点)动作摄像机制作的，都涉及极限动作，例如高山滑雪、单板滑雪、冲浪、山地自行车等等。例如，YouTube网站上包含成千上万个这样的视频。 同时，这些视频的巨大数量以及流行度产生了自身的问题。首先，当创作者没有将感兴趣的事件与视频明确地关联时，找到感兴趣的视频就变得非常困难。其次，由于大部分视频都是由业余爱好者制作并且是没有被编辑过的，所以即使用户仅仅对视频的某些特定部分(例如当单板滑雪者跳起或者滑雪者有跑动的特别快的部分时，或者在更大的视频中的任何其它特定事件)感兴趣，他们也不得不观看整个视频。 同时，具有GPS和其他传感器的便携设备的广泛流行允许精确地测量、存储以及分类极限体育活动。因此，如果视频和性能数据可以在时间和空间上同步，则可以基于拍摄的特定活动的性能矩阵来注释、编辑、选择以及标记视频镜头(video footage)。 搜索或者观看这样的视频的人可能期望找到特定视频或者视频的一部分。例如，这样的人可能想搜索显示空中时间超过一秒种的单板滑雪跳跃的视频。但是，对典型地仅使用语义和文本视频描述的视频标记使用当前可用的装置是不切实际或者不可能的。 另一个与很多动作视频相关的问题是它们是由一个人制作的，而针对视频“主体”的性能数据是通过与作为不同的人的视频主体并列(collocated)的传感器收集的。 已经尝试在获取期间标示视频以用于快速选择。但是，这样的方案典型地使用基于由其他人创建或者在视频中找到的文本的标签。 美国专利7，624，337和美国专利7，823，055公开了一种使用文本(包括视频中的文本)来创建标签和元数据用于此后视频搜索的使用的方案。 Heist等人的美国专利5，832，171描述了视频和文本的同步，其中文本是针对视频创建的。 Blanton等人的美国专利4，873，585教导了允许从视频选择特定运动的图像以允许容易地访问这些图像的系统。但是，这需更操作者介入和决策。 Aman等人的美国专利7，483，049公开了体育运动的视频的数据库的创建。但是，该视频必须在运动员被视频中能够被识别的可见或者不可见的标志标示的严格控制的环境中通过多台摄像机创建。 还有一种通过特定事件(大部分是交通违章)触发视频的研究成果。Higgins的美国专利7，986，339描述了一种能够记录和分析交通违章的静止和视频图像的系统。但是，该视频记录是通过由车辆产生的外部物理信号(例如激光或者多普勒雷达)触发的。Lock的美国专利6，919，823以及Behrens的美国专利7，633，433是类似的，采用通过红灯变化或者在红灯变化后的激光束中断产生的触发信号。 此外，在上述情况中，摄像机和视频主体的相对位置是提前知道的，因此该方案不提供任意时间和空间域搜索以匹配事件和视频镜头。
技术实现思路
在一个实施例中，本公开提供了一种方法和系统，其允许视频和相应的性能数据的同步，并且随后基于该性能数据标记和/或编辑视频。可以通过并列的设备(也就是相同的设备)或者不同的设备以及不同的用户来收集该视频和性能数据。视频和性能数据还可以存储在相同的设备中或者存储在不同的设备或者数据库中。本专利技术因此能够提供来自不同数据组或者不同数据库的视频和性能数据的匹配以及随后视频的自动编辑、注释和标记。即使视频和性能数据被独立记录并且不具有其它活动的明确知识，本专利技术也可以实现。 本专利技术在处理系统中接收来自由用户(其在一些实施例中是处于体育活动期间的运动员)携带的基于传感器的设备的GPS数据，并且在一些实施例中是惯性数据。该GPS数据可以是位置数据或者时间数据，或者是位置数据和时间数据两者。该处理系统处理GPS和可选的传感器数据以识别至少一个事件，例如运动事件，并且将识别事件的数据存储到性能数据库中。来自视频摄相机的视频数据被存储在视频数据库中，该视频数据包括与视频的各帧相关的定位、时间以及方向信息。视频记录中的时间代码数据是与性能记录中的时间代码数据同步的，并且识别事件的数据被用于自动地选择、注释、标记或编辑所述视频数据。 【附图说明】 通过下文的如附图所示的优选实施例的更为详细的描述，本专利技术的前述和其他的目的、特征以及优点将是清楚的，在附图中，参考字符表示相同的部分贯穿各个视图。附图不必按照比例绘制，而是将重点放在示出本专利技术的原理。 图1示出了一个流程图，其说明了当传感器与视频摄像机并列时，用于从动作视频中自动选择视频镜头的期望的部分的方法的实施例。 图2示出了三维图解视图，其说明了一个情景，其中滑雪者的轨迹穿过摄像机A的视场但不穿过摄像机B的视场。 图3示出了一个流程图，其说明了搜索活动的摄像机的数据库的合适的算法的实施例。 图4示出了一个框图，其说明了根据本专利技术的实施例的视频和性能数据库的组织结构。 图5示出了一个流程图，其说明了为了搜索简化而使用性能元数据的处理。 【具体实施方式】 下面将会对本专利技术的优选实施例进行详细参考，优选实施例的例子在附图中说明。 下面通过参考用于动作视频的自动数字管理和标记的系统和方法的框图和操作说明图来描述本专利技术。应当理解，框图或者操作说明图的每一个框，以及框图或者操作说明图中的框的组合都可以通过模拟或者数字硬件以及计算机程序指令来实现。这些计算机程序指令可以存储在计算机可读介质中并且被提供给通用目的计算机、专用目的计算机、ASIC或者其他可编程数据处理装置的处理器，使得通过计算机或者其他可编程数据处理装置的处理器执行的指令实现框图或者一个或多个操作框中指定的功能/动作。在一些可选择的实现中，框中标注的功能/动作可以不以操作说明图中标注的顺序进行。例如，连续示出的两个框事实上可以大致同时执行，或者框有时可以以相反的顺序执行，这取决于涉及的功能/动作。 在一个实施例中，用户配备有记录他/她的运动的基于传感器的设备。该基于传感器的设备可以是例如包括GPS和惯性传感器的便携设备。同样，提供了一种处理系统，其可以嵌入该基于传感器的设备，可以是独立设备，或者可以是基于服务器的，该设备能够检测事件，例如跳跃、翻转、旋转、高速、急转弯等等。结果，具有详细的轨迹、速度、加速度、跳跃、技巧等等本文档来自技高网...

【技术保护点】
一种方法，包括：在处理系统中，接收来自在体育活动期间由用户携带的或者附于体育装备的设备的GPS数据，所述GPS数据包括位置数据和时间数据的至少一个；在所述处理系统中处理所述GPS数据以识别由用户参加的至少一个事件；将识别所述至少一个事件的数据存储到性能记录中；将视频数据存储到视频记录中，该视频数据具有元数据，所述元数据至少包括与视频的各帧相关的时间和定位信息；使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步；以及使用所述识别至少一个事件的数据来自动地选择、注释、标记或者编辑所述视频数据。

【技术特征摘要】
【国外来华专利技术】2012.06.11 US 61/689,654;2013.01.04 US 13/734,8181.一种方法，包括: 在处理系统中，接收来自在体育活动期间由用户携带的或者附于体育装备的设备的GPS数据，所述GPS数据包括位置数据和时间数据的至少一个； 在所述处理系统中处理所述GPS数据以识别由用户参加的至少一个事件； 将识别所述至少一个事件的数据存储到性能记录中； 将视频数据存储到视频记录中，该视频数据具有元数据，所述元数据至少包括与视频的各帧相关的时间和定位信息； 使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步；以及 使用所述识别至少一个事件的数据来自动地选择、注释、标记或者编辑所述视频数据。2.根据权利要求1的方法，其中由用户携带的所述设备包括基于传感器的设备，其中所述接收步骤包括接收来自该基于传感器的设备的惯性数据，并且其中所述处理步骤包括处理所述惯性数据。3.根据权利要求1的方法，其中该用户是运动员并且该事件是体育事件。4.根据权利要求1的方法，其中所述性能记录包括性能数据库。5.根据权利要求1的方法，其中所述视频记录包括视频数据库。6.根据权利要求1的方法，其中所述元数据还包括方向信息。7.根据权利要求1的方法，其中所述使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步的步骤是使用GPS时间戳执行的。8.根据权利要求1的方法，其中所述使所述视频记录中的时间代码数据与所述性能记录中的时间代码数据同步的步骤是使用无线网络时间戳执行的。9.根据权利要求1的方法，其中通过所述处理系统识别的所述至少一个事件包括从由下列各项组成的组中选择出的事件:跳跃、翻转、旋转、高速部分、转弯或者急转弯。10.根据权利要求1的方法，其中该设备是包括至少一个GPS传感器和至少一个惯性传感器的便携设备。11.根据权利要求1的方法，其中所述处理系统嵌入到所述设备中。12.根据权利要求1的方法，其中所述处理系统是与所述设备分开的设备。13.根据权利要求1的方法，其中所述处理系统是服务器。14.根据权利要求2的方法，其中所述GPS数据以及所述惯性数据存储在所述性能数据库中。15.根据权利要求1的方法，其中所述设备是与产生所述视频数据的摄像机协同定位的。16.根据权利要求1的方法，其中所述设备是与产生所述视频数据的摄像机分开并且独立的。17.根据权利要求1的方法，其中所述性能数据库和所述视频数据库是相同的数据库，该相同的数据库具有针对性能数据和针对视频数据的分开的记录。18.根据权利要求1的方法，还包括使用附加的元数据来加速性能和视频数据的匹配。19.根据权利要求16的方法，其中所述使用附加的元数据的步骤包括使用用户姓名或者ID来简化搜索。20.—种系统,包括: ...

【专利技术属性】
技术研发人员：D·J·洛克欣，
申请(专利权)人：阿尔派回放股份有限公司，
类型：发明
国别省市：美国;US