基于相机系统的运动计时技术方案

描述了用于确定对象通过跨运动轨道的计时线的的通过时间的方法和系统，其中一种方法可以包括接收由至少一个相机系统捕获的视频帧的序列，每个视频帧表示沿着轨道移动的一个或多个对象(例如人、动物或车辆)的场景的图片，并且每个视频帧都带有时间戳；为视频帧的序列确定深度图，该深度图包括关于视频帧的图片中的所述一个或多个对象与相机系统之间的距离的信息；使用对象检测算法检测视频帧中的一个或多个对象，由检测算法检测到的所述一个或多个对象限定一个或多个检测到的对象；确定视频帧中检测到的对象通过跨运动轨道的计时线，该计时线由距相机系统预定距离处跨轨道定位的虚拟平面限定，通过的确定基于虚拟平面的坐标和深度信息；基于包括通过计时线的检测到的对象的视频帧的时间戳来确定通过时间。的对象的视频帧的时间戳来确定通过时间。的对象的视频帧的时间戳来确定通过时间。

【技术实现步骤摘要】
【国外来华专利技术】基于相机系统的运动计时


[0001]本公开涉及基于相机系统的运动计时，并且具体地但非排他地涉及用于基于相机系统的运动计时的方法和系统，以及使计算机系统能够执行此类方法的计算机程序产品。

技术介绍

[0002]诸如汽车比赛或赛车、自行车、田径、无人机和滑冰之类的体育赛事通常要求准确和快速的时间注册，以便在赛事期间跟踪对象(人或车辆)。这种计时系统通常基于RFID系统，其中赛事的每个参与者都配备RFID应答器，例如基于磁感应的UHF背散射标签或LF标签，这种标签可以被沿着轨道定位的RFID读取器读取。此类读取器可以以天线垫、侧天线和/或安装在轨道上方框架上的天线的形式实现。每个应答器被配置为以特定频率传输包并将唯一标识符插入包中，使得检测器能够将包与特定发送器相关联。
[0003]当参与者进入读取器的检测区时，应答器将开始传输信号，读取器将接收这些信号。可以对信号加时间戳，以便读取器中的算法可以基于一个或多个接收到的通过信号来确定通过时间。目前，RFID技术可以用于为大规模事件构建非常可靠的时间系统，可靠性达到99.8％或更高。类似地，RFID技术可以用于构建非常准确的计时系统，从而允许以低于百分之一秒的准确性确定通过时间。
[0004]在提供可靠和准确的计时系统的同时，RFID系统也有一定的缺点。一个缺点与涉及要求每个参与者都具有应答器这一事实。因此，在马拉松比赛之前，每个参与者都被提供有BIB，该BIB包括UHF标签，该标签被配置为传输与BIB ID唯一相关的ID。另外的缺点涉及传输和接收信号的UHF标签对环境影响相对敏感这一事实，环境影响包括反射和吸收对象以及碰撞(例如，当大量UHF标签同时传输需要被读取器拾取的信号时)。此外，标签的工作频率接近其它移动设备的工作频率，这会造成不希望的干扰效应。
[0005]在现有技术中，已经建议使用基于视觉的计时系统，即，基于分析由一个或多个相机捕获的信息的计时系统，该相机捕获赛事参与者的视频帧的时间序列。例如，US6433817描述了一种用于测量参与者通过虚拟终点线的相机系统。相机包括能够捕获RGB图像和IR图像的相机。IR图像是由朝着终点线传输IR脉冲的激光生成的。以这种方式，相机能够确定与通过终点线的对象(例如，参与者)相关的深度信息。类似地，DE 10 2006 006 667提供了基于相机的相机系统的高级系统，用于对诸如马拉松之类的大规模赛事进行计时。
[0006]该文献解决了在大型赛事中大量参与者将同时或几乎同时通过终点线的问题。该文献建议使用参与者的大量标记以使系统能够识别每个参与者。虽然在高级别，这似乎是个明智的解决方案，但它并没有描述这种系统的实现。实现满足专业使用所需的可靠性和准确性要求的基于视觉的计时系统并非易事。
[0007]例如，Lynx技术是目前推销基于相机的计时系统的观点之一。这个系统包括定位为与终点线平行的、用于确定通过时间的(超)高速终点摄影相机，以及定位在终点线前方的、用于识别(几乎)同时通过终点线的不同对象的摄影机。终点摄影相机不适合大型活动，因为无法从视觉上识别太多参与者。另外，高速相机非常昂贵，因此不适合用于大规模赛事
以简单的方式确定沿着轨道的多个点的通过时间。这种相机系统无法与RFID计时系统目前提供的可靠性、准确性和成本相媲美。
[0008]因此，从上文可知，本领域需要对体育赛事的改进的基于视觉的计时，其允许对体育赛事(特别是具有许多参与者的体育赛事)的通过时间的可靠确定及识别。特别地，本领域需要对体育赛事的快速、可靠、易于设置且使用简单的基于视觉的计时。

技术实现思路

[0009]如本领域技术人员将认识到的，本专利技术的各方面可以实施为系统、方法或计算机程序产品。因而，本专利技术的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，这些方面通常在本文中都可以被称为“电路”、“模块”或“系统”。在本公开中描述的功能可以被实现为由计算机的微处理器执行的算法，此外，本专利技术的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，在计算机可读介质上实施(例如，存储)有计算机可读程序代码。
[0010]可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下：具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD
‑
ROM)、光学存储设备、磁存储设备，或前述的任何合适的组合。在本文的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序。
[0011]计算机可读信号介质可以包括例如在基带中或作为载波的一部分的传播的数据信号，该传播的数据信号具有实现在其中的计算机可读程序代码。这种传播信号可以采取多种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质的任何计算机可读介质，并且可以传送、传播或运输供指令执行系统、装置或设备使用或与其结合使用的程序。
[0012]可以使用任何适当的介质来传输实现在计算机可读介质上的程序代码，包括但不限于无线、有线、光纤、电缆、RF等，或者前述的任何合适的组合。可以用一种或多种编程语言的任何组合来编写用于执行本专利技术各方面的操作的计算机程序代码，包括面向功能或对象的编程语言(诸如Java
TM
、Scala、C++、Python等)，以及常规的过程编程语言(诸如“C”编程语言或类似的编程语言)。程序代码可以完全在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上并且部分在远程计算机上执行，或者完全在远程计算机、服务器或虚拟服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以与外部计算机建立连接(例如通过使用互联网服务提供商的互联网)。
[0013]下面参考根据本专利技术实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述本专利技术的各方面。将理解的是，流程图图示和/或框图的每个方框以及流程图图示和/或框图中的方框的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器(特别是微处理
器或中央处理单元(CPU)或图形处理单元(GPU))以产生机器，使得经由计算机、其它可编程数据处理装置或其它设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个方框中指定的功能/动作的手段。
[0014]这些计算机程序指令还本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于确定对象通过跨运动轨道的计时线的通过时间的方法，包括：接收由至少一个相机系统，优选地是3D相机系统，捕获的视频帧，优选地是视频帧的序列，每个视频帧表示沿着轨道移动的一个或多个对象，例如人、动物或车辆，的场景的图片并且每个视频帧都与时刻相关联，例如带有时间戳；为视频帧的至少一部分确定深度信息，例如一个或多个深度图，该深度信息包括关于视频帧的图片中的所述一个或多个对象中的至少一个与相机系统之间的距离的信息；使用对象检测算法检测视频帧中的一个或多个对象，由检测算法检测到的所述一个或多个对象限定一个或多个检测到的对象；确定视频帧的至少一部分中的至少一个检测到的对象，所述至少一个检测到的对象通过跨运动轨道的计时线，该计时线由距相机系统预定距离处的跨轨道定位的虚拟平面限定，对通过的确定基于虚拟平面的坐标和深度信息；基于包括通过计时线的所述至少一个检测到的对象的一个或多个视频帧的一个或多个时刻来确定通过时间。2.根据权利要求1所述的方法，还包括：将特征分析算法应用于视频帧中的所述一个或多个检测到的对象，该特征分析算法确定视频帧中的所述一个或多个检测到的对象的识别特征；以及，基于已通过计时线的检测到的对象的识别特征来确定针对其确定通过时间的检测到的对象的身份。3.根据权利要求2所述的方法，其中检测到的对象的识别特征包括一个或多个光学可读识别标记，诸如比赛号码布或印刷标记；和/或，关于检测到的对象的形状和/或颜色的一个或多个特点；和/或，在检测到的对象是动物或人的情况下，检测到的对象的一个或多个生物特征标识符。4.根据权利要求2或3所述的方法，其中对象检测算法和特征分析算法是机器学习算法的一部分，机器学习算法优选地是诸如卷积深度神经网络系统之类的深度学习算法，其被训练以检测视频帧中的一个或多个对象并确定与检测到的对象相关联的识别特征。5.根据权利要求1
‑
4中的任一项所述的方法，其中检测视频帧中的一个或多个对象包括：确定视频帧中的一个或多个感兴趣区域ROI，每个ROI包括表示对象的像素；确定一个或多个ROI之一中的识别特征；以及，基于确定的识别特征确定ROI中的对象。6.根据权利要求1
‑
5中的任一项所述的方法，其中相机系统包括多个相机模块，优选地是形成立体相机的两个相机模块，立体相机被配置为在每个时刻生成场景的至少第一视频帧和第二视频帧，并且其中深度图是基于视差映射算法确定的，该视差映射算法被配置为确定第一视频帧和第二视频帧的像素之间的视差。7.根据权利要求1
‑
6中的任一项所述的方法，其中通过时间基于场景的其中检测到的对象的预定部分已通过虚拟平面的视频帧来确定。8.一种用于确定对象通过跨运动轨道的计时线的通过时间的方法，包括：从多个相机系统接收视频帧，优选地，相机系统是时间同步的，所述多个相机系统从不同的视角捕获运动轨道的场景，视频帧表示包括沿着轨道移动的一个或多个对象的场景的
图片，每个视频帧与时刻相关联，例如带有时间戳，其中对象例如人、动物或车辆；基于接收到的视频帧确定深度信息，例如一个或多个深度图，该深度信息包括关于视频帧的图片中的所述一个或多个对象与所述多个相机系统中的至少一个相机系统之间的距离的信息；使用对象检测算法检测视频帧中的一个或多个对象，由检测算法检测到的所述一个或多个对象限定一个或多个检测到的对象；确定视频帧的至少一部分中的至少一个检测到的对象，所述至少一个检测到的对象通过跨运动轨道的计时线，该计时线由距多个相机系统预定距离处跨轨道定位的虚拟平面限定，对通过的确定基于虚拟平面的坐标和深度信息；以及，基于包括通过计时线的所述至少一个检测到的对象的一个或多个视频帧的一个或多个时刻确定通过时间。9.根据权利要求8所述的方法，还包括：将特征分析算法应用于视频帧中的所述一个或多个检测到的...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：麦拉普斯有限责任公司，
类型：发明
国别省市：