用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的系统和方法技术方案

提供了一种用于通过数据网络(30)向多个用户(60a‑60c)提供虚拟的摇摄‑倾斜‑缩放，PTZ，视频功能视频的系统。该系统(100)包括：一个或多个网络视频摄像机(10a‑10e)，被定位成进行真实世界目标场地(20)或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络(30)上；后端摄像机校准单元(42)，其适合于获得相应的网络视频摄像机(10a‑10e)相对于目标场地(20)的三维世界空间的相对位置和定向，并将获得的相对位置和定向保存为用于相应的网络视频摄像机(10a‑10e)的元数据；后端视频处理单元(44)，连接到数据网络(30)并适合于接收由网络视频摄像机(一个或多个)(10a‑10e)记录的相应的未加工的视频段(一个或多个)，并在后端视频储存器(41)中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容；后端视频流式传输单元(46)，适合于将所保存的用于相应的网络视频摄像机(10a‑10e)的元数据以及所储存的或缓冲的视频内容流式传输到数据网络(30)上；多个客户端设备(50a‑50c)，用于由多个用户(60a‑60c)使用。每个客户端设备(50a‑50c)适合于：接收流式传输的视频内容和元数据；确定所选择的虚拟的摇摄‑倾斜‑缩放值；以及通过基于所选择的虚拟的摇摄‑倾斜‑缩放值和元数据将三维世界空间中的方向投影到显示器(52a‑52c)上，在客户端设备的显示器上(52a‑52c)呈现视频内容。

A system and method for providing virtual pan-tilt-zoom, PTZ, and video functions to multiple users over a data network

A system is provided for providing virtual panning, tilting, scaling, PTZ, and video functions to multiple users (60a 60c) via a data network (30). The system (100) includes: one or more network video cameras (10a_10e), which are positioned to record the video of a real world target site (20) or its corresponding sub-areas, and output the corresponding unprocessed video segments to the data network (30); and a back-end camera calibration unit (42), which is suitable for obtaining the corresponding network view. The relative position and orientation of the frequency camera (10a_10e) relative to the three-dimensional world space of the target site (20) are saved as metadata for the corresponding network video camera (10a_10e); the back-end video processing unit (44) is connected to the data network (30) and is suitable for receiving video from the network. The corresponding unprocessed video segments (one or more) recorded by the computer (one or more) (10a_10e) and stored or buffered the corresponding unprocessed video segments (one or more) in the back-end video storage (41); the back-end video streaming transmission unit (46) is suitable for storing the corresponding network video camera. The metadata of the machine (10a_10e) and the stored or buffered video content are streamed to the data network (30); multiple client devices (50a_50c) are used by multiple users (60a_60c). Each client device (50a 50c) is suitable for: receiving streaming video content and metadata; determining the selected virtual panning tilt zoom value; and projecting the direction of the three-dimensional world space onto the display (52a 52c) by using the selected virtual panning tilt zoom value and metadata. Video content is presented on the display of the client device (52a 52c).

【技术实现步骤摘要】
【国外来华专利技术】用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的系统和方法
本专利申请描述了一种通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的创新的系统和相关方法。
技术介绍
运动俱乐部，诸如足球俱乐部，正变得越来越意识到在练习和比赛中使用视频记录运动员和团队的益处。这样做是为了提高团队和运动员的表现，发展各个运动员技能并提高整体运动成绩。为了获得视频，一种可替代的选择是在练习场地中使用手持普通摄像机，并雇用一直在场的摄像师。然而，这是昂贵的，降低了灵活性，并且时间浪费在大量低效的手动摄像机工作上。此外，在许多情况下视频质量差，并且未能捕捉在场地的不同部分上同时发生的所有重要动作。广播PTZ(摇摄-倾斜-缩放)摄像机通常用于电视制作中，用于创建例如运动赛事和比赛的视频流。然而，这也是昂贵的摄像机布置并且需要多个昂贵的PTZ摄像机以从所有角度生成良好的视频质量。因此，由于成本高，对于大多数较小的俱乐部、青年团队等来说，在训练区域中安装PTZ摄像机都不是一个选择。因此，需要摄像机系统为运动俱乐部、教练和视频分析员提供视频材料，其易于使用、总是可用、灵活、便宜并且设置成有效地捕捉整个练习或比赛场地。
技术实现思路
因此，本专利技术的目的是提供以上
技术介绍
部分中识别的一个或多个问题或缺点的解决方案，或者至少减轻以上
技术介绍
部分中识别的一个或多个问题或缺点。本专利技术的第一方面是一种用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的系统。该系统包括一个或多个网络视频摄像机，该摄像机被定位成进行真实世界目标场地或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络上。该系统还包括后端摄像机校准单元，其适合于获得相应的网络视频摄像机相对于目标场地的三维世界空间的相对位置和定向，并将所获得的相对位置和定向保存为用于相应的网络视频摄像机的元数据。该系统还包括后端视频处理单元，连接到数据网络并适合于接收由网络视频摄像机(一个或多个)记录的相应的未加工的视频段(一个或多个)，并在后端视频储存器中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容。此外，该系统包括后端视频流式传输单元，适合于将储存的或缓冲的视频内容和保存的用于相应的网络视频摄像机的元数据流式传输到数据网络上。最后，该系统包括由多个用户使用的多个客户端设备。每个客户端设备适合于接收流式传输的视频内容和元数据，确定所选择的虚拟的摇摄-倾斜-缩放值，并通过基于所选择的虚拟的摇摄-倾斜-缩放值和元数据将三维世界空间中的方向投影到显示器上，在客户端设备的显示器上呈现视频内容。本专利技术提供高度自动化的视频记录和回放服务，其可以方便地使用，例如，作为教练和运动员分析和讨论在真实世界目标场地(诸如，例如，足球场、曲棍球场、手球场、篮球场、地板球场、排球场等)上的运动表现的工具。因此，提供了一种系统，其中一个或多个摄像机用于捕捉真实世界目标场地(例如运动场地)，可以具有非常宽的视场。在回放时，观看者(例如教练或运动员)可以他自己选择看哪里。这引起可以重新定向和缩放的虚拟的摄像机，好像场景已经被真实的PTZ(摇摄-倾斜-缩放)摄像机捕捉。然而，使用该系统，可以在记录视频之后决定摄像机运动。另外地或可替代地，远程观看者可以享受该创新的视频记录和回放服务，以例如上面提及的任何类型的运动赛事的实况流式传输的形式。本专利技术的第二方面是用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的方法。该方法涉及提供一个或多个网络视频摄像机，该网络视频摄像机被定位成进行真实世界目标场地或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络上。为了校准网络视频摄像机或每个网络视频摄像机(一个或多个)的目的，该方法还涉及获得相应的网络视频摄像机相对于目标场地的三维世界空间的相对位置和定向，并将所获得的相对位置和定向保存为用于相应的网络视频摄像机的元数据。该方法还涉及通过数据网络接收由网络视频摄像机(一个或多个)记录的相应的未加工的视频段(一个或多个)，以及在基于云的视频储存器中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容。此外，该方法涉及将所储存的或缓冲的视频内容和所保存的用于相应的网络视频摄像机的元数据流式传输到数据网络上。最后，该方法涉及，在由多个用户中的相应的一个使用的相应的客户端设备中接收流式传输的视频内容和元数据，确定所选择的虚拟的摇摄-倾斜-缩放值，并通过基于所选择的虚拟的摇摄-倾斜-缩放值和元数据将三维世界空间中的方向投影到显示器上，在客户端设备的显示器上呈现视频内容。本专利技术的实施方式由所附的从属权利要求限定，并且在详细描述部分以及附图中进一步解释。应当强调的是，术语“包括/包含”当在本说明书中使用时用来指所述特征、整数、步骤或部件的存在，但不排除存在或增加一个或多个其它特征、整数、步骤、部件或其组。除非本文另有明确定义，否则权利要求中使用的所有术语根据它们在
中的普通含义来解释。除非另有明确说明，否则对于“一/一个/该[元件、设备、部件、装置、步骤等等]”的所有引用将开放地解释为对元件、设备、部件、装置、步骤等等中的至少一个实例的引用。除非明确说明，否则本文所公开的任何方法的步骤不必按所公开的严格顺序来执行。附图说明参照附图，本专利技术的实施方式的目的、特征和优点将从以下详细描述中显而易见。图1是根据一个实施方式的用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放功能的系统的示意图。图2是示意性地显示根据实施方式的虚拟的摇摄-倾斜-缩放功能的示意性前视图。图3是示意性地显示根据实施方式的客户端设备的界面的示意性前视图。图4是示意性地显示根据实施方式的客户端设备的界面的示意性前视图。图5a-c是示出根据实施方式的帧的堆叠的示意性前视图，图6a-b是示出根据实施方式的涂黑的像素的示意性前视图，图7a-b是示意性地显示根据实施方式的当使用标签和绘制功能时，客户端设备的界面的示意性前视图，以及图8a-b是显示根据实施方式的用于提供虚拟的摇摄-倾斜-缩放视频功能的方法的流程图。具体实施方式图1公开了系统100，该系统用于通过数据网络30向多个用户60a-60c提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能。数据网络可以例如是广域网或网络的聚合，其构成因特网的部分(通常也称为云)。系统100包括一个或多个网络视频摄像机10a-10e，其被定位成进行真实世界目标场地20或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络30上。每个这样的未加工的视频段可以是给定长度，诸如例如n秒，其中n是考虑到实现细节而适当选择的任何值，并且包括所记录的视频内容，例如，以H.264或H.265编码的视频数据的形式。在一个实施方式中，每个未加工的视频段包括以H.264编码的视频数据形式的记录的视频内容。在图1的所公开的实施方式中，真实世界目标场地20是足球场，但是本专利技术在这方面没有特定限制。网络视频摄像机(一个或多个)的不同布置值得注意地，每个网络视频摄像机10a-10e可以相对于真实世界目标场地20安装在相应的静止位置，并且其不需要具有任何真实的(物理的)摇摄、倾斜或缩放能力。因此，在部件成本本文档来自技高网...

【技术保护点】
1.一种用于通过数据网络(30)向多个用户(60a‑60c)提供虚拟的摇摄‑倾斜‑缩放，PTZ，视频功能的系统，所述系统(100)包括：一个或多个网络视频摄像机(10a‑10e)，被定位成进行真实世界目标场地(20)或其相应的子区域的视频记录，并将相应的未加工的视频段输出到所述数据网络(30)上；后端摄像机校准单元(42)，所述后端摄像机校准单元适合于获得相应的所述网络视频摄像机(10a‑10e)相对于所述目标场地(20)的三维世界空间的相对位置和定向，并适合于将所获得的相对位置和定向保存为相应的所述网络视频摄像机(10a‑10e)的元数据；后端视频处理单元(44)，连接到所述数据网络(30)并适合于接收由所述一个或多个网络视频摄像机(10a‑10e)记录的一个或多个相应的所述未加工的视频段，并适合于在后端视频储存器(41)中储存或缓冲一个或多个相应的所述未加工的视频段的视频内容；后端视频流式传输单元(46)，适合于将所保存的用于相应的所述网络视频摄像机(10a‑10e)的元数据以及所储存或缓冲的所述视频内容流式传输到所述数据网络(30)上；以及多个客户端设备(50a‑50c)，用于由多个所述用户(60a‑60c)使用，其中每个客户端设备(50a‑50c)适合于：接收流式传输的所述视频内容和所述元数据；确定所选择的虚拟的摇摄‑倾斜‑缩放值；以及通过基于所选择的所述虚拟的摇摄‑倾斜‑缩放值和所述元数据将三维世界空间中的方向投影到显示器(52a‑52c)上，在所述客户端设备的显示器(52a‑52c)上呈现所述视频内容。...

【技术特征摘要】
【国外来华专利技术】2016.04.11 SE 1650488-81.一种用于通过数据网络(30)向多个用户(60a-60c)提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的系统，所述系统(100)包括：一个或多个网络视频摄像机(10a-10e)，被定位成进行真实世界目标场地(20)或其相应的子区域的视频记录，并将相应的未加工的视频段输出到所述数据网络(30)上；后端摄像机校准单元(42)，所述后端摄像机校准单元适合于获得相应的所述网络视频摄像机(10a-10e)相对于所述目标场地(20)的三维世界空间的相对位置和定向，并适合于将所获得的相对位置和定向保存为相应的所述网络视频摄像机(10a-10e)的元数据；后端视频处理单元(44)，连接到所述数据网络(30)并适合于接收由所述一个或多个网络视频摄像机(10a-10e)记录的一个或多个相应的所述未加工的视频段，并适合于在后端视频储存器(41)中储存或缓冲一个或多个相应的所述未加工的视频段的视频内容；后端视频流式传输单元(46)，适合于将所保存的用于相应的所述网络视频摄像机(10a-10e)的元数据以及所储存或缓冲的所述视频内容流式传输到所述数据网络(30)上；以及多个客户端设备(50a-50c)，用于由多个所述用户(60a-60c)使用，其中每个客户端设备(50a-50c)适合于：接收流式传输的所述视频内容和所述元数据；确定所选择的虚拟的摇摄-倾斜-缩放值；以及通过基于所选择的所述虚拟的摇摄-倾斜-缩放值和所述元数据将三维世界空间中的方向投影到显示器(52a-52c)上，在所述客户端设备的显示器(52a-52c)上呈现所述视频内容。2.根据权利要求1所述的系统，其中，所述后端摄像机校准单元(42)还适合于获得相应的所述网络视频摄像机(10a-10e)相对于所述目标场地(20)的所述三维世界空间的内部参数，并适合于将所获得的所述内部参数保存为相应的所述网络视频摄像机(10a-10e)的元数据。3.根据权利要求1或2所述的系统，其中，所述系统包括两个或更多个网络视频摄像机(10a-10e)，并且其中所述后端视频处理单元(44)还适合于分析如由所述两个或更多个网络视频摄像机(10a-10e)记录的相应的未加工的视频帧并适合于同步这些帧。4.根据权利要求3所述的系统，其中，所述后端视频处理单元(44)或所述视频流式传输单元(46)还被配置为从来自所述两个或更多个网络视频摄像机(10a-10e)的相应的所述未加工的视频段的经同步的帧生成堆叠的视频流。5.根据任一前述权利要求所述的系统，其中，每个客户端设备(50a-50c)还适合于接收由所述用户(60a-60c)插入到在所述显示器(52a-52c)上呈现...

【专利技术属性】
技术研发人员：马格纳斯·林德罗特，霍坎·阿尔多，克拉斯·约瑟夫松，
申请(专利权)人：思碧迪欧有限公司，
类型：发明
国别省市：瑞典,SE