一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法技术

本发明专利技术公开了一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，所述用静态和动态摄像机相结合对运动物体逐帧三维重构方法，通过多个摄像机采集场景内多个角度的视频数据，并以此进行逐帧三维重构，从而生成场景的三维模型，并以高精度重构重点区域三维数据，在重点区域生成高精度模型。本发明专利技术可逐帧复原整个节目现场的三维数据，并以高精度重构重点区域三维数据，从而使得玩家可以随意变换观看角度、在虚拟场景中任意移动位置，使用户可有更大的自由度和更强的沉浸感观看比赛，本发明专利技术能够为体育赛事、综艺节目、演唱会、发布会等有特定表演区域的节目的观看体验带来极大的提升。

【技术实现步骤摘要】

本专利技术涉及摄像
，具体是一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法。
技术介绍
现有的视频节目主要通过平面显示器来播放，通过佩戴3D眼镜播放3D视频可实现3D视觉效果，但其视角和机位是由节目制作方设定的，用户只能被动接受固定机位和镜头所拍摄的视频内容。现有技术中，传统的视频录播/直播系统通过导播选择拍摄机位来切换不同的视角。近几年来，随着虚拟现实技术的普及，虚拟现实视频节目也在逐渐普及，用户通过佩戴VR头戴显示器，通过将虚拟摄像头与VR头戴显示器的角度同步一致的方法，可以实现类似于环幕效果的沉浸式视频体验。但这种VR全景视频的体验依然是由一台或多台摄影机，在某一个固定位置向不同方向所拍摄的视频拼接而成，用户只能在一个固定的观看位置(viewpoint)观看视频内容。无论是普通的视频节目还是VR视频节目，均无法提供给用户全方位的沉浸式的临场体验，普通视频节目只能让用户通过屏幕窗口观看，而VR视频节目也只能够让用户在固定的观看位置(viewpoint)来观看，这样的视频技术无法让用户产生真正的身临其境的现场感，通过现有的这些方式观看节目无法全面地获得现场的信息。而普通的基于多个固定位置和固定角度的摄像机的三维重构方案无法对重点区域和非重点区域进行区分（例如足球场上带球运动的球员所在位置），也无法对重点区域进行追踪拍摄获取高清数据，因此静态相阵列的三维重构方案在重点区域的分辨率和重构精度与本方案有很大差距。
技术实现思路
本专利技术的目的在于提供一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，包括如下步骤：（1）首先在节目拍摄区域周围部署静态相机阵列，相机捕捉预先固定角度和方向的节目拍摄区域中图像数据,同时，还在节目拍摄区域周围部署动态相机阵列，相机可在拍摄过程中遥控调整方向和镜头参数捕捉场上的图像数据，相机所拍摄到的图像每一帧都实时地传递给中央计算设备；（2）中央计算设备以静态相机阵列在同一时间内所拍摄到的多幅图像为一帧，进行三维重构，生成拍摄现场在某一时刻的点云或者三维模型及贴图，接着中央计算设备按照设定的频率重复地进行三维重构，得到点云数据；（3）中央计算设备根据上述步骤（2）中得到的点云数据每一帧进行物体识别，计算出节目拍摄区域内的重点区域，并遥控动态相机阵列调整拍摄方向和镜头参数以跟随拍摄重点区域，获取捕捉到的图像信息；（4）中央计算设备将上述步骤（3）中捕捉到的图像信息与上述步骤（2）中捕捉到的图像信息与得到的点云数据合并进行第二次三维重构。作为本专利技术进一步的方案：步骤（1）中所述静态相机阵列具体为多个固定位置和固定角度的摄像机。作为本专利技术进一步的方案：步骤（1）中所述动态相机阵列具体为多个可遥控控制视角的摄像机。作为本专利技术进一步的方案：步骤（2）中所述点云数据具体为随着拍摄物体随时间变化而变化的一系列点云数据。作为本专利技术进一步的方案：步骤（3）中所述节目拍摄区域内的重点区域，其中重点区域为节目中的重要事件发生的区域。作为本专利技术进一步的方案：步骤（4）中动态相机阵列所拍摄的区域是步骤（3）根据步骤（2）的三维重构数据进行物体识别后计算出来的重点区域。作为本专利技术进一步的方案：步骤（4）中所述第二次三维重构中包括基于第一次三维重构的图像数据和结果进行提高重构精度和降低噪音。与现有技术相比，本专利技术的有益效果是：本专利技术通过多个摄像机采集场景内多个角度的视频数据，并以此进行逐帧三维重构，从而生成场景的三维模型。本专利技术可逐帧复原整个节目现场的三维数据，并以高精度重构重点区域三维数据，在重点区域生成高精度模型，从而使得玩家可以随意变换观看角度、在虚拟场景中任意移动位置，使用户可有更大的自由度和更强的沉浸感观看比赛，本专利技术能够为体育赛事、综艺节目、演唱会、发布会等有特定表演区域的节目的观看体验带来极大的提升。附图说明图1为本专利技术的方法原理图；图2为本专利技术的静态相机阵列和动态相机阵列的示意图；图3为本专利技术的节目拍摄区域内的重点区域的示意图；图中：1-静态相机阵列、2-动态相机阵列、3-节目拍摄区域、4-重点区域。具体实施方式下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，包括如下步骤：（1）结合图2来看，首先在节目拍摄区域周围部署静态相机阵列，相机捕捉预先固定角度和方向的节目拍摄区域中图像数据,同时，还在节目拍摄区域周围部署动态相机阵列，相机可在拍摄过程中遥控调整方向和镜头参数捕捉场上的图像数据，相机所拍摄到的图像每一帧都实时地传递给中央计算设备；（2）中央计算设备以静态相机阵列在同一时间内所拍摄到的多幅图像为一帧，进行三维重构，生成拍摄现场在某一时刻的点云或者三维模型及贴图，接着中央计算设备按照设定的频率重复地进行三维重构，得到点云数据；（3）结合图3来看，中央计算设备根据上述步骤（2）中得到的点云数据每一帧进行物体识别，计算出节目拍摄区域内的重点区域，并遥控动态相机阵列调整拍摄方向和镜头参数以跟随拍摄重点区域，获取捕捉到的图像信息；（4）中央计算设备将上述步骤（3）中捕捉到的图像信息与上述步骤（2）中捕捉到的图像信息与得到的点云数据合并进行第二次三维重构。其中：步骤（1）中所述静态相机阵列具体为多个固定位置和固定角度的摄像机。步骤（1）中所述动态相机阵列具体为多个可遥控控制视角的摄像机。步骤（2）中所述点云数据具体为随着拍摄物体随时间变化而变化的一系列点云数据。步骤（3）中所述节目拍摄区域内的重点区域，其中重点区域为节目中的重要事件发生的区域，例如控球球员在场上的位置和主角在舞台上的位置。步骤（4）中动态相机阵列所拍摄的区域是步骤（3）根据步骤（2）的三维重构数据进行物体识别后计算出来的重点区域。步骤（4）中所述第二次三维重构中包括基于第一次三维重构的图像数据和结果进行提高重构精度和降低噪音。由图1所示的方法原理图可知：本专利技术通过多个摄像机采集节目现场多个角度的数据进行三维重构，在虚拟现实设备中为用户复原整个节目现场的三维数据，从而使得玩家可以随意变换观看角度、在虚拟场景中任意移动位置，使玩家可以沉浸在虚拟的节目现场之中，产生身临其境的临场观看体验，本专利技术能够为体育赛事、综艺节目、演唱会、发布会等有特定表演区域的节目的观看体验带来极大的提升。本发独创二次三维重构方法，根据静态相机阵列的数据构建中等分辨率的三维数据，然后以此为基础来识别重点区域，控制动态相机阵列进行追踪，并将动态相机阵列捕捉的数据进行第二次三维重构，由此提升重点区域的重构精度、降低噪音，极大地提高重点区域的三维重构精度。对于本领域技术人员而言，显然本专利技术不限于上述示范性实施例的细节，而且在不背离本专利技术的精神或基本特征的情况下，能够以其他的具体形式实现本专利技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本本文档来自技高网...

【技术保护点】
一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，包括如下步骤：（1）首先在节目拍摄区域周围部署静态相机阵列，相机捕捉预先固定角度和方向的节目拍摄区域中图像数据,同时，还在节目拍摄区域周围部署动态相机阵列，相机可在拍摄过程中遥控调整方向和镜头参数捕捉场上的图像数据，相机所拍摄到的图像每一帧都实时地传递给中央计算设备；（2）中央计算设备以静态相机阵列在同一时间内所拍摄到的多幅图像为一帧，进行三维重构，生成拍摄现场在某一时刻的点云或者三维模型及贴图，接着中央计算设备按照设定的频率重复地进行三维重构，得到点云数据；（3）中央计算设备根据上述步骤（2）中得到的点云数据每一帧进行物体识别，计算出节目拍摄区域内的重点区域，并遥控动态相机阵列调整拍摄方向和镜头参数以跟随拍摄重点区域，获取捕捉到的图像信息；（4）中央计算设备将上述步骤（3）中捕捉到的图像信息与上述步骤（2）中捕捉到的图像信息与得到的点云数据合并进行第二次三维重构。

【技术特征摘要】
1.一种用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，包括如下步骤：（1）首先在节目拍摄区域周围部署静态相机阵列，相机捕捉预先固定角度和方向的节目拍摄区域中图像数据,同时，还在节目拍摄区域周围部署动态相机阵列，相机可在拍摄过程中遥控调整方向和镜头参数捕捉场上的图像数据，相机所拍摄到的图像每一帧都实时地传递给中央计算设备；（2）中央计算设备以静态相机阵列在同一时间内所拍摄到的多幅图像为一帧，进行三维重构，生成拍摄现场在某一时刻的点云或者三维模型及贴图，接着中央计算设备按照设定的频率重复地进行三维重构，得到点云数据；（3）中央计算设备根据上述步骤（2）中得到的点云数据每一帧进行物体识别，计算出节目拍摄区域内的重点区域，并遥控动态相机阵列调整拍摄方向和镜头参数以跟随拍摄重点区域，获取捕捉到的图像信息；（4）中央计算设备将上述步骤（3）中捕捉到的图像信息与上述步骤（2）中捕捉到的图像信息与得到的点云数据合并进行第二次三维重构。2.根据权利要求1所述的用静态和动态摄像机相结合对运动物体逐帧三维重构方法，其特征在于，步...

【专利技术属性】
技术研发人员：黄翔，
申请(专利权)人：深圳市望尘科技有限公司，
类型：发明
国别省市：广东;44