一种基于OpenVR的混合现实视频录制方法技术

本发明专利技术公开了一种基于OpenVR的混合现实视频录制方法，包括：创建虚拟相机驱动脚本，生成VR应用程序；对虚拟相机参数进行校正；将真实相机图像拟合至虚拟相机，输出混合现实视频。其中对虚拟相机参数进行校正包括以下步骤：打开定标程序，选择对应支持的图像输入设备，调整图像参数；指定当前用于定位虚拟相机位置的附件类型,并确认对应设备状态为已连接；根据定标程序提示分别对近景标注点、远景标注点进行确认，以自动生成虚拟相机的校正参数；参数调校好后，导出对当前虚拟相机参数并加以文件存储。本发明专利技术具有兼容性好、硬件要求低、实现步骤简单和应用场景广的优点。

A Hybrid Reality Video Recording Method Based on OpenVR

The invention discloses a hybrid reality video recording method based on OpenVR, which includes: creating virtual camera driver script, generating VR application program, correcting virtual camera parameters, fitting real camera image to virtual camera and outputting hybrid reality video. The calibration of virtual camera parameters includes the following steps: opening the calibration program, selecting the corresponding supporting image input device and adjusting the image parameters; specifying the attachment type currently used to locate the position of virtual camera, and confirming that the corresponding device status is connected; confirming the close-range and long-range annotation points respectively according to the prompt of the calibration program, in order to automatically generate virtual camera. Calibration parameters of the camera; after the parameters are adjusted, the parameters of the current virtual camera are derived and stored in files. The invention has the advantages of good compatibility, low hardware requirements, simple implementation steps and wide application scenarios.

【技术实现步骤摘要】
一种基于OpenVR的混合现实视频录制方法
本专利技术涉及视频
，尤其涉及一种基于OpenVR的混合现实视频录制方法。
技术介绍
随着虚拟现实(VitualReality,VR)技术的再次兴起并被普通大众所接受，在虚拟现实中游戏、训练、接受教育等已成为越来越普通化的生活方式，与传统交互方式相比，虚拟现实内容具有着高逼真度，高沉浸感等优势，但由于其全封闭式视听感观剥离，参与者在虚拟现实中饶有兴趣的体验在旁人看来却是一种莫名其妙的手舞足蹈，为弥补这一缺陷，混合现实(MixedReality,MR)视频录制技术应运而生。而目前主流的混合现实录制方法则源自于SteamVR支持的四分频录制法：除了两只控制手柄外，在定位场景内在添加一只手柄或定位器，用以标定第三方虚拟摄像头，再通过参数调校，使之与现实摄像头空间位置重合，再通过绿幕抠图法，将现实人物图像与虚拟场景叠加在一起，以使第三方能够直观地看到参与者与虚拟场景之间的互动。此方案的缺点有以下几方面：1）目前支持的主流设备为基于Lighthouse定位方案的HTCVIVE；2）必须有第三只控制器(Controller)或定位器(Tracker)；3）VR项目需以Unity3D制作，如Unreal等其它平台暂时未支持；4）为输出较为清晰的混合现实合成图案，必须至少拥有一个4K级高清显示屏，这样四分屏出来的图像才能达到1080p级画质；5）由于输出需要4K级四分屏，GPU占有率大大提高，对显卡要求进一步提高。
技术实现思路
为了解决上述问题，本专利技术提出一种基于OpenVR的混合现实视频录制方法。本方法基于OpenVR实现，可兼容SteamVR程序，也可独立使用，并且支持多种编译平台(Unity3d,Unreal,VisualStiduo等),可以使用第三方定位设备，也可以用校正好的纯虚拟位置(定点位置混合现实视频拍摄时)，进行混合现实视频录制时，无需使用四分屏，也无需使用4K显示器，普通显示器即可，同时可以大幅降低GPU使用效率，为VR内容创作留出更多的性能空间，并且支持设备包括但不限于HTCVIVE,WMR,具有第三方定位方案的一体机或者移动VR。具体的，一种基于OpenVR的混合现实视频录制方法，包括以下步骤：S1，创建虚拟相机驱动脚本，生成VR应用程序；S2，对虚拟相机参数进行校正；S3，将真实相机图像拟合至虚拟相机，输出混合现实视频。优选的，步骤S1所述创建虚拟相机驱动脚本，生成VR应用程序，包括以下子步骤：S11，在开发基于OpenVR和SteamVR的VR项目时，嵌入第三方虚拟相机支持组件；S12，在场景中新建空对象，并将此空对象作为参数传递给虚拟相机驱动脚本；所述空对象用于承载虚拟相机驱动脚本；S13，将SteamVR包中的主视摄像机作为参数传递给虚拟相机驱动脚本；S14，编译并打包生成VR应用程序；S15，加载第三方虚拟相机驱动。优选的，步骤S2所述虚拟相机参数校正，包含以下子步骤：S211，打开定标程序，选择对应支持的图像输入设备，调整图像参数；S212，指定当前用于定位虚拟相机位置的附件类型,并确认对应设备状态为已连接；S213，根据定标程序提示分别对近景标注点、远景标注点进行确认，以自动生成虚拟相机的校正参数；S214，参数调校好后，导出对当前虚拟相机参数并加以文件存储。优选的，步骤S2所述虚拟相机参数校正，包含以下子步骤：S221，确保真实相机位置固定并取此位置图像；S222，打开定标程序，选择对应支持的图像输入设备，调整图像参数；S223，指定当前用于定位虚拟相机位置的附件类型,并确认对应虚拟相机状态为已连接；S224，根据定标程序提示分别对近景标注点、远景标注点进行确认，以自动生成相机的校正参数；S225，参数调校好后，导出对当前虚拟相机参数并加以文件存储。优选的，还包括虚拟相机参数微调步骤：在虚拟相机参数生成后再使用参数微调控件进行细微调整，以达最佳效果。优选的，所述图像参数包括分辨率、编码方式。优选的，所述校正参数包括视场角、偏移位置、偏移角度。优选的，所述附件类型为：Tracker,Controller或Other。优选的，所述附件类型为VirtualCamera。优选的，所述真实相机图像拟合至虚拟相机，输出混合现实视频，包括以下子步骤：S31，正常运行VR程序；S32，运行混合现实图像合成客户端；在客户端中载入真实相机实时图像，选择相机设备、分辨率和编码方式，若默认则会加载上次设置；S33：加载步骤S2所生成的虚拟相机校正参数；S34，在客户端中指定已运行的VR程序，作为输入源；S35，在客户端输出窗口中进行混合现实视频观看，或者直播到局域网流媒体服务器或互联网直播平台。本专利技术的有益效果在于：1）兼容性好。本专利技术不仅兼容SteamVR四分屏混合现实视频输出方案，还兼容Unreal或VisualStudio平台的虚拟现实内容。2）硬件要求更低。大幅降低GPU负载率，为VR内容创作留出更多性能空间，同时，四分屏与4K显示器不再作为必须条件。3）实现步骤简单。可以由实物定位附件进行真实相机定位，也可以不用定位附件，采用固定机位通过调校虚拟相机参数而进行混合现实内容合成。4）应用场景广。此方案可以用于HTCVIVE，也可以用于WindowsMR设备，甚至可以用于有第三方定位方案的一体机或者移动VR。附图说明图1是本专利技术的系统图；图2是本专利技术的实施例图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图说明本专利技术的具体实施方式。具体的，一种基于OpenVR的混合现实视频录制方法，包括以下步骤：S1，创建虚拟相机驱动脚本，生成VR应用程序；S2，对虚拟相机参数进行校正；S3，将真实相机图像拟合至虚拟相机，输出混合现实视频。优选的，步骤S1所述创建虚拟相机驱动脚本，生成VR应用程序，包括以下子步骤：S11，在开发基于OpenVR和SteamVR的VR项目时，嵌入第三方虚拟相机支持组件；S12，在场景中新建空对象，并将此空对象作为参数传递给虚拟相机驱动脚本；所述空对象用于承载虚拟相机驱动脚本；S13，将SteamVR包中的主视摄像机作为参数传递给虚拟相机驱动脚本；S14，编译并打包生成VR应用程序；S15，加载第三方虚拟相机驱动。优选的，步骤S2所述虚拟相机参数校正，包含以下子步骤：S211，打开定标程序，选择对应支持的图像输入设备，调整图像参数；S212，指定当前用于定位虚拟相机位置的附件类型,并确认对应设备状态为已连接；所述附件类型为：Tracker,Controller或Other。S213，根据定标程序提示分别对近景标注点、远景标注点进行确认，以自动生成虚拟相机的校正参数；S214，参数调校好后，导出对当前虚拟相机参数并加以文件存储。优选的，步骤S2所述虚拟相机参数校正，在无第三方定位附件的情况下，采用以下步骤：S221，确保真实相机位置固定并取此位置图像；S222，打开定标程序，选择对应支持的图像输入设备，调整图像参数；S223，指定当前用于定位虚拟相机位置的附件类型,并确认对应虚拟相机状态为已连接；所述附件类型为VirtualCamera。S224，根据定标程序提示分别对近景标注点、远景标注点进行确认本文档来自技高网...

【技术保护点】
1.一种基于OpenVR的混合现实视频录制方法，其特征在于，包括以下步骤：S1，创建虚拟相机驱动脚本，生成VR应用程序；S2，对虚拟相机参数进行校正；S3，将真实相机图像拟合至虚拟相机，输出混合现实视频。

【技术特征摘要】
1.一种基于OpenVR的混合现实视频录制方法，其特征在于，包括以下步骤：S1，创建虚拟相机驱动脚本，生成VR应用程序；S2，对虚拟相机参数进行校正；S3，将真实相机图像拟合至虚拟相机，输出混合现实视频。2.根据权利要求1所述的一种基于OpenVR的混合现实视频录制方法，其特征在于，步骤S1所述创建虚拟相机驱动脚本，生成VR应用程序，包括以下子步骤：S11，在开发基于OpenVR和SteamVR的VR项目时，嵌入第三方虚拟相机支持组件；S12，在场景中新建空对象，并将此空对象作为参数传递给虚拟相机驱动脚本；所述空对象用于承载虚拟相机驱动脚本；S13，将SteamVR包中的主视摄像机作为参数传递给虚拟相机驱动脚本；S14，编译并打包生成VR应用程序；S15，加载第三方虚拟相机驱动。3.根据权利要求1所述的一种基于OpenVR的混合现实视频录制方法，其特征在于，步骤S2所述虚拟相机参数校正，包含以下子步骤：S211，打开定标程序，选择对应支持的图像输入设备，调整图像参数；S212，指定当前用于定位虚拟相机位置的附件类型,并确认对应设备状态为已连接；S213，根据定标程序提示分别对近景标注点、远景标注点进行确认，以自动生成虚拟相机的校正参数；S214，参数调校好后，导出对当前虚拟相机参数并加以文件存储。4.根据权利要求3所述的一种基于OpenVR的混合现实视频录制方法，其特征在于，步骤S2所述虚拟相机参数校正，包含以下子步骤：S221，确保真实相机位置固定并取此位置图像；S222，打开定标程序，选择对应支持的图像输入设备，调整图像参数；S223，指定当前用于定位虚拟相...

【专利技术属性】
技术研发人员：黄坤，
申请(专利权)人：成都泰盟软件有限公司，
类型：发明
国别省市：四川,51