虚拟图像与现实场景同步视频录制或直播的方法技术

本发明专利技术提供虚拟图像与现实场景同步视频录制或直播的方法，包括：S1通过GPUImageVideoCamera获取实时摄像头预览画面铺满全屏显示；S2通过调用接口从服务器获取需要显示的文字、图像或动画、3D模型素材；S3在所述预览画面上叠加TextView控件显示文字，或叠加FLAnimatedImageView控件显示图像或动画，或叠加SCNView控件显示3D模型，形成素材叠加现实场景的内容显示窗口；S4在所述内容显示窗口上方叠加操作窗口，且所述操作窗口关联并控制所述内容显示窗口，用于实现对所述内容显示窗口中内容数据的各类操控操作；S5通过所述操作窗口开启录制或直播后，通过ReplayKit框架将内容显示窗口的画面数据与麦克风的声音数据进行视频录制或直播。将授课内容与授课场景合为统一的视频，实现3D现实场景嵌入。

【技术实现步骤摘要】
虚拟图像与现实场景同步视频录制或直播的方法
本专利技术涉及虚拟现实
，特别涉及虚拟图像与现实场景同步视频录制或直播的方法。
技术介绍
随着互联网技术，以及视频技术的发展，越来越多的在线培训、在线教育、直播教育等都在使用老师视频授课的形式。但传统的视频授课由于技术限制，如果想要实现：将老师授课的内容(PPT、图片、动画、3D模型等)与老师所处显示环境进行同屏呈现，必须要依赖绿布抠像技术、录播硬件设备，或者繁琐的手工视频编辑才能够实现。这种实现方式操作复杂、成本高昂，制作周期长，可复制性差。现有技术中的屏幕录制方法虽然同样基于ReplayKit框架，但是录制的视频中会将屏幕上所有内容全部录制到视频中，而无法实现操作UI界面与录制内容相分离，难以达到操作UI界面与录制内容同屏显示，但录制的视频或直播不会录制操作UI界面上所有内容的效果。而且，现有技术中的录制仅仅是只对单个的素材进行录制，无法实现在现实场景下多个文字、图片、动画、3D模型进行切换录制，且难以支持通过蓝牙鼠标在远距离范围进行操控。现有技术的基于现实场景的录制本文档来自技高网...

【技术保护点】
1.虚拟图像与现实场景同步视频录制或直播的方法，其特征在于，所述方法包括以下步骤：/nS1.通过GPUImageVideoCamera获取实时摄像头预览画面铺满全屏显示；/nS2.通过调用接口从服务器获取需要显示的文字、图像或动画、3D模型素材；/nS3.在所述预览画面上叠加TextView控件显示文字，或叠加FLAnimatedImageView控件显示图像或动画，或叠加SCNView控件显示3D模型，形成素材叠加现实场景的内容显示窗口；/nS4.在所述内容显示窗口上方叠加操作窗口，叠加的方式是通过在内容显示窗口的控制器中创建操作窗口，再调用系统的窗口方法MakeKeyAndVisible，...

【技术特征摘要】
1.虚拟图像与现实场景同步视频录制或直播的方法，其特征在于，所述方法包括以下步骤：
S1.通过GPUImageVideoCamera获取实时摄像头预览画面铺满全屏显示；
S2.通过调用接口从服务器获取需要显示的文字、图像或动画、3D模型素材；
S3.在所述预览画面上叠加TextView控件显示文字，或叠加FLAnimatedImageView控件显示图像或动画，或叠加SCNView控件显示3D模型，形成素材叠加现实场景的内容显示窗口；
S4.在所述内容显示窗口上方叠加操作窗口，叠加的方式是通过在内容显示窗口的控制器中创建操作窗口，再调用系统的窗口方法MakeKeyAndVisible，使操作窗口成为当前系统的主要窗口并显示出来，且所述操作窗口关联并控制所述内容显示窗口，关联的方式是通过在内容显示窗口的控制器中创建操作窗口的控制器，并且通过操作窗口的控制器的回调函数Block，实现操作窗口的控制器控制函数在内容显示窗口的控制器中去执行，用于实现对所述内容显示窗口中内容数据的各类操控操作；
S5.通过所述操作窗口开启录制或直播后，通过ReplayKit框架将内容显示窗口的画面数据与麦克风的声音数据进行视频录制或进行直播。


2.根据权利要求1所述的虚拟图像与现实场景同步视频录制或直播的方法，其特征在于，所述步骤S1中显示的所述预览画面是通过GPUImageVideoCamera实现预览画面采集的帧率控制、画面的镜像翻转、画面的等比填充、以及通过GPUImageBeautyFilter设置采集画面开启/关闭美颜滤镜效果。


3.根据权利要求1所述的虚拟图像与现实场景同步视频录制或直播的方法，其特征在于，所述步骤S3中显示的预览画面叠加内容数据形成素材叠加现实场景的内容显示窗口，但在素材内容加载时，判断当前是文字或图像或动画或模型，显示素材内容；
在所述内容显示窗口最上方，还能够通过叠加标注View控件，实现手势通过UIBezierPath进行划线、书写；
在所述内容显示窗口加载当前素材时，还能够提前设置素材是否加载动画，通过UIView系统API方法中的TransitionWithView方法实现素材自身的加载动画。


4.根据权利要求3所述的虚拟图像与现实场景同步视频录制或直播的方法，其特征在于，所述加载动画包括淡入淡出、翻页、翻转、旋转。


5.根据权利要求1所述的虚拟图像与现实场景同步视频录制或直播的方法，其特征在于，所述步骤S3中，在所述内容显示窗口中，还能够通过叠加ARSCNView实现整个录制或直播由普通模式进入MR模式，MR模式与普通模式只显示一种模式，另一种模式效果则隐藏；MR模式与普通模式能够自由切换,在进入MR效果后，能够自由切换为普通模式；
在普通模式中，现实场景为实时的现实场景；
在MR模式中，会通过ARWorldTrackingConfiguration追踪并形成当前现实场景的虚拟世界坐标，在当前内容显示窗口中的素材会在现实场景中进行加载实现空间中MR效果；同时，在操作窗口中切换当前需要显示的素材时，该素材会在现实的空间中进行加载,
加载文字时，通过生成新的UITextView控件，将控件生成SCNNode添加到ARS...

【专利技术属性】
技术研发人员：赵晓民，陈晨，
申请(专利权)人：九天华纳北京科技有限公司，
类型：发明
国别省市：北京;11