本发明专利技术提供一种基于高清多屏的虚拟演播方法，首先通过预设的画面采集设备进行全景采集以获取全景视频图像；通过虚幻引擎对全景视频图像进行预处理以形成背景视频图像，并使高清屏幕虚拟演播室播放展示背景视频图像；再通过摄像机拍摄高清屏幕虚拟演播室所播放展示的背景视频图像和处于高清屏幕虚拟演播室中的主持人前景以形成初始录制视频；而后基于预设的深度人像调和网络对初始录制视频进行调和处理以获取前后景协调一致的目标视频；如此提高临场感和便利性，解决虚拟演播室现场由于灯光等问题带来的前后景不融合的问题，使画面更加真实大大简化后期制作流程，并且提高视觉效果，提高观众的观看效果，给虚拟制片行业带来更多的可能性。来更多的可能性。来更多的可能性。
【技术实现步骤摘要】
基于高清多屏的虚拟演播方法、系统
[0001]本专利技术涉及媒体演播领域，更为具体地，涉及一种基于高清多屏的虚拟演播方法、系统。
技术介绍
[0002]虚拟演播室技术的出现与发展，极大地促进了电影电视行业的发展。虚拟演播室有很多种类型，比较常见的基于绿幕的虚拟演播室主要运用了色键抠图技术，CGI（computer
‑
generated imagery）技术等相关技术进行制片；另外还有随着虚拟现实技术，实时渲染技术，动作捕捉技术等相关技术的发展进步而逐渐成为主流的基于高清多屏显示系统的虚拟演播室。基于高清多屏显示系统的新型虚拟演播室通过游戏引擎（如Unreal Engine 4）等软件的实时渲染技术对全景视频或CGI技术合成的虚拟影像进行处理，并投影到几块高清屏幕上，形成虚拟背景。主持人在这样的虚拟演播室中进行节目录制，可以达到身临其境的效果，现场的摄像机也会同时对前景人物和背景进行虚实结合拍摄。现有的新型虚拟演播室一般以CGI作为虚拟背景，该种虚拟背景视觉效果真实性较差；若使用全景视频作为虚拟背景，则会使视觉效果更真实。
[0003]高清多屏虚拟演播室大大节省了后期制作的时间，但是需要对拍摄的视频进行调和，使前景人物和背景融合得更自然。可以通过人像调和算法实现这一目的。由于前景人物并非在真实的背景下进行拍摄，因此会出现光照、色调等于背景不融合的问题，通过人像调和算法可以对前后景进行调整，使前景在视觉上与背景融合得更自然。目前，大多数调和算法，比如Jun Ling等提出的RainNet算法在进行调和时，需要未处理的图像和前景遮罩作为输入进行调和，这并不适用于在演播室中拍摄得到的前后景结合的视频。因此，本专利提出的虚拟演播室系统中包含了一个端到端的调和网络，不需要输入前景遮罩就可以进行调和。
[0004]专利CN109639933A提出了一种虚拟演播室360度全景节目制作的方法及系统，在绿幕或蓝幕与演播室灯光的环境下拍摄高清前景信号，经过抠像处理，将前景信号切入设计好的360度全景的虚拟三维场景下，实时合成渲染为全景视频。这样做虽然可以实时看到前后景结合的视频，但是由于虚拟场景一般由CGI技术合成，不适用于现场采访等内容。此外，在此专利提出的虚拟演播室中，主持人仍然是在绿幕或蓝幕中进行拍摄，只能通过想象来进行主持，临场感差。
[0005]另一现有技术提出的VR
‑
PLATFORM CAVE系统是由3个面以上（含3面）硬质背投影墙组成的高度沉浸的虚拟演示环境，配合三维跟踪器，用户可以在被投影墙包围的系统近距离接触虚拟三维物体，或者随意漫游“真实”的虚拟环境。但是，这种CAVE系统是一种展示系统，并不进行拍摄，更没有合适的算法进行前后景调和。因此并不适用于虚拟演播室。
[0006]基于绿幕的虚拟演播室在单色背景（通常是蓝色或绿色）下拍摄人物和物体，合成一个虚拟背景会导致主持人临场感差等问题，随着计算机生成图像（CGI）的发展，LED屏幕等多种高清（HD）屏幕也可替代绿幕，实景和实时渲染的环境和可同时被摄像机捕捉，但逼
真的模型造价昂贵，且该技术对于时间敏感的场景适用性弱，此外，为实现演播室现场灯光与虚拟环境相匹配，对虚拟演播室的照明要求也极高。
[0007]因此，亟需一种全景素材取材方便，无需CGI建模，系统操作简便，增加主持人临场感、避免了画面穿帮等演播事故，不需要辅助性的前景遮罩作为输入，可以只输入拍摄的图片，即可实现端到端的调和的基于高清多屏的虚拟演播方法、系统。
技术实现思路
[0008]鉴于上述问题，本专利技术的目的是提供一种基于高清多屏的虚拟演播方法，以解决现有技术主持人仍然是在绿幕或蓝幕中进行拍摄，只能通过想象来进行主持，临场感差；若采用电子显示屏作为背景所拍摄的视频影像无法调和；若以CGI作为虚拟背景，该种虚拟背景视觉效果真实性较差的问题。
[0009]本专利技术提供的一种基于高清多屏的虚拟演播方法，包括：通过预设的画面采集设备进行全景采集以获取全景视频图像；通过虚幻引擎对所述全景视频图像进行预处理以形成背景视频图像，在所述虚幻引擎中播放所述背景视频图像，并通过数据交换机将所述背景视频图像投影在预搭建的高清屏幕虚拟演播室中，使所述高清屏幕虚拟演播室播放展示所述背景视频图像；通过摄像机拍摄所述高清屏幕虚拟演播室所播放展示的背景视频图像和处于所述高清屏幕虚拟演播室中的主持人前景以形成初始录制视频；基于预设的深度人像调和网络对所述初始录制视频进行调和处理以获取前后景协调一致的目标视频；其中，所述深度人像调和网络由预训练的人像掩模网络和预训练的调和模型拼接，并由预采集的人像调和数据集训练而成；所述人像掩模网络用于通过人像抠图技术隐式获取所述初始录制视频的人像掩模；所述调和模型用于基于所述人像掩模对所述初始录制视频进行调和以获取目标视频。
[0010]优选地，所述画面采集设备采用全景采集设备。
[0011]优选地，通过虚幻引擎对所述全景视频图像进行预处理的过程，包括：通过虚幻引擎中的nDisplay模块对所述全景视频图像进行关于切割、渲染的预处理；其中，所述nDisplay模块由插件、配置文件和应用程序组成。
[0012]优选地，在所述虚幻引擎中播放所述背景视频图像的过程，包括：在所述虚幻引擎中创建媒体播放器，并将预创建的媒体纹理资产与所述媒体播放器相连接；基于媒体纹理资产建立蓝图以执行UV坐标转换，基于所述UV坐标转换使所述媒体播放器播放所述背景视频图像。
[0013]优选地，通过数据交换机将所述背景视频图像投影在预搭建的高清屏幕虚拟演播室中的过程，包括：使关于所述nDisplay模块的分支主机处于同一局域网中，通过数据交换机将所述局域网内的分支主机的信号分配至对应的高清屏幕中；开启所述分支主机的nDisplay Listener的启动键和投影仪，并在nDisplay Launcher中运行EXE文件，以使所述背景视频图像在所述高清屏幕虚拟演播室中的高清屏幕上播放展示。
[0014]优选地，在通过虚幻引擎对所述全景视频图像进行预处理以形成背景视频图像时，还包括获取辅助图像，以基于所述辅助图像和预处理后的全景视频图像生成背景视频图像；其中，获取所述辅助图像的过程，包括：通过ART系统对预搭建的高清屏幕虚拟演播室中的物品进行追踪以获取追踪目标；计算所述追踪目标的位置坐标，以确定所述追踪目标的刚体形状，基于所述位置坐标与所述刚体形状获取所述辅助图像。
[0015]优选地，所述人像掩模网络调用三个相互依赖的分支；其中，三个分支包括用于预测粗略语掩膜的低分辨率语义估计分支S、用于计算边界细节蒙版的高分辨率细节预测分支D，和用于将语义和细节相结合的语义细节融合分支F；其中，在训练所述人像掩模网络时，所述人像掩模网络的损失为所述三个分支的损失和；其中，为所述人像掩模网络的损失；为所述低分辨率语义估计分支S的损失；为所述高分辨率细节预测分支D的损失；为所述语义细节融合分支F的损失；，，为所述人像掩模网络的超参数。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于高清多屏的虚拟演播方法，其特征在于，包括：通过预设的画面采集设备进行全景采集以获取全景视频图像；通过虚幻引擎对所述全景视频图像进行预处理以形成背景视频图像，在所述虚幻引擎中播放所述背景视频图像，并通过数据交换机将所述背景视频图像投影在预搭建的高清屏幕虚拟演播室中，使所述高清屏幕虚拟演播室播放展示所述背景视频图像；通过摄像机拍摄所述高清屏幕虚拟演播室所播放展示的背景视频图像和处于所述高清屏幕虚拟演播室中的主持人前景以形成初始录制视频；基于预设的深度人像调和网络对所述初始录制视频进行调和处理以获取前后景协调一致的目标视频；其中，所述深度人像调和网络由预训练的人像掩模网络和预训练的调和模型拼接，并由预采集的人像调和数据集训练而成；所述人像掩模网络用于通过人像抠图技术隐式获取所述初始录制视频的人像掩模；所述调和模型用于基于所述人像掩模对所述初始录制视频进行调和以获取目标视频。2.如权利要求1所述的基于高清多屏的虚拟演播方法，其特征在于，所述画面采集设备采用全景采集设备。3.如权利要求1所述的基于高清多屏的虚拟演播方法，其特征在于，通过虚幻引擎对所述全景视频图像进行预处理的过程，包括：通过虚幻引擎中的nDisplay模块对所述全景视频图像进行关于切割、渲染的预处理；其中，所述nDisplay模块由插件、配置文件和应用程序组成。4.如权利要求3所述的基于高清多屏的虚拟演播方法，其特征在于，在所述虚幻引擎中播放所述背景视频图像的过程，包括：在所述虚幻引擎中创建媒体播放器，并将预创建的媒体纹理资产与所述媒体播放器相连接；基于媒体纹理资产建立蓝图以执行UV坐标转换，基于所述UV坐标转换使所述媒体播放器播放所述背景视频图像。5.如权利要求3所述的基于高清多屏的虚拟演播方法，其特征在于，通过数据交换机将所述背景视频图像投影在预搭建的高清屏幕虚拟演播室中的过程，包括：使关于所述nDisplay模块的分支主机处于同一局域网中，通过数据交换机将所述局域网内的分支主机的信号分配至对应的高清屏幕中；开启所述分支主机的nDisplay Listener的启动键和投影仪，并在nDisplay Launcher中运行EXE文件，以使所述背景视频图像在所述高清屏幕虚拟演播室中的高清屏幕上播放展示。6.如权利要求3所述的基于高清多屏的虚拟演播方法，其特征在于，在通过虚幻引擎对所述全景视频图像进行预处理以形成背景视频图像时，还包括获取辅助图像，以基于所述辅助图像和预处理后的全景视频图像生成背景视频图像；其中，获取所述辅助图像的过程，包括：通过ART系统对预搭建的高清屏幕虚拟演播室中的物品进行追踪以获取追踪目标；计算所述追踪目标的位置坐标，以确定所述追踪目标的刚体形状，基于所述位置坐标与所述刚体形状获取所述辅助图像。7.如权利要求1...
【专利技术属性】
技术研发人员：方力，蒋济懋，林家昕，苏蕴韬，叶龙，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。