画面生成方法技术

本公开涉及画面生成方法

【技术实现步骤摘要】
画面生成方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种画面生成方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]传统影视制作为了满足拍摄需求，需要花费大量的时间和人力来挑选拍摄地点，制作道具，搭建拍摄场景
。
而虚拟拍摄
(
或虚拟制片
)
技术，能够用渲染引擎渲染出的虚拟场景来替代真实置景，减少了影视拍摄对地点和布景的依赖，极大的降低了拍摄成本
。
同时，借助实时渲染的能力，对于一些原本需要后期制作的特效，虚拟拍摄可以在拍摄阶段就看到成片的效果，后期前置，提高了制作效率
。
也正因为这些优势的存在，虚拟拍摄在近些年被越来越多的应用于影视制作中
。
[0003]扩展现实
(eXtend Reality
，
XR)
合成是虚拟拍摄技术中虚实结合的一项重要技术，其通过将相机采集到的实景画面和渲染引擎中的虚拟画面拼接起来，营造一种虚实交叠的增强现实体验
。
扩展现实合成技术中通常通过空间校准，颜色校准，延迟校准等前置校准算法，来实现实景画面和虚拟画面的拼接
。
但由于真实拍摄环境与渲染引擎中虚拟环境之间存在系统误差
(
例如校准算法实际存在误差以及实际硬件设备所产生的误差
)
，即便通过上述校准算法对真实拍摄环境和虚拟环境进行校准，实际拍摄的实景画面与虚拟画面之间也会存在误差，使得拼接得到的画面可能会存在错位
、
色差或者撕裂等情况
。

技术实现思路

[0004]有鉴于此，本公开提出了一种画面生成方法
、
装置
、
电子设备及存储介质，能够有效弥补虚拟拍摄场景中的系统误差所带来的错位
、
色差或撕裂等情况，使虚实融合画面更加自然顺畅
。
[0005]根据本公开的一方面，提供了一种画面生成方法，包括：获取虚拟环境中驱动虚拟相机所生成的虚拟画面，以及，在所述虚拟画面的至少部分画面投影到真实拍摄环境中的屏幕上进行显示后，获取所述真实拍摄环境中的真实相机对所述屏幕拍摄的实景画面，其中，所述虚拟相机与所述真实相机的相机参数一致，所述虚拟相机相对于所述虚拟环境中屏幕模型的位置关系与所述真实相机相对于所述屏幕的位置关系一致，所述屏幕模型与所述屏幕的形状尺寸一致；根据所述虚拟相机的相机参数以及所述屏幕模型，确定所述虚拟画面对应的初始屏幕掩码图，所述初始屏幕掩码图用于指示所述实景画面中屏幕所在的屏幕区域；根据所述虚拟环境与所述真实拍摄环境之间实际存在的系统误差，对所述初始屏幕掩码图进行调整，得到目标屏幕掩码图，所述目标屏幕掩码图用于指示画面融合时的屏幕区域以及屏幕区域边缘的羽化程度，所述目标屏幕掩码图指示的屏幕区域小于所述初始屏幕掩码图指示的屏幕区域；根据所述目标屏幕掩码图，将所述实景画面中所述目标屏幕掩码图指示的屏幕区域与所述虚拟画面进行融合，得到虚实融合画面，所述虚实融合画面中的屏幕区域边缘具有羽化效果
。
[0006]在一种可能的实现方式中，根据所述虚拟环境与所述真实拍摄环境之间实际存在的系统误差，对所述初始屏幕掩码图进行调整，得到目标屏幕掩码图，包括：根据所述系统误差，确定目标缩进值，所述目标缩进值包括横向缩进值和纵向缩进值，其中，所述系统误差与所述目标缩进值呈正相关；根据所述横向缩进值和所述纵向缩进值，分别在横向和纵向对所述初始屏幕掩码图中的屏幕区域进行缩进，得到中间屏幕掩码图；根据所述横向缩进值与所述纵向缩进值，确定横向和纵向的一维高斯核；利用所述一维高斯核分别沿横向和纵向对所述中间屏幕掩码图进行高斯模糊处理，得到目标屏幕掩码图
。
[0007]在一种可能的实现方式中，所述根据所述系统误差，确定目标缩进值，包括：根据预设的系统误差与缩进值之间的对应关系，确定所述虚拟环境与所述真实拍摄环境之间实际存在的系统误差所对应的初始缩进值；根据所述屏幕的形状尺寸和
/
或指定的画面精度，对所述初始缩进值进行调整，得到所述目标缩进值
。
[0008]在一种可能的实现方式中，所述根据所述横向缩进值与所述纵向缩进值，确定横向和纵向的一维高斯核，包括：将所述横向缩进值与所述纵向缩进值中的最小值的二分之一，作为横向和纵向的一维高斯核
。
[0009]在一种可能的实现方式中，所述相机参数包括相机内参和相机外参，所述屏幕由多个
LED
箱体构成，所述屏幕模型包括与所述多个
LED
箱体对应的多个
LED
箱体模型，其中，所述根据所述虚拟相机的相机参数以及所述屏幕模型，确定所述虚拟画面对应的初始屏幕掩码图，包括：根据所述相机内参和相机外参，确定所述虚拟相机对应的投影视图矩阵；根据所述投影视图矩阵，将所述屏幕模型中各个
LED
箱体模型的顶点的三维坐标投影成二维坐标；基于各个
LED
箱体模型的顶点的二维坐标，生成初始屏幕掩码图
。
[0010]在一种可能的实现方式中，所述方法还包括：根据所述系统误差以及所述虚实融合画面的融合效果，判断是否需要对所述虚实融合画面中屏幕区域边缘进行高斯模糊处理；在需要对所述虚实融合画面中屏幕区域边缘进行高斯模糊处理的情况下，根据预设的一维高斯核，分别在横向和纵向对所述虚实融合画面中屏幕区域边缘进行高斯模糊处理，得到处理后的虚实融合画面
。
[0011]在一种可能的实现方式中，所述方法还包括：在渲染引擎中建立与真实拍摄环境对应的虚拟环境，所述虚拟环境中屏幕模型的形状尺寸与所述真实拍摄环境中屏幕的形状尺寸一致；根据所述真实相机实际的相机参数以及所述真实相机与所述真实拍摄环境中屏幕之间实际的相对位置关系，控制所述虚拟环境中虚拟相机的相机参数与所述真实相机的相机参数保持一致，以及控制所述虚拟相机相对于所述虚拟环境中屏幕模型的位置关系与所述真实相机相对于所述真实拍摄环境中屏幕的位置关系保持一致
。
[0012]根据本公开的另一方面，提供了一种画面生成装置，所述装置包括：获取模块，用于获取虚拟环境中驱动虚拟相机所生成的虚拟画面，以及，在所述虚拟画面的至少部分画面投影到真实拍摄环境中的屏幕上进行显示后，获取所述真实拍摄环境中的真实相机对所述屏幕拍摄的实景画面，其中，所述虚拟相机与所述真实相机的相机参数一致，所述虚拟相机相对于所述虚拟环境中屏幕模型的位置关系与所述真实相机相对于所述屏幕的位置关系一致，所述屏幕模型与所述屏幕的形状尺寸一致；确定模块，用于根据所述虚拟相机的相机参数以及所述屏幕模型，确定所述虚拟画面对应的初始屏幕掩码图，所述初始屏幕掩码图用于指示所述实景画面中屏幕所在的屏幕区域；调整模块，用于根据所述虚拟环境与所
述真实拍摄环境之间实际存在的系统误差，对所述初始屏幕掩码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种画面生成方法，其特征在于，所述方法包括：获取虚拟环境中驱动虚拟相机所生成的虚拟画面，以及，在所述虚拟画面的至少部分画面投影到真实拍摄环境中的屏幕上进行显示后，获取所述真实拍摄环境中的真实相机对所述屏幕拍摄的实景画面，其中，所述虚拟相机与所述真实相机的相机参数一致，所述虚拟相机相对于所述虚拟环境中屏幕模型的位置关系与所述真实相机相对于所述屏幕的位置关系一致，所述屏幕模型与所述屏幕的形状尺寸一致；根据所述虚拟相机的相机参数以及所述屏幕模型，确定所述虚拟画面对应的初始屏幕掩码图，所述初始屏幕掩码图用于指示所述实景画面中屏幕所在的屏幕区域；根据所述虚拟环境与所述真实拍摄环境之间实际存在的系统误差，对所述初始屏幕掩码图进行调整，得到目标屏幕掩码图，所述目标屏幕掩码图用于指示画面融合时的屏幕区域以及屏幕区域边缘的羽化程度，所述目标屏幕掩码图指示的屏幕区域小于所述初始屏幕掩码图指示的屏幕区域；根据所述目标屏幕掩码图，将所述实景画面中所述目标屏幕掩码图指示的屏幕区域与所述虚拟画面进行融合，得到虚实融合画面，所述虚实融合画面中的屏幕区域边缘具有羽化效果
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述虚拟环境与所述真实拍摄环境之间实际存在的系统误差，对所述初始屏幕掩码图进行调整，得到目标屏幕掩码图，包括：根据所述系统误差，确定目标缩进值，所述目标缩进值包括横向缩进值和纵向缩进值，其中，所述系统误差与所述目标缩进值呈正相关；根据所述横向缩进值和所述纵向缩进值，分别在横向和纵向对所述初始屏幕掩码图中的屏幕区域进行缩进，得到中间屏幕掩码图；根据所述横向缩进值与所述纵向缩进值，确定横向和纵向的一维高斯核；利用所述一维高斯核分别沿横向和纵向对所述中间屏幕掩码图进行高斯模糊处理，得到目标屏幕掩码图
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述系统误差，确定目标缩进值，包括：根据预设的系统误差与缩进值之间的对应关系，确定所述虚拟环境与所述真实拍摄环境之间实际存在的系统误差所对应的初始缩进值；根据所述屏幕的形状尺寸和
/
或指定的画面精度，对所述初始缩进值进行调整，得到所述目标缩进值
。4.
根据权利要求2所述的方法，其特征在于，所述根据所述横向缩进值与所述纵向缩进值，确定横向和纵向的一维高斯核，包括：将所述横向缩进值与所述纵向缩进值中的最小值的二分之一，作为横向和纵向的一维高斯核
。5.
根据权利要求1所述的方法，其特征在于，所述相机参数包括相机内参和相机外参，所述屏幕由多个
LED
箱体构成，所述屏幕模型包括与所述多个
LED
箱体对应的多个
LED
箱体模型，其中，所述根据所述虚拟相机的相机参数以及所述屏幕模型，确定所述虚拟画面对应的初始屏幕掩码图，包括：
根据所述相机内参和相机外参，确定所...

【专利技术属性】
技术研发人员：王天舒，
申请(专利权)人：神力视界深圳文化科技有限公司，
类型：发明
国别省市：