【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种在xr虚实合成中实现物件虚实穿越方法、装置、电子设备及存储介质。
技术介绍
1、随着led大屏的应用，目前已有用大屏取代蓝箱实现影视拍摄的虚实合成，即：由led大屏直接输出虚拟背景，主持人在大屏前进行拍摄，拍摄画面再进入虚拟前景植入系统进行最终的虚实合成。该技术整合了vr、ar并进行了扩展，所以被称为xr(extendedreality)。但是，虚拟物件(或角色)在led屏幕内外进行精确无缝穿越的效果很难实现，且在穿越物件的渲染和投屏过程中，缺乏对穿越物件前后部分的精确控制，可能导致合成效果不理想。
技术实现思路
1、本专利技术实施例提供一种在xr虚实合成中实现物件虚实穿越的方法、装置、电子设备及存储介质，旨在解决上述
技术介绍
存在的问题。
2、为了解决上述技术问题，本专利技术是这样实现的：
3、第一方面，本专利技术实施例提供了一种在xr虚实合成中实现物件虚实穿越的方法，所述方法包括：
4、基于led大屏，在虚拟场景中建立一个与所述led大屏相同形状、尺寸的三维模型，并对所述三维模型设置自定义深度缓冲值；
5、将所述三维模型设置为不可见，且在投屏渲染服务器和前景渲染服务器各自的渲染流程中，可以检测到自定义深度缓冲值；
6、在所述投屏渲染服务器中，设置穿越物件位于所述自定义深度缓冲值的空间之前的部分不可见，根据当前摄像机跟踪数据进行穿越物件的投屏渲染并投屏，所述摄像机跟踪数据是用于追踪摄像机
7、在所述前景渲染服务器中，针对当前摄像机跟踪数据做延时处理，并得到延时处理后的摄像机跟踪数据对应的摄像机拍摄画面；设置所述穿越物件位于所述自定义深度缓冲值的空间之后的部分不可见，根据延时处理后的摄像机跟踪数据进行穿越物件的前景渲染，得到前景画面；将所述前景画面与所述摄像机拍摄画面进行混合。
8、可选地，所述方法还包括：
9、确定io采集模块的响应时间，所述io采集模块是用于采集摄像机画面的模块，所述响应时间是指从摄像机捕获图像数据的那一刻起，到图像数据被io采集模块完全接收并准备好传输给所述前景渲染服务器的时间；
10、确定所述io采集模块的传输速率，并基于所述传输速率计算出所述io采集模块的数据传输时间，其中，所述传输速率是指所述io采集模块将图像数据发送到所述前景渲染服务器的速度；
11、将所述io采集模块的响应时间和数据传输时间的总和确定为延时时长；
12、根据延时处理后的摄像机跟踪数据进行穿越物件的前景渲染，得到前景画面，包括：
13、根据所述延时时长之前的摄像机跟踪数据，进行穿越物件的前景渲染，得到前景画面。
14、可选地，所述自定义深度缓冲值是基于所述led大屏的实际位置，以及，led大屏到观看者之间的距离，按照以下步骤确定的：
15、确定所述led大屏在物理空间中的位置数据，所述位置数据包括：所述led大屏在物理空间中的三维坐标和所述led大屏的朝向；
16、确定观看者的位置数据，所述观看者的位置数据包括观看者的头部位置和观看者的朝向；
17、使用所述led大屏的位置数据和所述观看者的位置数据，计算出观看者与所述led大屏之间的相对深度；
18、定义深度缓冲值的范围，并将所述观看者与所述led大屏之间的相对深度映射到目标区间内，得到所述自定义深度缓冲值。
19、可选地，将所述三维模型设置为不可见包括：
20、对所述三维模型应用特殊的材质或者着色器，使其在最终渲染的输出中不显示任何像素。
21、可选地，将所述前景画面与所述摄像机拍摄画面进行混合，包括：
22、将像素颜色通道计算结果r的计算公式设定为r＝r0*a+r1*(1-a)，其中r0为所述前景画面的像素，r1为所述摄像机拍摄画面的像素，a为所述前景画面的像素的透明度。
23、专利技术实施例第二方面提出一种在xr虚实合成中实现物件虚实穿越的装置，所述装置包括：
24、建立模块，被配置为用于基于led大屏，在虚拟场景中建立一个与所述led大屏相同形状、尺寸的三维模型，并对所述三维模型设置自定义深度缓冲值；
25、第一设置模块，被配置为用于将所述三维模型设置为不可见，且在投屏渲染服务器和前景渲染服务器各自的渲染流程中，可以检测到自定义深度缓冲值；
26、第二设置模块，被配置为用于在所述投屏渲染服务器中，设置穿越物件位于所述自定义深度缓冲值的空间之前的部分不可见，根据当前摄像机跟踪数据进行穿越物件的投屏渲染并投屏，所述摄像机跟踪数据是用于追踪摄像机的位置和姿态的数据；
27、延时模块，被配置为用于在所述前景渲染服务器中，针对当前摄像机跟踪数据做延时处理，并得到延时处理后的摄像机跟踪数据对应的摄像机拍摄画面；
28、第三设置模块，被配置为用于设置所述穿越物件位于所述自定义深度缓冲值的空间之后的部分不可见，根据延时处理后的摄像机跟踪数据进行穿越物件的前景渲染，得到前景画面；将所述前景画面与所述摄像机拍摄画面进行混合。
29、可选地，所述延时模块还包括：
30、第一子模块，被配置为用于确定io采集模块的响应时间，所述io采集模块是用于采集摄像机画面的模块，所述响应时间是指从摄像机捕获图像数据的那一刻起，到图像数据被io采集模块完全接收并准备好传输给所述前景渲染服务器的时间；
31、第二子模块，被配置为用于确定所述io采集模块的传输速率，并基于所述传输速率计算出所述io采集模块的数据传输时间，其中，所述传输速率是指所述io采集模块将图像数据发送到所述前景渲染服务器的速度；
32、第三子模块，将所述io采集模块的响应时间和数据传输时间的总和确定为延时时长；
33、第四子模块，被配置为用于根据所述延时时长之前的摄像机跟踪数据，进行穿越物件的前景渲染，得到前景画面。
34、可选地，所述建立模块还包括：
35、第五子模块，被配置为用于确定所述led大屏在物理空间中的位置数据，所述位置数据包括：所述led大屏在物理空间中的三维坐标和所述led大屏的朝向；
36、第六子模块，被配置为用于确定观看者的位置数据，所述观看者的位置数据包括观看者的头部位置和观看者的朝向；
37、第七子模块，被配置为用于使用所述led大屏的位置数据和所述观看者的位置数据，计算出观看者与所述led大屏之间的相对深度；
38、第八子模块，被配置为用于定义深度缓冲值的范围，并将所述观看者与所述led大屏之间的相对深度映射到目标区间内，得到所述自定义深度缓冲值。
39、专利技术实施例第三方面提出一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现在xr虚实本文档来自技高网...
【技术保护点】
1.一种在XR虚实合成中实现物件虚实穿越的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述自定义深度缓冲值是基于所述LED大屏的实际位置，以及，LED大屏到观看者之间的距离，按照以下步骤确定的：
4.根据权利要求1所述的方法，其特征在于，将所述三维模型设置为不可见，包括：
5.根据权利要求1所述的方法，其特征在于，将所述前景画面与所述摄像机拍摄画面进行混合，包括：
6.一种在XR虚实合成中实现物件虚实穿越的装置，其特征在于，所述装置包括：
7.根据权利要求6所述的装置，其特征在于，所述延时模块还包括：
8.根据权利要求6所述的装置，其特征在于，所述建立模块还包括：
9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所
...【技术特征摘要】
1.一种在xr虚实合成中实现物件虚实穿越的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述自定义深度缓冲值是基于所述led大屏的实际位置，以及，led大屏到观看者之间的距离，按照以下步骤确定的：
4.根据权利要求1所述的方法，其特征在于，将所述三维模型设置为不可见，包括：
5.根据权利要求1所述的方法，其特征在于，将所述前景画面与所述摄像机拍摄画面进行混合，包括：
6.一种在xr虚实合成中实现物件虚实穿越...
【专利技术属性】
技术研发人员：郑培枫，袁慧晶，陈子恒，
申请(专利权)人：新奥特北京视频技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。