一种制造技术

本申请提供了一种

【技术实现步骤摘要】
一种AR投影离线渲染方法、装置、电子设备及存储介质


[0001]本申请涉及三维重建
，具体而言，涉及一种
AR
投影离线渲染方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]现有
AR
投影系统工作时，由
AR
主机设备调用摄像头采集场景的图像信息之后上传给客户端软件；客户端使用该场景的信息建立空白工程，并基于该工程进行内容编辑，所述内容编辑是指在工程内添加素材，素材为提前预置于客户端内的，所有素材均具有唯一的
ID
号；客户端编辑完成后，将工程保存为纯文本的工程描述文件，再下发至
AR
主机设备，所述工程描述文件主要为场景的坐标及所使用素材的
ID
号；
AR
主机内保存有与客户端相同的素材库，主机收到工程描述文件后，解析该描述文件，根据其位置坐标及素材
ID
号，对场景进行逐帧渲染，并将渲染画面通过投影仪投射到场景中
。
在实际使用过程中发现，其存在以下几点缺陷：
[0003](1)
同
AR
主机设备渲染不同工程出现不同帧率：
AR
主机设备渲染的性能固定，
AR
主机设备渲染的帧率与工程文件的复杂程度成反比，即随着工程文件复杂度的提升，主机渲染的帧率下降；
[0004](2)AR
主机设备渲染复杂特效时失真：由于同一
AR
主机设备渲染性能固定，在工程文件复杂程度达到阈值时，主机设备将以峰值性能进行渲染，若工程文件复杂程度继续提升，在渲染品质不变的前提下，渲染帧率将线性下降，导致实际渲染内容低于一倍速，出现渲染变慢的现象；
[0005](3)
不同
AR
主机设备渲染相同工程时出现不同帧率：由于渲染帧率与设备性能相关，当后续升级版硬件支持更高性能时，实际渲染帧率会变高；
[0006](4)
素材库占用
AR
主机设备内存空间：由于主机渲染是根据客户端下发的描述文件进行的，因此需要
AR
主机设备和客户端软件同时保存素材库才能完成渲染工作，这样，素材库会占用主机的内存空间，且当客户端升级素材库时，主机端需要同时进行升级，否则会使渲染结果错误
。

技术实现思路

[0007]为客服现有技术中因
AR
主机性能不足导致的渲染帧率不同及渲染特效失真问题，本申请提供一种
AR
投影离线渲染方法
、
装置
、
电子设备及存储介质是通过如下方案实现的
。
[0008]第一方面，本申请实施例提供一种
AR
投影离线渲染方法，应用于客户端，所述方法包括以下步骤：
[0009]控制
AR
主机设备调用摄像机采集投影场景的图像并得到其深度信息；
[0010]利用所述摄像机采集的图像的深度信息建立至少一个投射预案；
[0011]对每个所述投射预案中的所有幻灯片进行逐帧渲染并编码为设定格式的视频文件夹；
[0012]将所述视频文件夹发送至所述
AR
主机设备进行播放
。
[0013]在一些实施例中，所述控制
AR
主机设备调用摄像机采集投影场景的图像并得到其深度信息，包括以下步骤：
[0014]控制
AR
主机设备调用投影仪将格雷码光栅图案投射至投影场景；
[0015]控制
AR
主机设备调用摄像机采集所述投影场景的图像；其中，所述图像中包含所述投影仪投射的格雷码光栅图案；
[0016]利用视觉算法对采集的所述投影场景的图像进行分析得到其深度信息
。
[0017]在一些实施例中，通过如下方式利用所述摄像机采集的图像的深度信息建立一个投射预案，包括以下步骤：
[0018]利用所述摄像机采集的图像的深度信息创建一个空白投射预案，并且在所述空白投射预案中创建包括至少一个图层的图层组；
[0019]利用预设的素材库对所述图层组进行填充得到至少一个幻灯片，并由所述得到的至少一个幻灯片构成一个投射预案；其中，不同的幻灯片对所述图层组的填充方式不同
。
[0020]在一些实施例中，所述对每个所述投射预案中的所有幻灯片进行逐帧渲染并编码为设定格式的视频文件夹，包括以下步骤：
[0021]遍历所有幻灯片，并对每个所述幻灯片按照设定的参数进行逐帧渲染且编码为设定格式的视频文件；
[0022]将所述视频文件以不同的投射预案进行分组，并打包成视频文件夹，以发送至所述
AR
主机设备
。
[0023]第二方面，本申请实施例提供一种
AR
投影离线渲染方法，应用于
AR
主机设备，所述方法包括以下步骤：
[0024]响应客户端发送的控制指令，调用摄像机采集投影场景的图像并得到其深度信息；
[0025]将所述摄像机采集的图像的场景信息发送至所述客户端，以使所述客户端根据所述场景信息建立至少一个投射预案并形成视频文件夹；
[0026]接收客户端发送的所述视频文件夹并进行播放，且通过投影仪投射至投射场景中
。
[0027]在一些实施例中，所述接收客户端发送的所述视频文件夹并进行播放，包括以下步骤：
[0028]接收客户端发送的所述视频文件夹，并提取所述视频文件夹包含的所有投射预案，且按照设定的配置逻辑选取目标投射预案；
[0029]对所述目标投射预案中所有幻灯片对应的视频文件进行循环播放
。
[0030]第三方面，本申请实施例提供一种
AR
投影离线渲染装置，驻留于客户端，所述装置包括：
[0031]控制模块，用于控制
AR
主机设备调用摄像机采集投影场景的图像并得到其深度信息；
[0032]编辑模块，用于利用所述摄像机采集的图像的深度信息建立至少一个投射预案；
[0033]渲染编码模块，用于对每个所述投射预案中的所有幻灯片进行逐帧渲染并编码为设定格式的视频文件夹；
[0034]第一发送模块，用于将所述视频文件夹发送至所述
AR
主机设备进行播放
。
[0035]第四方面，本申请实施例提供一种
AR
投影离线渲染装置，驻留于
AR
主机设备端，所述装置包括：
[0036]调用模块，用于响应客户端发送的控制指令，调用摄像机采集投影场景的图像并得到其深度信息；
[0037]第二发送模块，用于将所述摄像机采集的图像的场景信息发送至所述客户端，以使所述客户端根据所述场景信息建立至少一个投射预案并形成视频文件夹；
[0038本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
AR
投影离线渲染方法，其特征在于，应用于客户端，所述方法包括以下步骤：控制
AR
主机设备调用摄像机采集投影场景的图像并得到其深度信息；利用所述摄像机采集的图像的深度信息建立至少一个投射预案；对每个所述投射预案中的所有幻灯片进行逐帧渲染并编码为设定格式的视频文件夹；将所述视频文件夹发送至所述
AR
主机设备进行播放
。2.
根据权利要求1所述一种
AR
投影离线渲染方法，其特征在于，所述控制
AR
主机设备调用摄像机采集投影场景的图像并得到其深度信息，包括以下步骤：控制
AR
主机设备调用投影仪将格雷码光栅图案投射至投影场景；控制
AR
主机设备调用摄像机采集所述投影场景的图像；其中，所述图像中包含所述投影仪投射的格雷码光栅图案；利用视觉算法对采集的所述投影场景的图像进行分析得到其深度信息
。3.
根据权利要求2所述一种
AR
投影离线渲染方法，其特征在于，通过如下方式利用所述摄像机采集的图像的深度信息建立一个投射预案，包括以下步骤：利用所述摄像机采集的图像的深度信息创建一个空白投射预案，并且在所述空白投射预案中创建包括至少一个图层的图层组；利用预设的素材库对所述图层组进行填充得到至少一个幻灯片，并由所述得到的至少一个幻灯片构成一个投射预案；其中，不同的幻灯片对所述图层组的填充方式不同
。4.
根据权利要求3所述一种
AR
投影离线渲染方法，其特征在于，所述对每个所述投射预案中的所有幻灯片进行逐帧渲染并编码为设定格式的视频文件夹，包括以下步骤：遍历所有幻灯片，并对每个所述幻灯片按照设定的参数进行逐帧渲染且编码为设定格式的视频文件；将所述视频文件以不同的投射预案进行分组，并打包成视频文件夹，以发送至所述
AR
主机设备
。5.
根据权利要求4所述一种
AR
投影离线渲染方法，其特征在于，应用于
AR
主机设备，所述方法包括以下步骤：响应客户端发送的控制指令，调用摄像机采集投影场景的图像并得到其深度信息；将所述摄像机采集的图像的场景信息发送至所述客户端，以使所述客户端根据所述场景信息建立至少...

【专利技术属性】
技术研发人员：向景匀，
申请(专利权)人：北京淳中科技股份有限公司，
类型：发明
国别省市：