一种三维数据传输方法、系统及芯片技术方案

本发明专利技术公开了一种三维数据传输方法、系统及芯片，涉及图像数据传输领域，其中所述方法包括服务器根据客户端保存的模板信息选择传输图层，并在客户端内渲染前景层，按照显示分块对图像进行传输、缓存和复合，将不同设备渲染的图层复合成最终图像帧。通过本发明专利技术通过结合云端和客户端的处理能力对图像帧的不同图层进行渲染，提高了资源利用效率，减少了传输不必要的图层数据信息，提高了网络资源利用效率，同时在客户端对前景层的渲染和用户操作检测可以在降低客户端处理压力的同时满足用户的体验需求。的体验需求。的体验需求。

【技术实现步骤摘要】
一种三维数据传输方法、系统及芯片


[0001]本专利技术属于图像数据传输领域，尤其涉及一种三维数据传输方法、系统及芯片。

技术介绍

[0002]随着5G的到来，网络带宽不断提高，给虚拟现实技术的快速发展奠定必要的网络基础，现阶段中，很多虚拟现实VR的设备都为头戴式设备，这对设备的体积和重量提出了较高的要求，在设备的体积和重量都受限的情况下，设备的处理能力、存储能力和续航能力都收到了较大的限制，在这样的情形下，如果能够利用5G网络的高带宽，使云端为头戴式VR设备分担一部分处理压力，就能让VR头戴设备获得更高的续航，减少头戴设备发热的情况。
[0003]同时，VR头戴设备自身又具有一定的处理能力，如果完全只做接收解码处理，又使得设备本身的能力得不到充分的利用，尤其对于一些用户互动感知较为明显的参数，如检测到用户自身身体运动而产生的效果，尽量当前移动网络延迟已经显著降低，但如果使用网络处理反馈并传输视频流的方式来显示用户自身的互动操作，则会导致用户体验明显下降。
[0004]因此，需要设计一种结合虚拟现实设备的处理能力的云端和客户端协同进行三维数据处理并传输的方案，来最大化利用各个设备的能力并能满足用户的体验需求。

技术实现思路

[0005]针对上述现有技术中存在的缺陷，本专利技术提供一种三维数据传输方法，所述方法包括：服务器接收用户设备的初始化数据请求，所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息；所述服务器获取与所述用户请求场景信息对应的内容信息，并根据所述用户请求场景信息以及所述用户设备中保存的模板信息，确定所述用户设备的渲染方案；其中，所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中，将背景层和中间层的渲染后图层发送给用户设备，否则发送中间层的渲染后图层；服务器接收用户设备的实时数据请求，所述实时数据请求包括所述用户设备的位姿信息；服务器在云端加载场景空间流水线，根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息，所述场景帧信息包括中间层/中间层和背景，所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息，将渲染后图层分块传输给用户设备；所述用户设备接收背景层和中间层的渲染后图层的图层分块，按照图层分块所属的区域位置，分别缓存到显示分块对应的L2高速缓存器中；所述用户设备调用前景层的模板，根据显示分块对前景层进行分块，将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器；
处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息，经过透明度处理后复合形成显示给用户的最终渲染图像帧。
[0006]其中，所述服务器压缩和传输的策略包括：所述图层分块中对用户体验影响较大的图层分块采用较大的数据块，对用户体验贡献较小的图层分块采用较小的数据块；所述图层分块的分辨率等级不大于用户设备的分辨率最高等级；当网络状况不理想的情况下，提高对用户体验影响程度小的图层分块的压缩等级，提高背景数据包对应图层分块的压缩等级；所述服务器优先将中间层的图层分块数据块进行传输；所述服务器优先将对用户体验贡献较大的图层分块进行传输。
[0007]其中，所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定；所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块，当所述任务目标操作对象位于所述用户设备头显中心区域时，贡献度达到最大，所有带宽将优先提供给该图层块。
[0008]其中，所述前景层中包含用户设备与场景内容互动的图标和工具，在本地空间流水线中进行用户操作的捕捉和图层渲染，根据显示分块对前景层进行分块，将前景层分块缓存到每个显示分块中对应L2高速缓存器。
[0009]其中，处理器阵列根据指令控制器的调度，分别调用每个显示分块中对应L2高速缓存器中的图层信息，其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作，将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。
[0010]本专利技术还提出了一种基于上述方法的三维数据传输系统，所述系统包括：服务器，用于接收用户设备的初始化数据请求，所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息；所述服务器获取与所述用户请求场景信息对应的内容信息，并根据所述用户请求场景信息以及所述用户设备中保存的模板信息，确定所述用户设备的渲染方案；其中，所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中，将背景层和中间层的渲染后图层一并发送给用户设备，否则发送中间层的渲染后图层；服务器接收用户设备的实时数据请求，所述实时数据请求包括所述用户设备的位姿信息；服务器在云端加载场景空间流水线，根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息，所述场景帧信息包括中间层/中间层和背景，所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息，将渲染后图层分块传输给用户设备；用户设备，所述用户设备接收背景层和中间层的渲染后图层的图层分块，按照图层分块所属的区域位置，分别缓存到显示分块对应的L2高速缓存器中；所述用户设备调用前景层的模板，根据显示分块对前景层进行分块，将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器；
处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息，经过透明度处理后复合形成显示给用户的最终渲染图像帧。
[0011]其中，所述图层分块中对用户体验影响较大的图层分块采用较大的数据块，对用户体验贡献较小的图层分块采用较小的数据块；所述图层分块的分辨率等级不大于用户设备的分辨率最高等级；当网络状况不理想的情况下，提高对用户体验影响程度小的图层分块的压缩等级，提高背景数据包对应图层分块的压缩等级；所述服务器优先将中间层的图层分块数据块进行传输；所述服务器优先将对用户体验贡献较大的图层分块进行传输。
[0012]所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定；所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块，当所述任务目标操作对象位于所述用户设备头显中心区域时，贡献度达到最大，所有带宽将优先提供给该图层块。
[0013]其中，所述前景层中包含用户设备与场景内容互动的图标和工具，在本地空间流水线中进行用户操作的捕捉和图层渲染，根据显示分块对前景层进行分块，将前景层分块缓存到每个显示分块中对应L2高速缓存器。
[0014]其中，处理器阵列根据指令控制器的调度，分别调用每个显示分块中对应L2高速缓存器中的图层信息，其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作，将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。
[0015]本专利技术还提出了一种三维数据传输芯片，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维数据传输方法，所述方法包括：服务器接收用户设备的初始化数据请求，所述初始化数据请求包括用户能力信息、用户设备中保存的模板信息、以及用户请求场景信息；所述服务器获取与所述用户请求场景信息对应的内容信息，并根据所述用户请求场景信息以及所述用户设备中保存的模板信息，确定所述用户设备的渲染方案；其中，所述服务器确定所述内容信息中的背景层未被保存在用户设备的模板信息中，将背景层和中间层的渲染后图层发送给用户设备，否则发送中间层的渲染后图层；服务器接收用户设备的实时数据请求，所述实时数据请求包括所述用户设备的位姿信息；服务器在云端加载场景空间流水线，根据用户设备的位姿信息进行图像抓屏获取对应的场景帧信息，所述场景帧信息包括中间层/中间层和背景，所述服务器根据所述用户设备的能力信息、网络状况以及所述用户设备的位姿信息，将渲染后图层分块传输给用户设备；所述用户设备接收背景层和中间层的渲染后图层的图层分块，按照图层分块所属的区域位置，分别缓存到显示分块对应的L2高速缓存器中；所述用户设备调用前景层的模板，根据显示分块对前景层进行分块，将渲染后的前景层分块缓存到显示分块对应的L2高速缓存器；处理器阵列调用每个显示分块中对应L2高速缓存器中的图层信息，经过透明度处理后复合形成显示给用户的最终渲染图像帧。2.如权利要求1所述的方法，其特征在于，所述服务器压缩和传输的策略包括：所述图层分块中对用户体验影响较大的图层分块采用较大的数据块，对用户体验贡献较小的图层分块采用较小的数据块；所述图层分块的分辨率等级不大于用户设备的分辨率最高等级；当网络状况不理想的情况下，提高对用户体验影响程度小的图层分块的压缩等级，提高背景数据包对应图层分块的压缩等级；所述服务器优先将中间层的图层分块数据块进行传输；所述服务器优先将对用户体验贡献较大的图层分块进行传输。3.如权利要求2所述的方法，其特征在于，所述对用户体验贡献较大的图层分块以用户请求场景信息中的任务目标操作对象对应所在的图层块以及用户设备头显中靠近中心区域的图层块共同确定；所述任务目标操作对象对应所在的图层块贡献度大于所述用户设备头显中靠近中心区域的图层块，当所述任务目标操作对象位于所述用户设备头显中心区域时，贡献度达到最大，所有带宽将优先提供给该图层块。4.如权利要求1所述的方法，其特征在于，所述前景层中包含用户设备与场景内容互动的图标和工具，在本地空间流水线中进行用户操作的捕捉和图层渲染，根据显示分块对前景层进行分块，将前景层分块缓存到每个显示分块中对应L2高速缓存器。5.如权利要求1或3所述的方法，其特征在于，处理器阵列根据指令控制器的调度，分别调用每个显示分块中对应L2高速缓存器中的图层信息，其中对用户体验贡献大的图层分块将优先分配处理器阵列资源进行复合操作，
将复合形成显示给用户的最终渲染图像帧缓存到每个显示分块中对应L1高速缓存器显示加载。6.一种三维数据传输系统，所述系统包括：服...

【专利技术属性】
技术研发人员：王嘉诚，张少仲，张栩，
申请(专利权)人：中诚华隆计算机技术有限公司，
类型：发明
国别省市：