图像渲染方法、终端及云端设备技术

一种图像渲染方法、终端及云端设备，该方法包括：对采集到的点云数据进行分类，获得各个分类并确定各个分类的点云数据；对各个分类后的点云数据进行运动分割处理，获得包含动态信息的动态点云数据和包含静态信息的静态点云数据；获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面并进行合并。本发明专利技术通过对动态点云数据和静态点云数据分别进行渲染处理，能够提高内容渲染的效率。能够提高内容渲染的效率。能够提高内容渲染的效率。

【技术实现步骤摘要】
图像渲染方法、终端及云端设备


[0001]本专利技术涉及移动通信
，具体涉及一种图像渲染方法、终端及云端设备。

技术介绍

[0002]目前，虚拟现实和增强现实等技术发展迅速，第五代移动通信(5G)网络的低延时和大带宽特性给云XR产业的纵深发展带来巨大的契机，云XR将成为未来发展的必然趋势。云XR主要包括虚拟现实(Virtual Reality，VR)，增强现实(Augmented Reality，AR)。作为虚拟现实行业的强交互云VR业务，VR游戏利用VR技术让玩家在虚拟的游戏世界中，拥有沉浸的视听感受，并可以通过肢体的运动、手柄的操控等多种方式进行实时交互，给玩家带来身临其境的体验。
[0003]现有的云游戏渲染系统中，待渲染的三维场景内容复杂度高、计算量大，对终端和云端的算力要求都非常高，研究高效的渲染资源传输方案迫在眉睫。现有的云游戏渲染解决方案中，对于待渲染内容，可以由云端设备根据渲染指标要求进行渲染，也可以利用终端设备直接使用本地硬件设备进行渲染，终端设备也可以与云端设备进行协同渲染。因此，亟需一种能够适应上述场景的渲染方案。

技术实现思路

[0004]本专利技术的至少一个实施例提供了一种图像渲染方法、终端及网络设备，通过对动态点云数据和静态点云数据分别进行渲染处理，能够提高内容渲染的效率。
[0005]根据本专利技术的一个方面，至少一个实施例提供了一种图像渲染方法，应用于终端，包括：
[0006]对采集到的点云数据进行分类，获得各个分类并确定各个分类的点云数据；
[0007]对各个分类后的点云数据进行运动分割处理，获得包含动态信息的动态点云数据和包含静态信息的静态点云数据；
[0008]获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面并进行合并。
[0009]此外，根据本专利技术的至少一个实施例，所述获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面，包括：
[0010]根据终端与云端之间的网络传输能力，确定是否需要云端辅助渲染；
[0011]在不需要云端辅助渲染的情况下，在终端本地对各个分类的动态点云数据和静态点云数据渲染分别进行渲染处理，得到对应的画面；
[0012]在需要云端辅助渲染的情况下，将第一点云数据发送至云端并接收云端对所述第一点云数据渲染处理得到的画面，以及，在终端本地对第二点云数据进行渲染处理得到对应的画面，所述第二点云数据是所有点云数据中去除第一点云数据后的剩余点云数据。
[0013]此外，根据本专利技术的至少一个实施例，所述网络传输能力包括传输时延和传输带宽，所述根据终端与云端之间的网络传输能力，确定是否需要云端辅助渲染，包括：
[0014]在传输时延满足预设时延要求，且传输带宽满足预设带宽要求的情况下，确定需要云端辅助渲染；
[0015]在传输时延不满足预设时延要求，或，传输带宽不满足预设带宽要求的情况下，确定不需要云端辅助渲染。
[0016]此外，根据本专利技术的至少一个实施例，所述第一点云数据为满足以下任意一种条件的点云数据：
[0017]条件一：所有分类的动态点云数据；
[0018]条件二：第一分类的点云数据；
[0019]条件三：所有分类的动态点云数据，和，第一分类的静态点云数据；
[0020]其中，所述第一分类的点云数据的点数超过第一阈值。
[0021]此外，根据本专利技术的至少一个实施例，在获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面之前，所述方法还包括：
[0022]对各个分类的静态点云数据进行压缩，得到各个分类压缩后的静态点云数据。
[0023]此外，根据本专利技术的至少一个实施例，所述渲染处理包括三维重建和内容渲染。
[0024]根据本专利技术的另一方面，至少一个实施例提供了一种图像渲染方法，应用于云端设备，包括：
[0025]接收终端发送的第一点云数据；
[0026]对所述第一点云数据进行渲染处理，并将渲染得到的画面发送给所述终端。
[0027]此外，根据本专利技术的至少一个实施例，所述第一点云数据为满足以下任意一种条件的点云数据：
[0028]条件一：所有分类的动态点云数据；
[0029]条件二：第一分类的点云数据；
[0030]条件三：所有分类的动态点云数据，和，第一分类的静态点云数据；
[0031]其中，所述第一分类的点云数据的点数超过第一阈值；
[0032]其中，所述动态点云数据和静态点云数据分别是：终端对采集到的点云数据进行分类，并对各个分类后的点云数据进行运动分割处理所获得的包含动态信息的点云数据和包含静态信息的点云数据。
[0033]此外，根据本专利技术的至少一个实施例，所述渲染处理包括三维重建和内容渲染。
[0034]根据本专利技术的另一方面，至少一个实施例提供了一种终端，包括：
[0035]分类模块，用于对采集到的点云数据进行分类，获得各个分类并确定各个分类的点云数据；
[0036]分割模块，用于对各个分类后的点云数据进行运动分割处理，获得包含动态信息的动态点云数据和包含静态信息的静态点云数据；
[0037]合并模块，用于获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面并进行合并。
[0038]此外，根据本专利技术的至少一个实施例，所述合并模块包括：
[0039]确定模块，用于根据终端与云端之间的网络传输能力，确定是否需要云端辅助渲染；
[0040]第一处理模块，用于在不需要云端辅助渲染的情况下，在终端本地对各个分类的
动态点云数据和静态点云数据渲染分别进行渲染处理，得到对应的画面；
[0041]第二处理模块，用于在需要云端辅助渲染的情况下，将第一点云数据发送至云端并接收云端对所述第一点云数据渲染处理得到的画面，以及，在终端本地对第二点云数据进行渲染处理得到对应的画面，所述第二点云数据是所有点云数据中去除第一点云数据后的剩余点云数据。
[0042]此外，根据本专利技术的至少一个实施例，所述网络传输能力包括传输时延和传输带宽；所述确定模块，具体用于：在传输时延满足预设时延要求，且传输带宽满足预设带宽要求的情况下，确定需要云端辅助渲染；在传输时延不满足预设时延要求，或，传输带宽不满足预设带宽要求的情况下，确定不需要云端辅助渲染。
[0043]此外，根据本专利技术的至少一个实施例，所述第一点云数据为满足以下任意一种条件的点云数据：
[0044]条件一：所有分类的动态点云数据；
[0045]条件二：第一分类的点云数据；
[0046]条件三：所有分类的动态点云数据，和，第一分类的静态点云数据；
[0047]其中，所述第一分类的点云数据的点数超过第一阈值。
[0048]此外，根据本专利技术的至少一个实施例，所述终端还包括：
[0049]压缩模块，用于在获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像渲染方法，应用于终端，其特征在于，包括：对采集到的点云数据进行分类，获得各个分类并确定各个分类的点云数据；对各个分类后的点云数据进行运动分割处理，获得包含动态信息的动态点云数据和包含静态信息的静态点云数据；获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面并进行合并。2.如权利要求1所述的方法，其特征在于，所述获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面，包括：根据终端与云端之间的网络传输能力，确定是否需要云端辅助渲染；在不需要云端辅助渲染的情况下，在终端本地对各个分类的动态点云数据和静态点云数据渲染分别进行渲染处理，得到对应的画面；在需要云端辅助渲染的情况下，将第一点云数据发送至云端并接收云端对所述第一点云数据渲染处理得到的画面，以及，在终端本地对第二点云数据进行渲染处理得到对应的画面，所述第二点云数据是所有点云数据中去除第一点云数据后的剩余点云数据。3.如权利要求2所述的方法，其特征在于，所述网络传输能力包括传输时延和传输带宽，所述根据终端与云端之间的网络传输能力，确定是否需要云端辅助渲染，包括：在传输时延满足预设时延要求，且传输带宽满足预设带宽要求的情况下，确定需要云端辅助渲染；在传输时延不满足预设时延要求，或，传输带宽不满足预设带宽要求的情况下，确定不需要云端辅助渲染。4.如权利要求2或3所述的方法，其特征在于，所述第一点云数据为满足以下任意一种条件的点云数据：条件一：所有分类的动态点云数据；条件二：第一分类的点云数据；条件三：所有分类的动态点云数据，和，第一分类的静态点云数据；其中，所述第一分类的点云数据的点数超过第一阈值。5.如权利要求4所述的方法，其特征在于，在获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面之前，所述方法还包括：对各个分类的静态点云数据进行压缩，得到各个分类压缩后的静态点云数据。6.如权利要求1所述的方法，其特征在于，所述渲染处理包括三维重建和内容渲染。7.一种图像渲染方法，应用于云端设备，其特征在于，包括：接收终端发送的第一点云数据；对所述第一点云数据进行渲染处理，并将渲染得到的画面发送给所述终端。8.如权利要求7所述的方法，其特征在于，所述第一点云数据为满足以下任意一种条件的点云数据：条件一：所有分类的动态点云数据；条件二：第一分类的点云数据；条件三：所有分类的动态点云数据，和，第一分类的静态点云数据；其中，所述第一分类的点云数据的点数超过第一阈值；其中，所述动态点云数据和静态点云数据分别是：终端对采集到的点云数据进行分类，
并对各个分类后的点云数据进行运动分割处理所获得的包含动态信息的点云数据和包含静态信息的点云数据。9.如权利要求7所述的方法，其特征在于，所述渲染处理包括三维重建和内容渲染。10.一种终端，其特征在于，包括：分类模块，用于对采集到的点云数据进行分类，获得各个分类并确定各个分类的点云数据；分割模块，用于对各个分类后的点云数据进行运动分割处理，获得包含动态信息的动态点云数据和包含静态信息的静态点云数据；合并模块，用于获取分别由各个分类的动态点云数据和静态点云数据渲染得到的画面并进行合并。11.如权利要求10所述的终端，其特征在于，所述合并模块包括：确定模块，用于根据终端与云端之间的网络传输能力，确定是否需要云端辅助渲染；第...

【专利技术属性】
技术研发人员：王凯悦，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：