3D画面的渲染方法和系统、及移动终端技术方案

本发明专利技术公开了一种3D画面的渲染方法和系统、及移动终端，涉及人机交互技术领域，其中，方法包括：移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；移动终端对3D前景画面进行渲染以得到3D前景渲染画面；移动终端将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。本发明专利技术实施例既能解决移动终端3D画面渲染能力不足的问题，又能提升3D画面的渲染效率和交互响应效率。

3D picture rendering method and system, and mobile terminal

The invention discloses a method for rendering 3D screen and system, and mobile terminal, including field, human-computer interaction technology, methods: 3D background image rendering of the mobile terminal receives the cloud rendering of 3D background picture output; the mobile terminal to the foreground in 3D rendering 3D to get the prospect of rendering images; mobile the terminal will be the 3D background rendering images and the 3D prospect of rendering images synthesis for 3D rendering images. The embodiment of the invention can not only solve the problem that the 3D picture rendering capability of the mobile terminal is insufficient, but also can improve the rendering efficiency and the interactive response efficiency of the 3D screen.

【技术实现步骤摘要】
3D画面的渲染方法和系统、及移动终端
本专利技术涉及人机交互
，尤其是一种3D画面的渲染方法和系统、及移动终端。
技术介绍
随着移动终端及4G等网络能力的不断提升，诸如移动在线游戏、移动立体导航、AR(AugmentedReality，增强型虚拟现实)等3D交互式应用日益普及，3D内容持续丰富，并不断给用户带来全新的视觉冲击与沉浸式体验。然而，复杂3D立体场景、实时全局/间接光照(Real-timeGlobalIllumination)等新一代3D渲染技术对大规模图形数据处理能力要求极高，而移动终端因处理、存储能力及能耗受限，无法应用上述技术，从而限制了移动终端3D应用领域及效果的呈现。鉴于此，业界提出了基于云服务器的实时渲染技术，由云端负责全部3D画面计算，然后以压缩帧的图像方式或者是纯视频方式传输给终端显示。然而，这种方式仍存在如下问题：一、云端渲染负载较大。云端需按终端原始分辨率计算渲染所有画面，并将其进行高分辨率实时视频编码，云端需要巨大的计算处理能力，导致云端负载量大，服务成本过高，难以服务于海量并发用户；二、实时交互性较差。纯云端计算方式渲染效率和传输效率相对较低，难以应用于实时交互响应要求较高(例如>30fps)的3D应用场合，该问题在信道容量及QoS(QualityofService，服务质量)相对难以保障的移动应用场合下尤为显著；三、难以保障画面质量。简单的云视频传输方式无法灵活适应移动信道容量及QoS等随机因素的变化，不便于保障画面质量，导致画面模糊、走样，该问题在具备大分辨率的移动终端上尤为显著。
技术实现思路
本专利技术实施例所要解决的其中一个技术问题是：提供一种3D画面的渲染方法和系统、及移动终端，既能解决移动终端3D画面渲染能力不足的问题，又能提升3D画面的渲染效率和交互响应效率。根据本专利技术的一方面，提供一种3D画面的渲染方法，包括：移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；移动终端对3D前景画面进行渲染以得到3D前景渲染画面；移动终端将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。在一个实施例中，所述3D背景渲染画面的分辨率小于移动终端的分辨率；所述方法还包括：移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。在一个实施例中，移动终端还接收云端输出的时域超采样控制信息，所述时域超采样控制信息包括采样数量n；所述移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面包括：移动终端根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存；移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面，其中n为大于1的整数。在一个实施例中，所述时域超采样控制信息还包括像素区域划分方式；所述移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面包括：移动终端根据像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域；移动终端在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素；移动终端计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。在一个实施例中，n个面积均等的区域为扇形。在一个实施例中，所述方法还包括：云端接收渲染当前帧3D背景画面所需的应用信息；云端根据所述应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息；云端根据所述场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。在一个实施例中，所述云端根据所述场景描述信息获取3D背景渲染画面并输出到移动终端包括：云端根据所述场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；如果场景缓冲数据库中已有当前帧3D背景渲染画面，则云端直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端；如果场景缓冲数据库中没有当前帧3D背景渲染画面，则云端根据所述场景描述信息从场景数据库中调用相应的场景信息，根据所述场景描述信息对所述场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与所述场景描述信息对应地保存至所述场景缓冲数据库。在一个实施例中，所述场景描述信息是无状态信息。根据本专利技术的另一方面，提供一种移动终端，包括：接收单元，用于接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；前景渲染单元，用于对3D前景画面进行渲染以得到3D前景渲染画面；合成单元，用于将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。在一个实施例中，所述3D背景渲染画面的分辨率小于移动终端的分辨率；所述移动终端还包括：重建单元，用于将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。在一个实施例中，所述接收单元，还用于还接收云端输出的时域超采样控制信息，所述时域超采样控制信息包括采样数量n；所述重建单元包括：缓存模块，用于根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存；重建模块，用于将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面，其中n为大于1的整数。在一个实施例中，所述时域超采样控制信息还包括像素区域划分方式；所述重建模块包括：划分子模块，用于根据像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域；采样子模块，用于在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素；计算子模块，用于计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。在一个实施例中，n个面积均等的区域为扇形。根据本专利技术的又一方面，提供一种3D画面的渲染系统，包括：上述任意一个实施例所述的移动终端和云端。在一个实施例中，所述云端包括：接收单元，用于接收渲染当前帧3D背景画面所需的应用信息；同步单元，用于根据所述应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息；背景渲染单元，用于根据所述场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。在一个实施例中，所述背景渲染单元包括：判断模块，用于根据所述场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；调用模块，用于在场景缓冲数据库中已有当前帧3D背景渲染画面的情况下直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端；背景渲染模块，用于在场景缓冲数据库中没有当前帧3D背景渲染画面的情况下根据所述场景描述信息从场景数据库中调用相应的场景信息，根据所述场景描述信息对所述场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与所述场景描述信息对应地保存至所述场景缓冲数据库。在一个实施例中，所述场景描述信息是无状态信息。本专利技术由云端和移动终端分别负责大面积的3D背景画面和小面积的3D前景画面的渲染，可以兼顾移动终端和云端的渲染能力，既能解决移动终端3D画面渲染能力不足的问题，又能提升3D画面的渲染效率和交互响应效率。下面通本文档来自技高网...

【技术保护点】
一种3D画面的渲染方法，其特征在于，包括：移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；移动终端对3D前景画面进行渲染以得到3D前景渲染画面；移动终端将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。

【技术特征摘要】
1.一种3D画面的渲染方法，其特征在于，包括：移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；移动终端对3D前景画面进行渲染以得到3D前景渲染画面；移动终端将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。2.根据权利要求1所述的方法，其特征在于，所述3D背景渲染画面的分辨率小于移动终端的分辨率；所述方法还包括：移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。3.根据权利要求2所述的方法，其特征在于，移动终端还接收云端输出的时域超采样控制信息，所述时域超采样控制信息包括采样数量n；所述移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面包括：移动终端根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存；移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面，其中n为大于1的整数。4.根据权利要求3所述的方法，其特征在于，所述时域超采样控制信息还包括像素区域划分方式；所述移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面包括：移动终端根据像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域；移动终端在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素；移动终端计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。5.根据权利要求4所述的方法，其特征在于，n个面积均等的区域为扇形。6.根据权利要求1所述的方法，其特征在于，还包括：云端接收渲染当前帧3D背景画面所需的应用信息；云端根据所述应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息；云端根据所述场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。7.根据权利要求6所述的方法，其特征在于，所述云端根据所述场景描述信息获取3D背景渲染画面并输出到移动终端包括：云端根据所述场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；如果场景缓冲数据库中已有当前帧3D背景渲染画面，则云端直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端；如果场景缓冲数据库中没有当前帧3D背景渲染画面，则云端根据所述场景描述信息从场景数据库中调用相应的场景信息，根据所述场景描述信息对所述场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与所述场景描述信息对应地保存至所述场景缓冲数据库。8.根据权利要求6或7所述的方法，其特征在于，所述场景描述信息是无状态信息。9.一种移动终端，其特...

【专利技术属性】
技术研发人员：陆音，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京,11