图像处理方法及电子设备技术

本申请实施例提供了一种图像处理方法及电子设备。该方法包括：响应于接收到的第一用户操作，将第一用户操作对应参观点的全景图映射至第一模型，其中，全景图基于第二模型渲染得到，第二模型的精细度高于第一模型的精细度；然后基于映射全景图后的第一模型进行渲染，得到参观点的图像以及展示参观点的图像。这样，通过全景图的映射，能够使得采用第一模型渲染出的图像，与采用第二模型渲染出来的全景图的画质相同，进而基于映射全景图的第一模型渲染出的图像，也具有高画质，且还可以给用户带来强沉浸感的体验。户带来强沉浸感的体验。户带来强沉浸感的体验。

【技术实现步骤摘要】
图像处理方法及电子设备


[0001]本申请实施例涉及数据处理领域，尤其涉及一种图像处理方法及电子设备。

技术介绍

[0002]随着信息技术与数字经济的蓬勃发展，很多传统线下业务也逐渐向数字化转型，例如，传统展厅逐渐向数字化的云展厅转型。
[0003]现有的一种数字化技术是根据用户参观展厅过程中的位置，切换展示高画质展厅图片，但是图片是二维的，无法给用户营造出三维的感觉，用户的沉浸感差。另一种数字化技术是在终端侧下载三维模型，然后根据用户参观展厅过程中的位置渲染出对应的图像；但是终端侧计算能力、带宽都受到限制，因此仅能在终端侧下载较为简易的三维模型，而简易的三维模型渲染出的图像的画质(展厅的明暗变化，展厅的光影效果等)差。

技术实现思路

[0004]为了解决上述技术问题，本申请提供一种图像处理方法及电子设备。该方法中，采用全景图与三维模型融合的方式，来渲染出图像，能够得到高画质且能够给用户带来强沉浸感的体验的图像。
[0005]第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，该方法包括：响应于接收到的第一用户操作，将第一用户操作对应参观点的全景图映射至第一模型，其中，全景图基于第二模型渲染得到，第二模型的精细度高于第一模型的精细度；然后基于映射全景图后的第一模型进行渲染，得到参观点的图像以及展示参观点的图像。这样，通过全景图的映射，能够使得采用第一模型渲染出的图像，与采用第二模型渲染出来的全景图的画质相同，进而基于映射全景图的第一模型渲染出的图像，也具有高画质，且还可以给用户带来强沉浸感的体验。此外，第一模型是较为简易的三维模型，因此基于第一模型进行渲染所需执行的计算量小，进而降低了对客户端的性能要求。且基于简易的三维模型进行渲染，所需花费的时间短，进而能够缩短客户端展示展厅图像的时延，提高了用户线上参观展厅的体验。
[0006]根据第一方面，当第一用户操作为进入参观界面的操作，参观点为第一个参观点时，响应于接收到的第一用户操作，将第一用户操作对应参观点的全景图映射至第一模型，包括：响应于接收到的第一用户操作，从服务器下载第一模型和第一个参观点的全景图；创建三维场景，将第一模型加载至三维场景中，以及将相机设置在第一个参观点处；将第一个参观点的全景图映射至三维场景的天空盒；以相机所在位置为端点，分别向第一模型中多个顶点P1作射线，与天空盒相交于P2；将P2的渲染着色信息，映射至与P2属于同一射线的P1。由于全景图是基于第二模型渲染得到的，全景图中的每个像素点对应第二模型中的顶点，这样，能够将第二模型中顶点的渲染着色信息，映射到第一模型中对应的顶点，使得第一模型中顶点与第二模型中对应顶点的渲染着色信息相同。
[0007]根据第一方面，或者以上第一方面的任意一种实现方式，基于映射全景图后的第
一模型进行渲染，得到参观点的图像，包括：将相机的方向设置为第一个参观点的预设参观方向，基于相机的方向和映射全景图后的第一模型进行渲染，得到第一个参观点的预设参观方向上的图像。这样，用户进入参观界面后，可以查看到第一个参观点的预设参观方向上的图像。
[0008]根据第一方面，或者以上第一方面的任意一种实现方式，以相机所在位置为端点，分别向第一模型中多个顶点P1作射线，与天空盒相交于P2，包括：以相机所在位置为端点，分别向第一模型中位于观测区域内的多个顶点P1作射线，与天空盒相交于P2；其中，观测区域内的顶点可被相机观测到。
[0009]示例性的，观测区域可以是指可以被相机观测到的区域。可选地，观测区域可以是视锥体中近平面与远平面之间的区域。
[0010]根据第一方面，或者以上第一方面的任意一种实现方式，以相机所在位置为端点，分别向第一模型中位于观测区域内多个顶点P1作射线，与天空盒相交于P2，包括：以相机所在位置为端点，分别向第一模型中位于相机所在位置的各参观方向对应观测区域内多个顶点P1作射线，与天空盒相交于P2。
[0011]根据第一方面，或者以上第一方面的任意一种实现方式，以相机所在位置为端点，分别向第一模型中位于观测区域内多个顶点P1作射线，与天空盒相交于P2，包括：以相机所在位置为端点，分别向第一模型中位于相机所在位置的预设参观方向对应观测区域内多个顶点P1作射线，与天空盒相交于P2。相对于向第一模型中位于相机所在位置的各参观方向对应观测区域内多个顶点P1作射线而言，这样无线向第一模型中位于相机所在位置的其他参观方向对应观测区域内多个顶点P1作射线，进而后续能够更快的渲染出第一参观点的预设参观方向上的图像。
[0012]根据第一方面，或者以上第一方面的任意一种实现方式，当第一用户操作为参观点切换操作，参观点为除第一个参观点外的第K个参观点时，响应于接收到的第一用户操作，将第一用户操作对应参观点的全景图映射至第一模型，包括：响应于接收到的第一用户操作，从服务器下载第K个参观点的全景图；将相机从第J个参观点移动至第K个参观点，对第一模型中的顶点进行位置校正，第J个参观点为除第K个参观点之外的参观点；将第K个参观点的全景图映射至三维场景的天空盒；以相机所在位置为端点，分别向第一模型中多个顶点P1作射线，与天空盒相交于P2；将P2的渲染着色信息，映射至与P2属于同一射线的P1。
[0013]根据第一方面，或者以上第一方面的任意一种实现方式，基于映射全景图后的第一模型进行渲染，得到参观点的图像，包括：将相机的方向设置为第K个参观点对应的预设参观方向，基于相机的方向和映射全景图后的第一模型进行渲染，得到第K个参观点预设参观方向上的图像。
[0014]根据第一方面，或者以上第一方面的任意一种实现方式，对第一模型中的顶点进行位置校正，包括：根据第J个参观点的坐标信息和第K个参观点的坐标信息，确定将相机从第J个参观点移动至第K个参观点对应的相机运动偏移信息；基于相机运动偏移信息，对相机位于第J个参观点时第一模型中顶点的坐标信息进行反向校正。
[0015]根据第一方面，或者以上第一方面的任意一种实现方式，在展示参观点的图像之后，方法还包括：响应于接收到的第二用户操作，基于第二用户操作对应的用户参观方向和映射全景图后的第一模型进行渲染，得到参观点用户参观方向上的图像。
[0016]第二方面，本申请实施例提供一种图像处理方法，应用于电子设备，该方法包括：响应于接收到的第一用户操作，从服务器下载第一用户操作对应参观点的参观方向上的瓦片图，瓦片图是通过对基于第二模型渲染得到的参观点的全景图进行瓦片切分得到，第二模型的精细度高于第一模型的精细度；然后将瓦片图映射至第一模型；基于映射瓦片图后的第一模型进行渲染，得到参观点参观方向上的图像，展示参观点参观方向上的图像。这样，通过瓦片图的映射，能够使得采用第一模型渲染出的某一参观方向的图像，与采用第二模型渲染出来的全景图中对应参观方向上的图像画质相同，进而基于映射瓦片图的第一模型渲染出的图像，也具有高画质，且还可以给用户带来强沉浸感的体验。此外，第一模型是较为简易的三维模型，因此基于第一模型进行渲染所需执行的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：响应于接收到的第一用户操作，将所述第一用户操作对应参观点的全景图映射至第一模型，所述全景图基于第二模型渲染得到，所述第二模型的精细度高于所述第一模型的精细度；基于映射全景图后的第一模型进行渲染，得到所述参观点的图像，展示所述参观点的图像。2.根据权利要求1所述的方法，其特征在于，当所述第一用户操作为进入参观界面的操作，所述参观点为第一个参观点时，所述响应于接收到的第一用户操作，将所述第一用户操作对应参观点的全景图映射至第一模型，包括：响应于接收到的第一用户操作，从服务器下载所述第一模型和所述第一个参观点的全景图；创建三维场景，将所述第一模型加载至所述三维场景中，以及将相机设置在所述第一个参观点处；将所述第一个参观点的全景图映射至所述三维场景的天空盒；以所述相机所在位置为端点，分别向所述第一模型中多个顶点P1作射线，与所述天空盒相交于P2；将P2的渲染着色信息，映射至与P2属于同一射线的P1。3.根据权利要求2所述的方法，其特征在于，所述基于映射全景图后的第一模型进行渲染，得到所述参观点的图像，包括：将所述相机的方向设置为所述第一个参观点的预设参观方向，基于所述相机的方向和映射全景图后的第一模型进行渲染，得到所述第一个参观点的预设参观方向上的图像。4.根据权利要求2所述的方法，其特征在于，所述以所述相机所在位置为端点，分别向所述第一模型中多个顶点P1作射线，与所述天空盒相交于P2，包括：以所述相机所在位置为端点，分别向所述第一模型中位于观测区域内的多个顶点P1作射线，与所述天空盒相交于P2；其中，所述观测区域内的顶点可被所述相机观测到。5.根据权利要求4所述的方法，其特征在于，所述以所述相机所在位置为端点，分别向所述第一模型中位于观测区域内多个顶点P1作射线，与所述天空盒相交于P2，包括：以所述相机所在位置为端点，分别向所述第一模型中位于相机所在位置的各参观方向对应观测区域内多个顶点P1作射线，与所述天空盒相交于P2。6.根据权利要求4所述的方法，其特征在于，所述以所述相机所在位置为端点，分别向所述第一模型中位于观测区域内多个顶点P1作射线，与所述天空盒相交于P2，包括：以所述相机所在位置为端点，分别向所述第一模型中位于相机所在位置的预设参观方向对应观测区域内多个顶点P1作射线，与所述天空盒相交于P2。7.根据权利要求2所述的方法，其特征在于，当所述第一用户操作为参观点切换操作，所述参观点为除所述第一个参观点外的第K个参观点时，所述响应于接收到的第一用户操作，将所述第一用户操作对应参观点的全景图映射至第一模型，包括：响应于接收到的第一用户操作，从所述服务器下载所述第K个参观点的全景图；将所述相机从第J个参观点移动至所述第K个参观点，对所述第一模型中的顶点进行位
置校正，所述第J个参观点为除所述第K个参观点之外的参观点；将所述第K个参观点的全景图映射至所述三维场景的天空盒；以相机所在位置为端点，分别向所述第一模型中多个顶点P1作射线，与天空盒相交于P2；将P2的渲染着色信息，映射至与P2属于同一射线的P1。8.根据权利要求7所述的方法，其特征在于，所述基于映射全景图后的第一模型进行渲染，得到参观点的图像，包括：将相机的方向设置为所述第K个参观点对应的预设参观方向，基于所述相机的方向和映射全景图后的第一模型进行渲染，得到所述第K个参观点预设参观方向上的图像。9.根据对权利要求7所述的方法，其特征在于，所述对所述第一模型中的顶点进行位置校正，包括：根据所述第J个参观点的坐标信息和所述第K个参观点的坐标信息，确定将所述相机从所述第J个参观点移动至所述第K个参观点对应的相机运动偏移信息；基于所述相机运动偏移信息，对所述相机位于所述第J个参观点时所述第一模型中顶点的坐标信息进行反向校正。10.根据权利要求1所述的方法，其特征在于，在展示所述参观点的图像之后，所述方法还包括：响应于接收到的第二用户操作，基于所述第二用户操作对应的用户参观方向和映射全景图后的第一模型进行渲染，得到所述参观点用户参观方向上的图像。11.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：响应于接收到的第一用户操作，从服务器下载所述第一用户操作对应参观点的参观方向上的瓦片图，所述瓦片图是通过对基于第二模型渲染得到的所述参观点的全景图进行瓦片切分得到，所述第二模型的精细度高于所述第一模型的精细度；将所述瓦片图映射至所述第一模型；基于映射瓦片图后的第一模型进行渲染，得到所述参观点参观方向上的图像，展示所述参观点参观方向上的图像。12.根据权利要求11所述的方法，其特征在于，当所述第一用户操作为进入参观界面的操作，所述参观点为第一个参观点时，所述响应于接收到的第一用户操作，从服务器下载所述第一用户操作对应参观点参观方向上的瓦片图，包括：响应于接收到的第一用户操作，从所述服务器下载所述第一模型；创建三维场景，将所述第一模型加载至所述三维场景中，以及将所述相机设置在所述参观点处；以所述相机所在位置为中心创建参考立方体；根据所述参观点对应的预设参观方向和参考立方体，确定所述参观点对应全景图中待下载的多个瓦片图的坐标信息；根据所述坐标信息，从所述服务器下载所述参观点的参观方向上的瓦片图。13.根据权利要求12所述的方法，其特征在于，当所述第一用户操作为参观点切换操作，所述参观点...

【专利技术属性】
技术研发人员：汪秉诠，陈晓菲，姜涛，姚政，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：