图像处理方法、装置、终端设备及存储介质制造方法及图纸

本申请提供了一种图像处理方法、装置、终端设备及存储介质。在本申请中，可以将原始图像的第一纹理特征加载至全景模型的表面上，然后获取在全景模型的表面上加载的第二纹理特征，第一纹理特征包括第二纹理特征，再对第二纹理特征进行超分辨率增强处理，得到第三纹理特征，之后在全景设备的显示界面上渲染第三纹理特征。在本申请中，由于对第二纹理特征进行超分辨率增强处理，因此使得得到的第三纹理特征对应的图像的分辨率大于第二纹理特征对应的图像的分辨率，第三纹理特征对应的图像的分辨率高于现有技术中的第二纹理特征对应的图像，因此，可以提高图像的清晰度。

Image Processing Method, Device, Terminal Equipment and Storage Media

【技术实现步骤摘要】
图像处理方法、装置、终端设备及存储介质
本申请涉及互联网
，特别是涉及一种图像处理方法、装置、终端设备及存储介质。
技术介绍
VR(VirtualReality，虚拟现实)技术是一种计算机仿真技术，它使用头戴式设备产生逼真的图像和声音等感觉，给用户提供沉浸式的体验。全景视频是VR技术的一种重要的应用场景，它让观看者能看到全方位的360度图像，可以感受到身临其境的感觉。全景视频的通用方式是将原始图像的纹理特征映射到全景模型的表面上，例如球模型或天空盒等，然后在头戴式设备的显示界面上渲染映射到全景模型的表面上的纹理特征。然而，由于全景模型是球状模型，且由于头戴式设备的视场角只能覆盖球状模型的部分表面，因此，在将原始图像的纹理特征映射到全景模型的表面上时，通常是将原始图像的纹理特征映射到全景模型的部分的表面上，从而导致映射到全景表面上的纹理特征对应的图像的分辨率低于原始图像的分辨率，这样会降低图像的清晰度。例如，假设原始图像为1080*720P的分辨率，全景模型的全部表面的分辨率也为1080*720P，如果头戴式设备的视场角为90°，则只能将原始图像的纹理特征映射到全景模型的1/4的表面上，全景模型的1/4的表面的分辨率仅为640*360P，因此，映射到全景模型的1/4的表面上的纹理特征对应的图像的分辨率即为640*360P，最终使得在显示界面上渲染出的图像的分辨率仅为640*360P，相比于原始图像的1080*720P的分辨率，降低了4倍的分辨率，从而会降低图像的清晰度。
技术实现思路
为解决上述技术问题，本申请实施例示出了一种图像处理方法、装置、终端设备及存储介质。第一方面，本申请实施例示出了一种图像处理方法，所述方法包括：将原始图像的第一纹理特征加载至全景模型的表面上；获取在所述全景模型的表面上加载的第二纹理特征，所述第一纹理特征包括所述第二纹理特征；对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，所述第三纹理特征对应的图像的分辨率大于所述第二纹理特征对应的图像的分辨率；在全景设备的显示界面上渲染所述第三纹理特征。在一个可选的实现方式中，所述获取在所述全景模型的表面上加载的第二纹理特征，包括：确定所述全景设备的当前视角；确定所述当前视角在所述全景模型的表面上的投影区域；在所述全景模型的表面上，获取位于所述投影区域内的纹理特征，并作为所述第二纹理特征。在一个可选的实现方式中，所述确定所述全景设备的当前视角，包括：获取所述全景设备中的陀螺仪的参数；根据所述陀螺仪的参数确定所述全景设备的当前视角。在一个可选的实现方式中，所述对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，包括：将所述第二纹理特征输入至超分辨率增强模型中，得到所述超分辨率增强模型输出的纹理特征，并作为第三纹理特征。在一个可选的实现方式中，所述方法还包括：获取多个样本图像集，每一个样本图像集中包括多个相同场景的样本图像，且多个相同场景的样本图像中包括至少一个高分辨率的样本图像和至少一个低分辨率的样本图像；使用所述多个样本图像集中的样本图像对预设的神经网络模型进行训练，直至所述预设的神经网络模型中的权重均收敛，得到所述超分辨率增强模型。在一个可选的实现方式中，所述在全景设备的显示界面上渲染所述第三纹理特征，包括：获取所述全景设备的反畸变参数；基于所述反畸变参数对所述第三纹理特征进行反畸变处理，得到第四纹理特征；在全景设备的显示界面上渲染所述第四纹理特征。第二方面，本申请实施例示出了一种图像处理装置，所述装置包括：加载模块，用于将原始图像的第一纹理特征加载至全景模型的表面上；获取模块，用于获取在所述全景模型的表面上加载的第二纹理特征，所述第一纹理特征包括所述第二纹理特征；增强处理模块，用于对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，所述第三纹理特征对应的图像的分辨率大于所述第二纹理特征对应的图像的分辨率；渲染模块，用于在全景设备的显示界面上渲染所述第三纹理特征。在一个可选的实现方式中，所述获取模块包括：第一确定单元，用于确定所述全景设备的当前视角；第二确定单元，用于确定所述当前视角在所述全景模型的表面上的投影区域；第一获取单元，用于在所述全景模型的表面上，获取位于所述投影区域内的纹理特征，并作为所述第二纹理特征。在一个可选的实现方式中，所述第一确定单元包括：获取子单元，用于获取所述全景设备中的陀螺仪的参数；确定子单元，用于根据所述陀螺仪的参数确定所述全景设备的当前视角。在一个可选的实现方式中，所述增强处理模块包括：输入单元，用于将所述第二纹理特征输入至超分辨率增强模型中，得到所述超分辨率增强模型输出的纹理特征，并作为第三纹理特征。在一个可选的实现方式中，所述增强处理模块还包括：第二获取单元，用于获取多个样本图像集，每一个样本图像集中包括多个相同场景的样本图像，且多个相同场景的样本图像中包括至少一个高分辨率的样本图像和至少一个低分辨率的样本图像；训练单元，用于使用所述多个样本图像集中的样本图像对预设的神经网络模型进行训练，直至所述预设的神经网络模型中的权重均收敛，得到所述超分辨率增强模型。在一个可选的实现方式中，所述渲染模块包括：第三获取单元，用于获取所述全景设备的反畸变参数；反畸变处理单元，用于基于所述反畸变参数对所述第三纹理特征进行反畸变处理，得到第四纹理特征；渲染单元，用于在全景设备的显示界面上渲染所述第四纹理特征。第三方面，本申请实施例示出了一种终端设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的图像处理方法。第四方面，本申请实施例示出了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的图像处理方法。与现有技术相比，本申请实施例包括以下优点：在本申请中，可以将原始图像的第一纹理特征加载至全景模型的表面上，然后获取在全景模型的表面上加载的第二纹理特征，第一纹理特征包括第二纹理特征，再对第二纹理特征进行超分辨率增强处理，得到第三纹理特征，之后在全景设备的显示界面上渲染第三纹理特征。在现有技术中，是直接在全景设备的显示界面上渲染第二纹理特征。而在本申请中，由于对第二纹理特征进行超分辨率增强处理，因此使得得到的第三纹理特征对应的图像的分辨率大于第二纹理特征对应的图像的分辨率，第三纹理特征对应的图像的分辨率高于现有技术中的第二纹理特征对应的图像，因此，可以提高图像的清晰度。例如，假设原始图像为1080*720P的分辨率，全景模型的全部表面的分辨率也为1080*720P，如果头戴式设备的视场角为90°，则只能将原始图像的纹理特征映射到全景模型的1/4的表面上，全景模型的1/4的表面的分辨率仅为640*360P，因此，映射到全景模型的1/4的表面上的纹理特征对应的图像的分辨率即为640*360P，最终使得在显示界面上渲染出的图像的分辨率仅为640*360P。而在本申请中，对映射到全景模型的表面上的纹理特征进行超分辨率增强处理，处理后的纹理特征对应的图像的分辨率高于640*360P，甚至也可以高于1080*720P，因此，相比于现有技术中的用户仅能观看到分辨率为本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：将原始图像的第一纹理特征加载至全景模型的表面上；获取在所述全景模型的表面上加载的第二纹理特征，所述第一纹理特征包括所述第二纹理特征；对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，所述第三纹理特征对应的图像的分辨率大于所述第二纹理特征对应的图像的分辨率；在全景设备的显示界面上渲染所述第三纹理特征。

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：将原始图像的第一纹理特征加载至全景模型的表面上；获取在所述全景模型的表面上加载的第二纹理特征，所述第一纹理特征包括所述第二纹理特征；对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，所述第三纹理特征对应的图像的分辨率大于所述第二纹理特征对应的图像的分辨率；在全景设备的显示界面上渲染所述第三纹理特征。2.根据权利要求1所述的方法，其特征在于，所述获取在所述全景模型的表面上加载的第二纹理特征，包括：确定所述全景设备的当前视角；确定所述当前视角在所述全景模型的表面上的投影区域；在所述全景模型的表面上，获取位于所述投影区域内的纹理特征，并作为所述第二纹理特征。3.根据权利要求2所述的方法，其特征在于，所述确定所述全景设备的当前视角，包括：获取所述全景设备中的陀螺仪的参数；根据所述陀螺仪的参数确定所述全景设备的当前视角。4.根据权利要求1所述的方法，其特征在于，所述对所述第二纹理特征进行超分辨率增强处理，得到第三纹理特征，包括：将所述第二纹理特征输入至超分辨率增强模型中，得到所述超分辨率增强模型输出的纹理特征，并作为第三纹理特征。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取多个样本图像集，每一个样本图像集中包括多个相同场景的样本图像，且多个相同场景的样本图像中包括至少一个高分辨率的样本图像和至少一个低分辨率的样本图像；使用所述多个样本图像集中的样本图像对预设的神经网络模型进行训练，直至所述预设的神经网络模型中的权重均收敛，得到所述超分辨率增强模型。6.根据权利要求1所述的方法，其特征在于，所述在全景设备的显示界面上渲染所述第三纹理特征，包括：获取所述全景设备的反畸变参数；基于所述反畸变参数对所述第三纹理特征进行反畸变处理，得到第四纹理特征；在全景设备的显示界面上渲染所述第四纹理特征。7.一种图像处理装置，其特征在于，所述装置包括：加载模块，用于将原始图像的第一纹理特征加载至全景模型的表面上；获取模块，用于获取在所述全景模型的表面上加载的第二纹理特征，所述第一纹理特征包括所述第二纹理特征；增强处理模块，用于对所述第二...

【专利技术属性】
技术研发人员：曹江龙，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11