图像处理方法和装置、图像重建模型的训练方法和装置制造方法及图纸

本申请涉及一种人工智能的图像处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取原始全向图像中多个像素点分别对应的位置信息；基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。采用本方法能够提高超分辨率重建的准确性。准确性。准确性。

【技术实现步骤摘要】
图像处理方法和装置、图像重建模型的训练方法和装置


[0001]本申请涉及图像处理
，特别是涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品，以及图像重建模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着图像处理技术的发展，出现了图像重建技术，通过图像重建技术可以对图像进行超分辨率重建，以得到更清晰的图像。例如对全景拍摄得到的全向图像进行超分辨率重建，以获得更清晰的全向图像。
[0003]传统技术中，通过生成对抗网络来生成全向图像的超分辨率图像，并进一步通过球形内容损失来优化网络学习。然而，传统的图像重建方法没有考虑到配全向图像和普通二维图像的区别，使用传统的图像重建方法对全向图像进行超分辨率重建时，存在对全向图像的像素采样密度不均的问题，从而导致超分辨率重建的不够准确。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高重建准确性的图像处理方法和装置、图像重建模型的训练方法和装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]一种图像处理方法，所述方法包括：获取原始全向图像中多个像素点分别对应的位置信息；基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。
[0006]一种图像处理装置，所述装置包括：获取模块，用于获取原始全向图像中多个像素点分别对应的位置信息；确定模块，用于基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；融合模块，用于将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；上采样模块，用于对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；
重建模块，用于根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。
[0007]在一个实施例中，所述位置信息包括像素点在图像坐标系中的坐标信息；所述确定模块，还用于基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息。
[0008]在一个实施例中，所述确定模块，还用于确定所述原始全向图像的高度和宽度；获取第一坐标转换系数，根据所述原始全向图像的高度和宽度、多个所述像素点各自对应的坐标信息和所述第一坐标转换系数，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；基于第二坐标转换系数和多个所述像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息；根据每个所述像素点的角坐标信息，形成所述原始全向图像对应的全局角坐标信息。
[0009]在一个实施例中，所述上采样模块，还用于基于所述融合特征进行不同层次的特征提取，得到不同层次的特征；将所述不同层次的特征进行逐像素融合，得到残差融合特征；基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征。
[0010]在一个实施例中，所述上采样模块，还用于将所述残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征；对所述全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息；根据所述坐标偏移信息和尺度变换权重信息，对所述空间维度变换后的特征进行通道变换处理，得到上采样特征。
[0011]在一个实施例中，所述上采样模块，还用于获取偏移参数和尺度变换参数，基于所述偏移参数对所述全局尺度信息进行坐标偏移计算，得到所述全局角坐标信息对应的坐标偏移信息；基于所述尺度变换参数对所述全局尺度信息进行尺度变换处理，得到所述全局角坐标信息对应的尺度变换权重信息。
[0012]在一个实施例中，所述上采样模块，还用于根据所述坐标偏移信息和所述空间维度变换后的特征中各所述像素点的坐标信息，确定每个所述像素点偏移后的坐标信息；基于所述尺度变换权重信息对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征；将所述空间维度变换后的特征和所述通道变换后的特征进行逐像素融合，得到上采样特征。
[0013]在一个实施例中，所述装置由图像重建模型执行，所述图像重建模型包括初始化的通道压缩卷积核和初始化的通道膨胀卷积核；所述上采样模块，还用于将所述尺度变换权重信息分别与所述初始化的通道压缩卷积核、所述初始化的通道膨胀卷积核进行点乘处理，得到目标通道压缩卷积核和目标通道膨胀卷积核；通过所述目标通道压缩卷积核和目标通道膨胀卷积核，对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。
[0014]在一个实施例中，所述装置由图像重建模型执行，所述装置还包括：
样本获取模块，用于获取样本全向图像和所述样本全向图像对应的重建标签；样本确定模块，用于通过待训练的图像重建模型基于所述样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个所述样本像素点的样本角坐标信息，以得到所述样本全向图像对应的样本全局角坐标信息；样本融合模块，用于将所述样本全局角坐标信息和所述样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征；样本上采样模块，用于对所述样本融合特征进行特征提取，并基于所述样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征；样本重建模块，用于根据所述样本上采样特征重建得到预测全向图像，所述预测全向图像的分辨率大于所述样本全向图像的分辨率；训练模块，用于基于所述预测全向图像和对应的重建标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始全向图像进行图像重建处理。
[0015]本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取原始全向图像中多个像素点分别对应的位置信息；基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取原始全向图像中多个像素点分别对应的位置信息；基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述位置信息包括像素点在图像坐标系中的坐标信息；所述基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息，包括：基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息。3.根据权利要求2所述的方法，其特征在于，所述基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子，包括：确定所述原始全向图像的高度和宽度；获取第一坐标转换系数，根据所述原始全向图像的高度和宽度、多个所述像素点各自对应的坐标信息和所述第一坐标转换系数，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；所述对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息，包括：基于第二坐标转换系数和多个所述像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息；根据每个所述像素点的角坐标信息，形成所述原始全向图像对应的全局角坐标信息。4.根据权利要求1所述的方法，其特征在于，所述对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征，包括：基于所述融合特征进行不同层次的特征提取，得到不同层次的特征；将所述不同层次的特征进行逐像素融合，得到残差融合特征；基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征。
5.根据权利要求4所述的方法，其特征在于，所述基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征，包括：将所述残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征；对所述全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息；根据所述坐标偏移信息和尺度变换权重信息，对所述空间维度变换后的特征进行通道变换处理，得到上采样特征。6.根据权利要求5所述的方法，其特征在于，所述基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息，包括：获取偏移参数和尺度变换参数，基于所述偏移参数对所述全局尺度信息进行坐标偏移计算，得到所述全局角坐标信息对应的坐标偏移信息；基于所述尺度变换参数对所述全局尺度信息进行尺度变换处理，得到所述全局角坐标信息对应的尺度变换权重信息。7.根据权利要求5所述的方法，其特征在于，所述根据所述坐标偏移信息和尺度变换权重信息，对所述空间维度变换后的特征进行通道变换处理，得到上采样特征，包括：根据所述坐标偏移信息和所述空间维度变换后的特征中各所述像素点的坐标信息，确定每个所述像素点偏移后的坐标信息；基于所述尺度变换权重信息对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征；将所述空间维度变换后的特征和所述通道变换后的特征进行逐像素融合，得到上采样特征。8.根据权利要求7所述的方法，其特征在于，所述方法由图像重建模型执行，所述图像重建模型包括初始化的通道压缩卷积核和初始化的通道膨胀卷积核；所述基于所述尺度变换权重信息对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征，包括：将所述尺度变换权重信息分别与所述初始化的通道压缩卷积核、所述初始化的通道膨胀卷积核进行点乘处理，得到目标通道压缩卷积核和目标通道膨胀卷积核；通过所述目标通道压缩卷积核和目标通道膨胀卷积核，对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。9.根据权利要求1至8任意一项所述的方法，其特征在于，所述方法由图像重建模型执行，所述图像重建模型通过训练步骤得到，所述训练步骤包括：获取样本全向图像和所述样本全向图像对应的重建标签；通过待训练的图像重建模型基于所述样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个所述样本像素点的样本...

【专利技术属性】
技术研发人员：李艾瑾，李根，孙磊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：