全景图像和全景视频超分辨处理方法、设备和产品技术

本申请涉及图像处理技术领域，提供一种全景图像和全景视频超分辨处理方法、设备和产品，能够使全景图像更清晰的同时保留更多图像细节，有效优化超分辨重建效果。所述方法包括：获取全景图像，以及获得预先训练完成的可逆神经网络模型；可逆神经网络模型包括去形变网络及去形变网络对应的形变还原网络；将全景图像输入可逆神经网络模型，由可逆神经网络模型中的去形变网络将全景图像转换为去形变全景图像，并将去形变全景图像输出至超分辨网络，由超分辨网络获取去形变全景图像的超分辨图像；将去形变全景图像的超分辨图像输入形变还原网络，由形变还原网络将去形变全景图像的超分辨图像转换为全景图像的超分辨图像。辨图像转换为全景图像的超分辨图像。辨图像转换为全景图像的超分辨图像。

【技术实现步骤摘要】
全景图像和全景视频超分辨处理方法、设备和产品


[0001]本申请涉及图像处理
，特别是涉及一种全景图像超分辨处理方法、全景视频超分辨处理方法、计算机设备和计算机程序产品。

技术介绍

[0002]随着计算机技术发展，全景图像的拍摄日益普及。全景图像是一种通过指定拍摄设备进行多角度拍摄的图像，受限于设备性能的约束，虽然全景图像的拍摄视野更广，场景更加丰富，但存在图像模糊的情况。
[0003]在相关技术中，可以通过超分辨率处理模型对全景图像进行处理，然而处理效果不佳，存在全景图像细节丢失较多的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种全景图像超分辨处理方法、全景视频超分辨处理方法、计算机设备和计算机程序产品。
[0005]第一方面，本申请提供了一种全景图像超分辨处理方法。所述方法包括：
[0006]获取全景图像，以及获得预先训练完成的可逆神经网络模型；所述可逆神经网络模型包括去形变网络及所述去形变网络对应的形变还原网络；
[0007]将所述全景图像输入可逆神经网络模型，由所述可逆神经网络模型中的去形变网络将所述全景图像转换为去形变全景图像，并将所述去形变全景图像输出至超分辨网络，由所述超分辨网络获取所述去形变全景图像的超分辨图像；
[0008]将所述去形变全景图像的超分辨图像输入所述形变还原网络，由所述形变还原网络将所述去形变全景图像的超分辨图像转换为所述全景图像的超分辨图像。
[0009]第二方面，本申请还提供了一种全景视频超分辨处理方法。所述方法包括：
[0010]接收到终端发送的全景视频后，对所述全景视频进行分帧，得到多帧全景图像；
[0011]根据如上任一项所述的全景图像超分辨处理方法，获取所述多帧全景图像中每一帧全景图像的超分辨图像；
[0012]根据所述多帧全景图像中每一帧全景图像的超分辨图像，得到所述全景视频的超分辨全景视频；
[0013]将所述全景视频的超分辨全景视频发送至所述终端。
[0014]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0015]获取全景图像，以及获得预先训练完成的可逆神经网络模型；所述可逆神经网络模型包括去形变网络及所述去形变网络对应的形变还原网络；
[0016]将所述全景图像输入可逆神经网络模型，由所述可逆神经网络模型中的去形变网络将所述全景图像转换为去形变全景图像，并将所述去形变全景图像输出至超分辨网络，由所述超分辨网络获取所述去形变全景图像的超分辨图像；
[0017]将所述去形变全景图像的超分辨图像输入所述形变还原网络，由所述形变还原网络将所述去形变全景图像的超分辨图像转换为所述全景图像的超分辨图像。
[0018]第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0019]接收到终端发送的全景视频后，对所述全景视频进行分帧，得到多帧全景图像；
[0020]根据如上任一项所述的全景图像超分辨处理方法，获取所述多帧全景图像中每一帧全景图像的超分辨图像；
[0021]根据所述多帧全景图像中每一帧全景图像的超分辨图像，得到所述全景视频的超分辨全景视频；
[0022]将所述全景视频的超分辨全景视频发送至所述终端。
[0023]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0024]获取全景图像，以及获得预先训练完成的可逆神经网络模型；所述可逆神经网络模型包括去形变网络及所述去形变网络对应的形变还原网络；
[0025]将所述全景图像输入可逆神经网络模型，由所述可逆神经网络模型中的去形变网络将所述全景图像转换为去形变全景图像，并将所述去形变全景图像输出至超分辨网络，由所述超分辨网络获取所述去形变全景图像的超分辨图像；
[0026]将所述去形变全景图像的超分辨图像输入所述形变还原网络，由所述形变还原网络将所述去形变全景图像的超分辨图像转换为所述全景图像的超分辨图像。
[0027]第六方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0028]接收到终端发送的全景视频后，对所述全景视频进行分帧，得到多帧全景图像；
[0029]根据如上任一项所述的全景图像超分辨处理方法，获取所述多帧全景图像中每一帧全景图像的超分辨图像；
[0030]根据所述多帧全景图像中每一帧全景图像的超分辨图像，得到所述全景视频的超分辨全景视频；
[0031]将所述全景视频的超分辨全景视频发送至所述终端。
[0032]上述全景图像超分辨处理方法、全景视频超分辨处理方法、计算机设备和计算机程序产品，可以获取全景图像，以及获得预先训练完成的可逆神经网络模型，该可逆神经网络模型包括去形变网络及去形变网络对应的形变还原网络；进而可以将全景图像输入可逆神经网络模型，由可逆神经网络模型中的去形变网络将全景图像转换为去形变全景图像，并将去形变全景图像输出至超分辨网络，由超分辨网络获取去形变全景图像的超分辨图像，将去形变全景图像的超分辨图像输入形变还原网络，然后由形变还原网络将去形变全景图像的超分辨图像转换为全景图像的超分辨图像。本实施例通过去除全景图像中的图像形变，能够使待进行超分辨处理的全景图像与超分辨网络更匹配，避免全景图像中原有的图像形变作为干扰影响超分辨网络的处理，使得最终得到的超分辨图像更加清晰同时保留更多图像细节，且消除了图像噪声，有效优化超分辨重建效果。
附图说明
[0033]图1为一个实施例中一种全景图像超分辨处理方法的流程示意图；
[0034]图2为一个实施例中一种全景图像样本；
[0035]图3
‑
a为一个实施例中一种去形变后的全景图像；
[0036]图3
‑
b为一个实施例中另一种去形变后的全景图像；
[0037]图4为一个实施例中一种训练超分辨网络的流程示意图；
[0038]图5为一个实施例中一种全景视频超分辨处理方法的应用环境图；
[0039]图6为一个实施例中一种全景视频超分辨处理方法的流程示意图；
[0040]图7为一个实施例中另一种全景视频超分辨处理方法的流程示意图；
[0041]图8为一个实施例中计算机设备的内部结构图。
具体实施方式
[0042]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0043]在一个实施例中，如图1所示，提供了一种全景图像超分辨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景图像超分辨处理方法，其特征在于，所述方法包括：获取全景图像，以及获得预先训练完成的可逆神经网络模型；所述可逆神经网络模型包括去形变网络及所述去形变网络对应的形变还原网络；将所述全景图像输入可逆神经网络模型，由所述可逆神经网络模型中的去形变网络将所述全景图像转换为去形变全景图像，并将所述去形变全景图像输出至超分辨网络，由所述超分辨网络获取所述去形变全景图像的超分辨图像；将所述去形变全景图像的超分辨图像输入所述形变还原网络，由所述形变还原网络将所述去形变全景图像的超分辨图像转换为所述全景图像的超分辨图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取全景图像样本以及所述全景图像样本的去形变全景图像；将所述全景图像样本输入待训练的可逆神经网络模型，由所述待训练的可逆神经网络模型中的去形变网络输出预测的去形变全景图像至所述超分辨网络，以供所述超分辨网络输出所述预测的去形变全景图像的超分辨图像；将所述预测的去形变全景图像的超分辨图像输入所述待训练的可逆神经网络模型，由所述待训练的可逆神经网络模型中的形变还原网络输出预测的所述全景图像样本的超分辨图像；根据所述全景图像样本、全景图像样本的去形变全景图像、预测的去形变全景图像以及预测的所述全景图像样本的超分辨图像，确定所述待训练的可逆神经网络模型的模型损失；根据所述模型损失调整所述待训练的可逆神经网络模型的模型参数，直到满足训练结束条件，得到训练好的可逆神经网络模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述全景图像样本、所述全景图像样本的去形变全景图像、所述预测的去形变全景图像以及预测的所述全景图像样本的超分辨图像，确定所述待训练的可逆神经网络模型的模型损失，包括：根据所述全景图像样本与所述预测的所述全景图像样本的超分辨图像得到第一损失；根据所述预测的去形变全景图像与预设去形变内容的相关程度，得到第二损失；根据所述全景图像样本的去形变全景图像与所述预测的去形变全景图像得到第三损失；根据所述第一损失、第二损失和第三损失确定所述待训练的可逆神经网络模型的模型损失。4.根据权利要求2所述的方法，其特征在于，获取全景图像...

【专利技术属性】
技术研发人员：洪国伟，梁乔惠，董治，姜涛，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：