图像增强方法、装置、计算机设备及计算机可读存储介质制造方法及图纸

本申请涉及一种图像增强方法、装置、计算机设备及计算机可读存储介质。方法包括：获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；根据新视角图像和初始视角图像之间的差异确定第一光流信号；基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；根据目标融合特征进行图像重建，得到新视角下的目标图像。采用本申请，能够提高图像质量。能够提高图像质量。能够提高图像质量。

【技术实现步骤摘要】
图像增强方法、装置、计算机设备及计算机可读存储介质


[0001]本申请涉及图像处理
，特别是涉及一种图像增强方法、装置、计算机设备及计算机可读存储介质。

技术介绍

[0002]随着图像处理技术的发展，出现了新视角合成技术，通过对已有图像的分析和处理，获得额外的视角信息，从而合成一个全景或者新的视角。新视角合成技术的应用非常广泛，比如，在虚拟现实和增强现实中，用于提供更加真实的观感和交互体验。
[0003]传统的新视角合成技术中，在处理图像细节和纹理时，容易产生退化现象，如图像模糊、锯齿和失真等，导致新视角合成的图像质量不高。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种提高图像质量的图像增强方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够实现。
[0005]第一方面，本申请提供了一种图像增强方法，包括：获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；根据新视角图像和初始视角图像之间的差异确定第一光流信号；基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；根据目标融合特征进行图像重建，得到新视角下的目标图像。
[0006]第二方面，本申请提供了一种图像增强装置，包括：获取模块，用于获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；确定模块，用于根据新视角图像和初始视角图像之间的差异确定第一光流信号；融合模块，用于基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；重建模块，用于根据目标融合特征进行图像重建，得到新视角下的目标图像。
[0007]第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
[0008]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
[0009]第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。
[0010]上述图像增强方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图
像；根据新视角图像和初始视角图像之间的差异确定第一光流信号，第一光流信号反映了由初始视角图像到新视角图像的像素运动情况，第一光流信号能够在新视角特征和初始视角特征的融合过程中提供准确的监督方向；进而基于第一光流信号，将新视角图像的新视角特征和初始视角图像的初始视角特征进行融合，得到目标融合特征；根据目标融合特征进行图像重建，能够得到相较于新视角图像质量更高的新视角下的目标图像，提高了图像质量。
附图说明
[0011]图1为本申请实施例提供的一种图像增强方法的流程示意图；图2为本申请实施例提供的一种多视角图像聚合器的结构示意图；图3为本申请实施例提供的一种特征聚合单元的结构示意图；图4为本申请实施例提供的一种新视角图像、基于第一损失训练的多视角图像聚合器输出的增强图像、基于第二损失训练的多视角图像聚合器输出的增强图像以及标签图像；图5为本申请实施例提供的一种基于图像相似块的加权监督损失函数的示意图；图6为本申请实施例提供的一种双阶段退化模拟器的示意图；图7为本申请实施例提供的一种图像增强装置的结构框图；图8为本申请实施例提供的一种计算机设备的内部结构图；图9为本申请实施例提供的另一种计算机设备的内部结构图；图10为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
[0012]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0013]如图1所示，本申请实施例提供了一种图像增强方法，以该方法应用于计算机设备为例进行说明。该方法包括以下步骤：S102、获取新视角图像；新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像。
[0014]其中，新视角图像中存在图像退化情况。图像退化情况是指在新视角图像获取的过程中，由于各种因素的影响而使得图像质量降低的现象。初始视角图像是已知的视角图像。
[0015]在一些实施例中，初始视角图像可以为至少两个。新视角图像是根据至少两个初始视角图像进行新视角合成得到的。
[0016]在一些实施例中，计算机设备可以将初始视角图像输入至神经辐射场模型，获取神经辐射场模型输出的新视角图像。
[0017]在一些实施例中，计算机设备可以通过使用三维建模方法，从多个初始视角图像中重建出场景的三维模型。然后，可以根据需要选择一个或多个视角进行相机参数估计，从而合成新视角图像。
[0018]在一些实施例中，计算机设备可以通过将初始视角图像投影到一个平面上，然后根据新的视角从该平面上重新渲染图像，得到新视角图像。
[0019]在一些实施例中，计算机设备可以通过至少两个初始视角图像，计算出场景的深度信息，并利用深度信息来合成新视角图像。
[0020]在一些实施例中，计算机设备可以包括终端或服务器中的至少一种。可以理解，本申请实施例提供的方法可以应用于终端或服务器，也可以应用于包括终端和服务器的系统，通过终端和服务器的交互实现。
[0021]其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0022]S104、根据新视角图像和初始视角图像之间的差异确定第一光流信号。
[0023]其中，第一光流信号用于表征在新视角图像和初始视角图像之间像素点的运动情况。
[0024]在一些实施例中，计算机设备可以使用光流算法通过分析像素点在初始视角图像和新视角图像间的差异，推理出像素点的运动情况，得到第一光流信号。
[0025]在一些实施例中，计算机设备可以使用基于亮度差异的光流算法，通过分析像素点在初始视角图像和新视角图像间的差异，得到第一光流信号。
[0026]在一些实施例中，计算机设备可以使用基于特征点的光流算法，通过提取初始视角图像和新视角图像中的特征点，并通过特征点在初始视角图像和新视角图像间的位置偏移，得到第一光流信号。
[0027]在一些实施例中，第一光流信号用于表征在新视角图像和初始视角图像之间像素点的运动方向和速度。
[0028]在一些实施例中，初始视角图像为多个。计算机设备可以根据每个初始视角图像和新视角图像之间的差异，确定该初始视角图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像增强方法，其特征在于，包括：获取新视角图像；所述新视角图像是根据初始视角图像进行新视角合成得到的新视角下的图像；根据所述新视角图像和所述初始视角图像之间的差异确定第一光流信号；基于所述第一光流信号，将所述新视角图像的新视角特征和所述初始视角图像的初始视角特征进行融合，得到目标融合特征；根据所述目标融合特征进行图像重建，得到所述新视角下的目标图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述初始视角图像进行多层级特征提取，得到多层级的初始视角特征；所述基于所述第一光流信号，将所述新视角图像的新视角特征和所述初始视角图像的初始视角特征进行融合，得到目标融合特征，包括：基于所述第一光流信号对所述新视角特征和所述多层级的初始视角特征中最后一层级的初始视角特征进行融合，得到最后一层级的目标融合特征；将所述最后一层级作为当前层级，基于所述第一光流信号对所述当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征；将所述上一层级作为新的当前层级，返回所述基于所述第一光流信号对所述当前层级的目标融合特征和所述上一层级的初始视角特征进行融合的步骤，直至得到各个层级的目标融合特征。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标融合特征进行图像重建，得到所述新视角下的目标图像，包括：根据所述最后一层级的目标融合特征进行图像重建，得到所述最后一层级的重建结果；将所述最后一层级作为当前层级，根据所述当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到所述上一层级的重建结果；将所述上一层级作为新的当前层级，返回根据所述当前层级的重建结果和上一层级的目标融合特征进行图像重建，得到所述上一层级的重建结果的步骤，直至得到各个层级的重建结果；根据所述各个层级的重建结果确定所述新视角下的目标图像。4.根据权利要求2所述的方法，其特征在于，所述基于所述第一光流信号对所述当前层级的目标融合特征和上一层级的初始视角特征进行融合，得到上一层级的目标融合特征，包括：对所述第一光流信号、所述当前层级的目标融合特征和上一层级的初始视角特征进行拼接处理，得到上一层级的拼接特征；根据所述第一光流信号和所述上一层级的拼接特征进行可变形卷积，得到上一层级的可形变特征；根据所述上一层级的可形变特征进行三维卷积，得到上一层级的目标融合特征。5.根据权利要求1所述的方法，其特征在于，所述根据所述新视角图像和所述初始视角图像之间的差异确定第一光流信号，包括：对所述新视角图像和所述初始视角图像降低分辨率，分别得到新视角低分结果和初始
视角低分结果；根据所述新视角低分结果和所述初始视角低分结果之间的差异确定第一光流信号。6.根据权利要求1至5任一项所述的方法，其特征在于，所述目标图像是将所述新视角图像和所述初始视角图像作为多视角图像聚合器...

【专利技术属性】
技术研发人员：周昆，李文博，蒋念娟，吕江波，沈小勇，
申请(专利权)人：北京思谋智能科技有限公司，
类型：发明
国别省市：