一种图像处理方法、装置及相关设备制造方法及图纸

本公开提供一种图像处理方法、装置及相关设备，涉及图像处理的技术领域。图像处理方法包括：获取光场图像；提取所述光场图像的角度特征和空间特征；根据所述角度特征提取角度信息，以及根据所述空间特征提取空间信息；融合所述角度信息和所述空间信息生成重建光场图像。本发明专利技术实施例通过提取光场图像的角度特征和空间特征，进一步提取光场图像的角度信息和空间信息，融合获得重建光场图像，能够充分利用光场图像的空间和角度信息，有助于提高提取图像特征的性能。图像特征的性能。图像特征的性能。

【技术实现步骤摘要】
一种图像处理方法、装置及相关设备


[0001]本公开涉及图像处理
，具体涉及一种图像处理方法、装置及相关设备。

技术介绍

[0002]光场图像记录了三维场景中入射光线的方向和位置信息，已经广泛应用于深度估计、新视点生成、目标检测和三维重建等计算机视觉任务。但是，相关技术中，在低照度等特定条件下采集的图像容易出现对比度低，细节模糊和引入噪声等问题，导致图像质量较低，进而影响计算机视觉系统的性能。

技术实现思路

[0003]本公开的目的在于提供一种图像处理方法、装置及相关设备，用于解决低照度等特定条件下，提取的图像质量较低的技术问题。
[0004]第一方面，本公开实施例提供了一种图像处理方法，所述方法包括：
[0005]获取光场图像；
[0006]提取所述光场图像的角度特征和空间特征；
[0007]根据所述角度特征提取角度信息，以及根据所述空间特征提取空间信息；
[0008]融合所述角度信息和所述空间信息生成重建光场图像。
[0009]在其中一些实施例中，所述根据所述角度特征提取角度信息，包括：
[0010]将所述角度特征输入三维卷积，以扩充所述角度特征的通道数量；
[0011]将三维卷积输出的所述角度特征输入三维残差网络提取所述光场图像的角度信息。
[0012]在其中一些实施例中，所述根据所述空间特征提取空间信息，包括：
[0013]将所述空间特征输入三维卷积，以扩充所述空间特征的通道数量；
[0014]将三维卷积输出的空间特征输入长短程特征提取器提取所述光场图像的空间信息。
[0015]在其中一些实施例中，所述长短程特征提取器包括交替设置的多个Swin Transformer和三维卷积。
[0016]在其中一些实施例中，利用Swin Transformer提取所述光场图像的空间信息，包括：
[0017]将三维卷积输出的空间特征分配至非重叠局部窗口；
[0018]通过多头注意力层分别计算各所述非重叠局部窗口的自注意力；
[0019]将所述多头注意力层的计算结果输入多层感知层进行特征转换获得所述光场图像的空间信息。
[0020]在其中一些实施例中，所述融合所述度信息和所述空间信息生成重建光场图像，包括：
[0021]将所述角度信息和所述空间信息在通道维连接；
[0022]将连接后的所述角度信息和所述空间信息输入四维残差网络进行特征融合；
[0023]根据特征融合的融合结果进行光场信息的重建获得重建光场图像。
[0024]在其中一些实施例中，所述根据特征融合的融合结果进行光场信息的重建获得重建光场图像，包括：
[0025]将特征融合的融合结果输入三维卷积，通过三维卷积对所述融合结果的整体特征的每个三维单元进行均匀采样；
[0026]根据所述均匀采样的采样结果利用四维卷积核，在四维空间中建模各所述三维单元的短期三维特征和长期特征变化，以融合光场图像的角度信息和空间信息获得重建光场图像。
[0027]第二方面，本公开实施例还提供一种图像处理装置，所述装置包括：
[0028]获取模块，用于获取光场图像；
[0029]特征提起模块，用于提取所述光场图像的角度特征和空间特征；
[0030]信息提取模块，用于根据所述角度特征提取角度信息，以及根据所述空间特征提取空间信息；
[0031]第三方面，本公开实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的图像处理方法的步骤。
[0032]第四方面，本公开实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法的步骤。
[0033]本专利技术实施例通过提取光场图像的角度特征和空间特征，进一步提取光场图像的角度信息和空间信息，融合获得重建光场图像，能够充分利用光场图像的空间和角度信息，有助于提高提取图像特征的性能。
附图说明
[0034]为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本公开实施例提供的一种图像处理方法的流程示意图；
[0036]图2是本公开实施例提供的网络模型的结构图；
[0037]图3是本公开实施例提供的图像融合结果示意图；
[0038]图4是本公开实施例提供的一种图像处理装置的结构示意图；
[0039]图5是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0040]下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例，都属于本公开保护的范围。
[0041]本公开实施例提供一种图像处理方法，如图1所示，所述方法包括：
[0042]步骤101、获取光场图像。
[0043]示例性的，上述光场图像可以为通过具有光场图像采集功能的摄像设备直接采集的图像，也可以为终端设备向服务器上传的图像，本公开对光场图像的获取方式不作限定。区别于二维图像，光场图像记录了三维场景中入射光线的方向和位置信息。
[0044]步骤102：提取所述光场图像的角度特征和空间特征。
[0045]本实施例中，将光场图像进行reshape(重构)操作得到初始角度特征和初始空间特征。
[0046]在其中一个实施例中，具体而言，将原始获得的光场图像分解为15*15张空间分辨率为434*625的子视点，为减少计算成本，本专利技术取中心视点及其相邻区域的5*5张子视点用于网络训练。接下来，将处理后的光场图像随机裁剪为128*128，得到大小为(C，U，V，H，W)的五维数据。其中，C为3，表示RGB通道；角度分辨率(U，V)为(5，5)；空间分辨率(H，W)为(128，128)。
[0047]可以理解的是，在另外一些实施例中，可以根据需要调整对于光场图像的分解数量、尺寸等相关信息，本实施例中对此不做进一步限定和描述。
[0048]步骤103：根据所述角度特征提取角度信息，以及根据所述空间特征提取空间信息。
[0049]接下来，根据提取角度特征中的角度信息，以及空间特征中的空间信息。
[0050]在其中一些实施例中，所述根据所述角度特征提取角度信息，包括：
[0051]将所述角度特征输入三维卷积，以扩充所述角度特征的通道数量；
[0052]将三维卷积输出的所述角度特征输入三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取光场图像；提取所述光场图像的角度特征和空间特征；根据所述角度特征提取角度信息，以及根据所述空间特征提取空间信息；融合所述角度信息和所述空间信息生成重建光场图像。2.如权利要求1所述的方法，其特征在于，所述根据所述角度特征提取角度信息，包括：将所述角度特征输入三维卷积，以扩充所述角度特征的通道数量；将三维卷积输出的所述角度特征输入三维残差网络提取所述光场图像的角度信息。3.如权利要求1所述的方法，其特征在于，所述根据所述空间特征提取空间信息，包括：将所述空间特征输入三维卷积，以扩充所述空间特征的通道数量；将三维卷积输出的空间特征输入长短程特征提取器提取所述光场图像的空间信息。4.如权利要求3所述的方法，其特征在于，所述长短程特征提取器包括交替设置的多个Swin Transformer和三维卷积。5.如权利要求4述的方法，其特征在于，利用Swin Transformer提取所述光场图像的空间信息，包括：将三维卷积输出的空间特征分配至非重叠局部窗口；通过多头注意力层分别计算各所述非重叠局部窗口的自注意力；将所述多头注意力层的计算结果输入多层感知层进行特征转换获得所述光场图像的空间信息。6.如权利要求1或2所述的方法，其特征在于，所述融合所述度信息和所述空间信息生成重建光场图像，包括：将所述...

【专利技术属性】
技术研发人员：李明悦，黄智国，汤剑，钱岭，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：