一种图像处理方法、装置及电子设备制造方法及图纸

本申请提供一种图像处理方法、装置及电子设备，所述方法包括，获取参考帧图像和目标帧图像的特征信息；将所述参考帧图像的特征信息嵌入参考矩阵Query；将所述目标帧图像的特征信息嵌入第一目标矩阵Key和第二目标矩阵Value；针对所述参考矩阵Query中的图像位置p，根据所述参考矩阵Query与所述第一目标矩阵Key进行相似性度量，得到所述图像位置p对应所述第一目标矩阵Key中的对齐位置；基于所述对齐位置和所述第二目标矩阵Value进行对齐处理。本申请能够降低图像处理方法中对齐模块的计算量。计算量。计算量。

【技术实现步骤摘要】
一种图像处理方法、装置及电子设备


[0001]本申请实施例涉及图像处理领域，尤其涉及一种图像处理方法、装置及电子设备。

技术介绍

[0002]在夜景或暗光环境下，拍摄装置获得的单帧图像噪声程度高，而通过连续拍摄多帧数据进行图像融合的处理方法，能够在有效降低噪声的同时保持丰富的图像细节，是目前较为主流的低光成像解决方案。然而在夜景或暗光环境下拍摄多帧图像时，较长的拍摄时间会导致拍摄装置存在明显的抖动，使得采集到的各帧图像之间存在运动。因此，需要在多帧融合降噪方法中设计对齐模块，实现帧间对齐功能，保证融合效果。
[0003]现有的对齐模块使用PCD结构，包含多层卷积，计算量过大，在算法落地和实际应用上难度较大。

技术实现思路

[0004]本申请提供一种图像处理方法、装置及电子设备，基于注意力机制的对齐结构，通过局部区域匹配信息对齐的方式，减少了卷积层，有效降低了对齐模块的计算量。
[0005]第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取参考帧图像和目标帧图像的特征信息；将所述参考帧图像的特征信息嵌入参考矩阵Query；将所述目标帧图像的特征信息嵌入第一目标矩阵Key和第二目标矩阵Value；针对所述参考矩阵Query中的图像位置p，根据所述参考矩阵Query与所述第一目标矩阵Key进行相似性度量，得到所述图像位置p对应所述第一目标矩阵Key中的对齐位置；基于所述对齐位置和所述第二目标矩阵Value进行对齐处理。
[0006]在一些可能的实现方式中，所述针对所述参考矩阵Query中的图像位置p，根据所述参考矩阵Query与所述第一目标矩阵Key进行相似性度量，得到所述图像位置p对应所述第一目标矩阵Key中的对齐位置，还包括：对应所述参考矩阵Query中的图像位置p，在所述第一目标矩阵Key上获取以所述图像位置p为中心的尺寸为s
×
s的第一局部区域K
p
(q)；在所述第二目标矩阵Value上获取以所述图像位置p为中心的尺寸为s
×
s的第二局部区域V
p
(q)，其中，q为局部区域内的位置；针对所述参考矩阵Query中的图像位置p，在所述第一目标矩阵Key的所述第一局部区域K
p
(q)上进行相似性度量得到s
×
s的二维相似性矩阵Sim
p
(q)；所述二维相似性矩阵Sim
p
(q)的极大值位置为所述图像位置p对应所述第一目标矩阵Key中的对齐位置。
[0007]在一些可能的实现方式中，所述基于所述对齐位置和所述第二目标矩阵Value进行对齐处理，还包括：对所述二维相似性矩阵Sim
p
(q)进行非极大值抑制处理并生成二维高斯核权重；基于所述二维高斯核权重对二维相似性矩阵Sim
p
(q)进行加权的Softmax归一化得到聚合权重；根据所述聚合权重对所述第二目标矩阵Value上的所述第二局部区域V
p
(q)进行聚合得到输出的对齐结果。
[0008]在一些可能的实现方式中，所述对所述二维相似性矩阵Sim
p
(q)进行非极大值抑
制处理，还包括：通过所述第一局部区域K
p
(q)内的各位置q的自适应权重求加权和的方式得到所述极大值位置q
c
；以所述极大值位置q
c
为中心生成二维高斯核权重从而进行非极大值抑制处理。
[0009]在一些可能的实现方式中，所述基于所述聚合权重对所述第二目标矩阵Value上的第二局部区域V
p
(q)进行聚合输出对齐结果，包括：将所述聚合权重进行维度变换为1行、s2列的矩阵，将所述第二局部区域V
p
(q)转换为s2行、C列的矩阵；对所述聚合权重和所述第二目标矩阵Value上第二局部区域V
p
(q)进行矩阵乘法，对乘积进行维度变换，得到目标帧图像在每个所述图像位置p的对齐图像特征。
[0010]在一些可能的实现方式中，所述方法还包括：
[0011]获取N帧原始图像数据作为输入图像；将N帧输入图像的中间帧选定为参考帧图像；以及将所述参考帧图像外的其他N
‑
1帧图像的每一帧选定为目标帧图像。
[0012]在一些可能的实现方式中，所述方法还包括：将所述参考帧图像和所述N
‑
1帧所述目标帧图像的对齐图像进行融合；基于融合后的图像进行解码确定输出图像。
[0013]第二方面，本申请实施例提供了一种图像处理装置，包括：
[0014]特征获取模块，用于获取参考帧图像和目标帧图像的特征信息；第一特征嵌入模块，用于将所述参考帧图像的特征信息嵌入参考矩阵Query；第二特征嵌入模块，用于将所述目标帧图像的特征信息嵌入第一目标矩阵Key和第二目标矩阵Value；相似性度量模块，用于针对所述参考矩阵Query中的图像位置p，根据所述参考矩阵Query与所述第一目标矩阵Key进行相似性度量，得到所述图像位置p对应所述第一目标矩阵Key中的对齐位置；位置对齐模块，用于基于所述对齐位置和所述第二目标矩阵Value进行对齐处理。
[0015]在一些可能的实现方式中，还包括：
[0016]输入模块，用于获取N帧原始图像数据作为输入图像；选择模块，用于将N帧输入图像的中间帧选定为参考帧图像；以及将所述参考帧图像外的其他N
‑
1帧图像的每一帧选定为目标帧图像。
[0017]在一些可能的实现方式中，还包括：
[0018]融合模块，用于将所述参考帧图像和N
‑
1帧所述目标帧图像的对齐图像进行融合；输出模块，用于基于融合后的图像进行解码确定输出图像。
[0019]第三方面，本申请实施例提供一种电子设备，包括：处理器；存储器；以及一个或多个计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序被所述处理器执行时，使得所述第一设备执行第一方面任一项所述的方法。
[0020]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行第一方面任一项所述的方法。
[0021]与现有技术相比，本申请实施例的有益效果在于：本申请实施例提出一种基于注意力机制的对齐思路，通过提供局部区域匹配信息的方式，以较少的计算量替代现有技术中多层卷积的工作，有效降低了对齐模块的计算量。
附图说明
[0022]图1是现有的PCD对齐模块的示意图；
[0023]图2是本申请实施例提供的图像数据处理方法的流程示意图；
[0024]图3是本申请另一实施例提供的图像数据处理方法的步骤S4的流程示意图；
[0025]图4是本申请实施例提供的局部区域相似性度量参考示意图；
[0026]图5是本申请再一实施例提供的图像数据处理方法的步骤S5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取参考帧图像和目标帧图像的特征信息；将所述参考帧图像的特征信息嵌入参考矩阵Query；将所述目标帧图像的特征信息嵌入第一目标矩阵Key和第二目标矩阵Value；针对所述参考矩阵Query中的图像位置p，根据所述参考矩阵Query与所述第一目标矩阵Key进行相似性度量，得到所述图像位置p对应所述第一目标矩阵Key中的对齐位置；基于所述对齐位置和所述第二目标矩阵Value进行对齐处理。2.根据权利要求1所述的方法，其特征在于，其中，所述针对所述参考矩阵Query中的图像位置p，根据所述参考矩阵Query与所述第一目标矩阵Key进行相似性度量，得到所述图像位置p对应所述第一目标矩阵Key中的对齐位置，还包括：对应所述参考矩阵Query中的图像位置p，在所述第一目标矩阵Key上获取以所述图像位置p为中心的尺寸为s
×
s的第一局部区域K
p
(q)；在所述第二目标矩阵Value上获取以所述图像位置p为中心的尺寸为s
×
s的第二局部区域V
p
(q)，其中，q为局部区域内的位置；针对所述参考矩阵Query中的图像位置p，在所述第一目标矩阵Key的所述第一局部区域K
p
(q)上进行相似性度量得到s
×
s的二维相似性矩阵Sim
p
(q)；所述二维相似性矩阵Sim
p
(q)的极大值位置为所述图像位置p对应所述第一目标矩阵Key中的对齐位置。3.根据权利要求2所述的方法，其特征在于，其中，所述基于所述对齐位置和所述第二目标矩阵Value进行对齐处理，还包括：对所述二维相似性矩阵Sim
p
(q)进行非极大值抑制处理并生成二维高斯核权重；基于所述二维高斯核权重对二维相似性矩阵Sim
p
(q)进行加权的Softmax归一化得到聚合权重；根据所述聚合权重对所述第二目标矩阵Value上的所述第二局部区域V
p
(q)进行聚合得到输出的对齐结果。4.根据权利要求3所述的方法，其特征在于，所述对所述二维相似性矩阵Sim
p
(q)进行非极大值抑制处理，还包括：通过所述第一局部区域K
p
(q)内的各位置q的自适应权重求加权和的方式得到所述极大值位置q
c
；以所述极大值位置q
c
为中心生成二维高斯核权重从而进行非极大值抑制处理。5.根据权利要求4所述的方法，其特征在于，所述基于所述聚合权重对所述...

【专利技术属性】
技术研发人员：罗澜，阮凌峰，黎铭浩，
申请(专利权)人：深圳市汇顶科技股份有限公司，
类型：发明
国别省市：