System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于感知增强结构块分解的多曝光图像融合方法技术_技高网
当前位置: 首页 > 专利查询>中南大学专利>正文

基于感知增强结构块分解的多曝光图像融合方法技术

技术编号:39929134 阅读:9 留言:0更新日期:2024-01-08 21:40
本发明专利技术涉及图像处理方法,提供一种基于感知增强结构块分解的多曝光图像融合方法,包括如下步骤:S1.获取多张曝光源图像,将每张所述曝光源图像中的每个图像块分解为感知增益、信号强度、信号结构和平均强度;S2.使用对数拉伸方法估计所述感知增益;S3.对所述感知增益、所述信号强度、所述信号结构和所述平均强度分别进行融合,以获取融合感知增益、融合信号强度、融合信号结构和融合平均强度,重建融合图像块;S4.对所有的所述融合图像块进行整合,获取最终的融合图像。本发明专利技术基于感知增强结构块分解的多曝光图像融合方法在不同曝光率下都能得到信息丰富且感知真实的结果。

【技术实现步骤摘要】

本专利技术涉及图像处理方法,具体地,涉及一种基于感知增强结构块分解的多曝光图像融合方法


技术介绍

1、场景的动态范围比成像设备要宽得多。因此,传统的成像设备单次拍摄难以很好地记录高动态范围(hdr)场景,产生曝光不足或过度曝光的效果。hdr成像技术正是为了解决这一问题而提出的,并引起了学术界和产业界的高度关注。

2、为了重建hdr图像,一种常用的方法是使用反转相机响应函数(crf),然后在亮度域进行色调映射。由于crf估计和色调映射器的设计困难,多曝光图像融合(mef)是一种经济、方便的hdr成像方法。mef旨在通过整合不同曝光的图像来很好地呈现hdr场景。目前的mef算法大致可以分为传统方法和基于深度学习的方法。现有技术存在一种基于结构块分解的mef(spd-mef)方法,这是传统方法中的代表性算法。在spd-mef方法中,图像块被分解为信号强度、信号结构和平均强度。实验结果表明,spd-mef方法达到了最先进的性能。然而,这种算法的计算成本很高。为了加快spd-mef方法的速度,提出了快速多尺度版本的mspd-mef,忽略了归一化算子,mspd-mef方法已经证明了其相对于spd-mef的优势。但是,在曝光条件较差的情况下,mspd-mef方法由于忽略了感知因素,无法从原始源图像中恢复出丰富的信息,重构出了不真实的结果。

3、近年来,深度学习已成功应用于红外与可见光图像融合、多聚焦图像融合、偏振图像融合以及多曝光图像融合等图像融合任务中,因此,出现了一种用于静态场景的快速多曝光图像融合网络(mefnet)。mefnet通过优化感知校准的mef结构相似性(mef-ssim)以端到端方式训练,该网络可以融合任意空间分辨率和曝光数量的图像。difnet是一种利用结构张量表示作为损失函数的深度图像融合网络(difnet),而不是最大化mef-ssim。difnet由特征提取、特征融合和图像重建三个子网组成。此外,使用所有源图像的平均值作为假定的hdr图像来指导difnet的训练。现有技术还存在一种统一的无监督图像融合网络(u2fusion),该网络能够通过连续学习解决不同的融合问题。采用感知损失和结构相似约束,确保不同融合任务在同一框架下得到统一。虽然这些网络在一般的多曝光图像融合任务中表现良好,但在曝光条件较差的情况下,由于只使用源图像的信息,结果并不理想。为了获得信息丰富且视觉逼真的结果,一种深度感知增强网络(dpe-mef)被提出。dpe-mef由两个子模块组成:细节增强和颜色增强。细节增强模块旨在通过寻求最佳局部曝光来生成增强图像。颜色增强用于学习颜色和亮度之间的关系。在极曝光图像融合方面,dpe-mef方法优于其他方法。但是,融合结果在视觉上不够逼真,dpe-mef倾向于重构有噪声的融合结果。


技术实现思路

1、本专利技术所要解决的技术问题是提供一种基于感知增强结构块分解的多曝光图像融合方法,该基于感知增强结构块分解的多曝光图像融合方法在不同曝光率下都能得到信息丰富且感知真实的结果。

2、为了解决上述技术问题,本专利技术提供了一种基于感知增强结构块分解的多曝光图像融合方法,包括如下步骤:

3、s1.获取多张曝光源图像,将每张所述曝光源图像中的每个图像块分解为感知增益、信号强度、信号结构和平均强度;

4、s2.使用对数拉伸方法估计所述感知增益;

5、s3.对所述感知增益、所述信号强度、所述信号结构和所述平均强度分别进行融合,以获取融合感知增益、融合信号强度、融合信号结构和融合平均强度,重建融合图像块;

6、s4.对所有的所述融合图像块进行整合,获取最终的融合图像。

7、具体地,在步骤s1中,获取k张所述曝光源图像,将大小为p×p×3的所述图像块重新排列成向量,表示为

8、

9、其中,为实数集;

10、所述图像块分解通过以下式子表示:

11、

12、其中,xk表示第k张图像归一化之后的向量(k为整数,取值范围1至k),||·||表示向量的l2范数,rk为第k张图像感知增益后的图像块,ik为第k张图像的所述感知增益,ck为第k张图像的所述信号强度,sk为第k张图像的所述信号结构,μk为第k张图像的所述平均强度。

13、具体地,在步骤s2中,使用所述对数拉伸方法估计所述感知增益ik的表达式如下:

14、

15、其中,lkc为lk的修正值,lk表示所述向量xk的均值,mk表示第k张图像的所述图像块中的最大均值;

16、根据以下式子对lk进行修正:

17、lkc=max(min(lk,0.5),ξ)

18、其中,ξ设置为5/255。

19、具体地,在步骤s3中,采用各所述图像块中最大均值lk估计所述融合感知增益if的式子如下:

20、

21、其中lk(j)表示第k张图像的第j个图像块。

22、具体地,所述融合信号强度cf为所有所述图像块中的所述信号强度的最大值,其式子如下:

23、

24、具体地,所述融合信号结构sf是所述曝光源图像中结构的最优表示形式,其式子如下:

25、

26、其中,q是指数参数,q≥0。

27、具体地,所述融合平均强度μf基于局部偏差和所述图像块的良好曝光度计算得出:

28、

29、其中,权重αk表示为:

30、

31、其中,λ是常数,σk是标准差。

32、具体地,在步骤s3中,所述融合图像块xf重建式子如下:

33、

34、其中,

35、在步骤s4中,所述融合图像xf按以下式子整合得出:

36、

37、其中,⊙表示哈达玛乘积运算,ak为所有的αk以源图像的大小和排列方式进行整合得出,if为if以源图像的大小和排列方式进行整合得出,uk为μk以源图像的大小和排列方式进行整合得出,bk为βk以源图像的大小和排列方式进行整合得出,运算符φ(·)表示核大小为p×p的均值滤波器,rk为rk聚合后的均值滤波结果。

38、优选地,还包括步骤s5:将步骤s4获得的所述融合图像进行多尺度分解,以重新获得最终的所述融合图像。

39、具体地,步骤s5包括如下步骤:

40、a)令ek=if⊙ak,fk=if⊙bk,获取原始比例尺下的详细信息h(1):

41、

42、其中,和分别为处于原始比例尺下uk、ek和fk;

43、b)对进行n倍的下采样以获得第n尺度信息基于计算出得出第n尺度下的和根据以下公式得出第n尺度下的详细信息h(n):

44、

45、其中,n为整数,取值范围2至z,分解过程满足迭代条件:

46、

47、其中,h和w分别为图像的高度和宽度;

本文档来自技高网...

【技术保护点】

1.一种基于感知增强结构块分解的多曝光图像融合方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,在步骤S1中,获取K张所述曝光源图像,将大小为p×p×3的所述图像块重新排列成向量,表示为

3.根据权利要求2所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,在步骤S2中,使用所述对数拉伸方法估计所述感知增益ik的表达式如下:

4.根据权利要求3所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,在步骤S3中,采用各所述图像块中最大均值lk估计所述融合感知增益if的式子如下:

5.根据权利要求4所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,所述融合信号强度cf为所有所述图像块中所述信号强度的最大值,其式子如下:

6.根据权利要求5所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,所述融合信号结构sf是所述曝光源图像中结构的最优表示形式,其式子如下:

7.根据权利要求6所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,所述融合平均强度μf基于局部偏差和所述图像块的良好曝光度计算得出:

8.根据权利要求7所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,在步骤S3中,所述融合图像块xf重建式子如下:

9.根据权利要求8所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,还包括步骤S5:将步骤S4获得的所述融合图像进行多尺度分解,以重新获得最终的所述融合图像。

10.根据权利要求9所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,步骤S5包括如下步骤:

...

【技术特征摘要】

1.一种基于感知增强结构块分解的多曝光图像融合方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,在步骤s1中,获取k张所述曝光源图像,将大小为p×p×3的所述图像块重新排列成向量,表示为

3.根据权利要求2所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,在步骤s2中,使用所述对数拉伸方法估计所述感知增益ik的表达式如下:

4.根据权利要求3所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,在步骤s3中,采用各所述图像块中最大均值lk估计所述融合感知增益if的式子如下:

5.根据权利要求4所述的基于感知增强结构块分解的多曝光图像融合方法,其特征在于,所述融合信号强度cf为所有所述图像块中所述信号强度的最大值,其式子如下:<...

【专利技术属性】
技术研发人员:张俊超罗毅东黄俊彬乔成平
申请(专利权)人:中南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1