一种多视角LDR图像生成高分辨率HDR图像的方法技术

本发明专利技术公开了一种多视角LDR图像生成高分辨率HDR图像的方法，步骤(1)、获取两幅在同一直线上的不同视角的图像，且要求一个图像的视野内容与左右相邻两图像均有重合部分；步骤(2)、进行相邻两幅图像特征点的识别和匹配，将两幅图像中的公共部分提取出来；步骤(3)、对相邻两幅图像具有长短不同曝光的重合部分以对比度、饱和度和适度曝光量为三个测度因子生成权重图，进行多分辨率金字塔融合，生成具有HDR效果的图像；步骤(4)、获得具有类似HDR效果的两幅图像；步骤(5)、将具有类似HDR效果的两幅图像与重合部分融合生成的HDR图像，生成高分辨率HDR图像。本发明专利技术将融合与拼接过程结合，提高了多幅拼接的实时性以及在视频系统中的帧率与视觉效果。

A method of generating high resolution HDR images from multi view LDR images

The invention discloses a method for multi view LDR image to generate high resolution HDR images, step (1), get two pieces in the same line of the different angle of view image, and a vision of the picture content and around two adjacent image have overlapping part; step (2), in recognition of the two adjacent image feature points and matching, the public part of the two images are extracted; step (3), with different length of exposure to the overlapping part of two adjacent images in contrast, saturation and moderate exposure to the three generation measure factor weight maps, multi-resolution image fusion in Pyramid, generated with HDR effect; step (4), obtain two images with similar HDR effect; step (5), will have similar effects of HDR two generation image and overlap fusion of HDR images, the generation of high resolution HDR image. The invention combines the fusion and the splicing process, improves the real-time performance of the multiple splicing, and the frame rate and the visual effect in the video system.

【技术实现步骤摘要】
一种多视角LDR图像生成高分辨率HDR图像的方法
本专利技术涉及图像处理领域，特别是涉及一种生成高分辨率HDR图像的方法。
技术介绍
HDR图像的生成算法以及全景图像的拼接方法都是很早以前就有相关的研究，其中一些比较经典的算法已经发展的比较成熟。而将两者结合起来的HDR全景图像或视频的生成方法研究却是最近几年刚刚兴起的，主要是因为其符合社会发展的潮流，有很多应用的价值和前景。HDR全景图像的生成方法涉及多个环节，其中主要有包括图像获取、图像融合、图像拼接几个大类，每一部分均可考虑到不同的情况由不同的方法加以实现，此外，虽然每个部分看似相对独立，但是对于各部分的整合方法即整体设计也是研究人员们所重点关注的一部分内容。高分辨率HDR及全景HDR图像生成已经成为关注的焦点，众多学者和机构就此展开了研究。比如，FumioOkura等人将HDR全景应用于空中航拍，介绍了一套从空中获得HDR全景图像的完整系统，通过在无人机上下各固定一个立体相机，然后每个相机通过自动曝光控制获得LDR图像序列，再通过具体的融合算法得到HDR图像，最后将上下两个相机获得的HDR图像进行融合，得到最后的HDR全景图像。VladanPopovic等人设计了一个基于FPGA的图像处理系统，可以利用其所设计的环形图像采集设备实现实时地HDR全景帧的融合。每相邻两个摄像头一个曝光时间长，一个曝光时间短，利用其相邻图像的重合部分进行图像融合，最终生成一个全景的HDR图像帧，其所设计的系统方法对硬件的依赖性较高，不便于直接对图像进行处理。KvaleStensland等人通过不同角度的五个相机实现对足球场比赛现场的全面覆盖，通过拼接形成对整个足球场的全景影像，并且在每个角度，通过自动曝光获得长短曝光不同的两帧，对其融合生成HDR，再对各角度的HDR图像进行拼接形成最后的HDR全景图像帧。根本来讲，目前的方法大都是先在不同视角获得曝光时间不同的几帧低动态范围(LDR)图像，将其分别融合生成不同视角下的HDR图像，然后再对这些不同视角下的HDR图像进行拼接(如图一所示)，这种方法在获得图像上的时间成本比较长，而且将融合和拼接分步骤进行较为繁琐。
技术实现思路
基于现有技术，本专利技术提出了一种多视角LDR图像生成高分辨率HDR图像的方法，通过利用所获得不同视角LDR图像的重合部分，将融合与拼接结合进行，提出一种基于直方图匹配的高分辨率HDR图像生成方法。本专利技术提出了一种多视角LDR图像生成高分辨率HDR图像的方法，该方法包括以下步骤：步骤(1)、获取两幅在同一直线上的不同视角的图像，且相邻两个相机设置为不同的曝光时间，共有长短两种曝光时间，在相邻相机中交替，且要求一个图像的视野内容与左右相邻两图像均有重合部分；步骤(2)、利用surf算子进行相邻两幅图像特征点的识别和匹配，通过对匹配的特征点做平均运算得到平移视差的具体值，从而将两幅图像中的公共部分提取出来；具体做法为：首先利用Hessian矩阵求出各像素点的特征值，Hessian矩阵为其中，Lxx(x,σ)是原图像I经高斯滤波后得到的图像g(σ)在x方向的二阶导数，Lxy(x,σ)、Lyy(x,σ)也都是在各方向上g(σ)的二阶导数。计算特征值的公式为det(Happrox)＝DxxDyy-(0.9Dxy)2其中Dxx、Dyy、Dxy分别为海塞矩阵近似模板在相应方向上的二阶导数。若某点的特征值是其领域27个点中最大的，则可认为该点为特征点。如附图5所示为提取的图像中的部分特征点；获取特征点的特征向量，首先计算特征点的主方向，具体过程如下：1)统计以特征点为中心，正比于特征点尺度的某个数位半径，张角为60°的扇形区域内所有像素点的sumX＝(y方向小波变换响应)*(高斯函数)，sumY＝(x方向小波变换响应)*(高斯函数)，计算合成向量角度θ＝arctan(sumY/sumX)，模长sqrt(sumy*sumy+sumx*sumx)。2)将扇形沿逆时针旋转(一般取步长为0.1个弧度)，以同样方法计算合成向量。3)求出各方向扇形的合成向量模长最大值，其对应的角度即特征点主方向。获得特征向量具体过程如下：1)选定以特征点为中心的一块正方形区域，将其旋转与主方向对齐。2)将正方形分为4×4的16个子区域，对每个区域进行小波变换，得到4个系数。3)由上述两步，生成4×4×4＝64维向量。计算两向量内积，最大值为与该点最匹配的点，设定一具体阈值，只有当最大值大于这个阈值可认为两特征点匹配。步骤(3)、融合生成HDR图像：对相邻两幅图像具有长短不同曝光的重合部分以对比度、饱和度和适度曝光量为三个测度因子生成权重图，进行多分辨率金字塔融合，生成具有HDR效果的图像；融合的具体公式如下：其中Rij为融合生成的结果图像在(i,j)位置处的像素值，Lyy(x,σ)为第k幅输入图像对应位置像素值，为归一化后的权重值。对比度计算公式为：C＝|h*I|其中C表示对比度，I为待求对比度的图像，h为拉普拉斯滤波器。饱和度通过计算三个色度通道的标准差获得，具体计算公式如下：其中S表示饱和度，wC、IG、IB分别为R、G、B三个色彩通道的像素值，μ为其三者的均值。适度曝光量通过高斯曲线来估计，具体计算公式为：E＝ER×EG×EB其中E为图像总体的适度曝光量，ER、EG、EB分别为每一通道的适度曝光量，这里我们规定σ＝0.2。权重图计算公式为：wC＝wS＝wE＝1其中Cij,k、Sij,k、Eij,k分别为在第k幅图像中(i,j)位置处像素点的对比度、饱和度和适度曝光量。通过对三个测度因子相乘得到最终的权重值。wC、wS、wE用来表示三个测度因子在生成权重图中的“影响”大小。步骤(4)、求出参考图像即步骤(3)中融合生成的HDR图像每个颜色通道的直方图，以重合部分融合生成的HDR图像为参考，对获得的两幅原始LDR图像，进行直方图匹配，通过映射调整原图像像素值大小以使得调整后图像的直方图与参考图像的直方图近似相等，以使图像中没有重合的部分获得与HDR图像相似的色调，即获得具有类似HDR效果的两幅图像；步骤(5)、将经过直方图匹配的具有类似HDR效果的两幅图像与重合部分融合生成的HDR图像，对于图像重合区域中像素点的每个通道的色度值Pixel由两幅图像中对应点的灰度值Pixel_L和Pixel_R加权平均得到，即：Pixel＝k×Pixel_L+(1-k)×Pixel_R其中，k＝h/R，用来表示当前像素点与重合区域左边界的距离h占重合区域总宽度R的比例；k值越大，说明左侧图像的像素值在融合中占有越大的比重。即在重叠区域中，沿左侧图像向右侧图像的方向，k由1渐变为0，从而实现重叠区域的平滑拼接；通过加权融合拼接算法进行拼接，并且在相邻处平滑过渡，从而生成高分辨率HDR图像。与现有技术相比，本专利技术有效地利用了不同视角图像的重合部分，巧妙地将融合与拼接过程结合，减少了获得一幅高分辨率HDR图像所需的图像帧数；提高了效率，降低了算法复杂度；提高了多幅拼接的实时性以及在HDR视频系统中的帧率与提高图像画面质量的视觉效果。附图说明图1为常用的生成HDR高分辨率图像的示意图；图2为本专利技术的获取图像过程示意图；图3为本专利技术的一种多视角LDR图像生成高分辨本文档来自技高网...

【技术保护点】
一种多视角LDR图像生成高分辨率HDR图像的方法，其特征在于，该方法包括以下步骤：步骤(1)、获取两幅在同一直线上的不同视角的图像，且相邻两个相机设置为不同的曝光时间，共有长短两种曝光时间，在相邻相机中交替，且要求一个图像的视野内容与左右相邻两图像均有重合部分；步骤(2)、利用surf算子进行相邻两幅图像特征点的识别和匹配，通过对匹配的特征点做平均运算得到平移视差的具体值，从而将两幅图像中的公共部分提取出来；具体做法为：首先利用Hessian矩阵求出各像素点的特征值，Hessian矩阵为

【技术特征摘要】
1.一种多视角LDR图像生成高分辨率HDR图像的方法，其特征在于，该方法包括以下步骤：步骤(1)、获取两幅在同一直线上的不同视角的图像，且相邻两个相机设置为不同的曝光时间，共有长短两种曝光时间，在相邻相机中交替，且要求一个图像的视野内容与左右相邻两图像均有重合部分；步骤(2)、利用surf算子进行相邻两幅图像特征点的识别和匹配，通过对匹配的特征点做平均运算得到平移视差的具体值，从而将两幅图像中的公共部分提取出来；具体做法为：首先利用Hessian矩阵求出各像素点的特征值，Hessian矩阵为其中，Lxx(x,σ)是原图像I经高斯滤波后得到的图像g(σ)在x方向的二阶导数，Lxy(x,σ)、Lyy(x,σ)也都是在各方向上g(σ)的二阶导数；计算特征值的公式为det(Happrox)＝DxxDyy-(0.9Dxy)2其中Dxx、Dyy、Dxy分别为海塞矩阵近似模板在相应方向上的二阶导数；若某点的特征值是其领域27个点中最大的，则可认为该点为特征点；获取特征点的特征向量，首先计算特征点的主方向，具体过程如下：1)统计以特征点为中心，正比于特征点尺度的某个数位半径，张角为60°的扇形区域内所有像素点的sumX＝(y方向小波变换响应)*(高斯函数)，sumY＝(x方向小波变换响应)*(高斯函数)，计算合成向量角度θ＝arctan(sumY/sumX)，模长sqrt(sumy*sumy+sumx*sumx)；2)将扇形沿逆时针旋转(一般取步长为0.1个弧度)，以同样方法计算合成向量；3)求出各方向扇形的合成向量模长最大值，其对应的角度即特征点主方向，获得特征向量具体过程如下：31)选定以特征点为中心的一块正方形区域，将其旋转与主方向对齐；32)将正方形分为4×4的16个子区域，对每个区域进行小波变换，得到4个系数；33)由上述两步，生成4×4×4＝64维向量；计算两向量内积，最大值为与该点最匹配的点，设定一具体阈值，只有当最大值大于这个阈值可认为两特征点匹配；步骤(3)、融合生成HDR图像：对相邻两幅图像具有长短不同曝光的重合部分以对比度、饱和度和适度曝光量为三...

【专利技术属性】
技术研发人员：陈小楠，张淑芳，雷志春，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12