一种高质量HDR图像生成系统技术方案

本发明专利技术涉及一种高质量HDR图像生成系统，包括图像输入模块、FPGA加速模块和优化分割边缘模块；图像输入模块将图像输入FPGA加速模块进行加速处理得到HDR图像；将HDR图像通过优化分割边缘模块去除边缘失真效应，得到最终的高质量HDR图像。本发明专利技术解决了画面整体进行处理时容易产生的局部饱和度过高而局部饱和度不足的问题。足的问题。足的问题。

【技术实现步骤摘要】
一种高质量HDR图像生成系统


[0001]本专利技术属于图像处理
，具体涉及一种高质量HDR图像生成系统。

技术介绍

[0002]高动态范围成像(high dynamic range,HDR)是一种动态范围比标准动态范围大的成像技术，HDR图像有着更高的对比度、更高的饱和度、更加鲜艳的观看效果的优点，同时，算法上的HDR优化可以弥补大家在拍摄时手机或照相机在硬件参数上的不足，通过软件的优化得出质量更好的图像。随着深度学习的不断发展，2017年一种HDRnet 网络被提出，对比传统的HDR处理算法，用深度学习的方法来处理高动态范围成像图片可以快速得到结果，且训练成熟的网络有着稳定的高质量HDR图像输出。随着HDR技术的普及和相关技术的不断进步，人们已经可以用手机或者照相机拍摄出更加美观的HDR图像，特别是HDR技术在电视上的运用，使得人们可以看到更加精美的画面。但是在日常的观看中，不难发现通过目前HDR处理后生成的图像存在着局部过爆和局部过饱和的问题。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种高质量HDR图像生成系统，解决基于深度学习的HDR成像容易产生局部过饱和和局饱和度不足的问题。
[0004]为实现上述目的，本专利技术采用如下技术方案：
[0005]一种高质量HDR图像生成系统，包括图像输入模块、FPGA加速模块和优化分割边缘模块；图像输入模块将图像输入FPGA加速模块进行加速处理得到HDR图像；将HDR图像通过优化分割边缘模块去除边缘失真效应，得到最终的高质量HDR图像。
[0006]进一步的，所述FPGA加速模块包括Segnet和HDRnet网络，所述 Segnet网络模块和HDRnet网络模块为预先训练完成的综合神经网络。
[0007]进一步的，所述加速处理，具体如下：
[0008]步骤S1:将图片输入到Segnet网络单元中进行图像内容的具体分割；
[0009]步骤S2:分割完毕的图片的不同景物部分各自送入HDRnet处理单元分别进行高动态范围处理；
[0010]步骤S3:将HDR处理完成后的各个内容进行合成，得到HDR图像。
[0011]进一步的，所述将HDR图像通过优化分割边缘模块去除边缘失真效应，具体为：将处理完成后的HDR图像进与原输入图像进行对比并合成，优化分割造成的部分边缘过渡不自然，去除失真效应。
[0012]进一步的，所述Segnet网络包括解码部分和编码部分，具体为：
[0013]码部分采用的是VGG16的前13个卷积网络，每个编码层都对应一个解码器层，最终解码器层的输出被送入到soft
‑
max分类器以独立的为每个像素产生类概率，在卷积阶段，通过pooling增大感受野，同时使得图片变小；
[0014]在解码阶段，通过反卷积使得图像分类后特征得以重现，upsampling还原到图像
原始尺寸，最后通过Softmax,输出不同分类的最大值，得到最终分割图。
[0015]进一步的，Segnet网络在网络架构中,最后一个卷积层会输出所有的类别，网络最后加上一个softmax层，softmax求出所有每一个像素在所有类别最大的概率，最为该像素的label，最终完成图像像素级别的分类。
[0016]进一步的，还设有评价指标PSNR
‑
μ，具体为：对输出图片和标签图片分别做色调映射tontmapping操作再计算其PSNR:
[0017][0018]其中I
GT
为参考图片，I
Pred
为预测图片，i，j为像素点横纵坐标， m、n为图片横纵总像素点数量。
[0019]其中，T(x)是指tonemapping操作，对图像进行了以下处理：
[0020][0021]其中μ为预设值。
[0022]本专利技术与现有技术相比具有以下有益效果：
[0023]1、本专利技术在进入HDRnet神经网络之前先将图片送入到Segnet 网络进行分割处理，分割后的各个图像内容各自处理，互不干扰，解决了画面整体进行处理时容易产生的局部饱和度过高而局部饱和度不足的问题；
[0024]2、本专利技术在图片进行HDR处理结束后，处理后的图片会与原图进行对比、融合，解决可能出现的由于分割造成的分割边缘过度不自然的问题，同时增强了画面的一体性，避免了画面的失真效应。
附图说明
[0025]图1是本专利技术方法流程图；
[0026]图2是本专利技术一实施例中FPGA加速单元的功能划分；
[0027]图3是本专利技术一实施例中输入的实例图片；
[0028]图4是图3进行分割处理的结果图；
[0029]图5为本专利技术一实施例中最终输出HDR图。
具体实施方式
[0030]下面结合附图及实施例对本专利技术做进一步说明。
[0031]请参照图1，本专利技术提供一种高质量HDR图像生成系统，包括图像输入模块、FPGA加速模块和优化分割边缘模块；图像输入模块将图像输入FPGA加速模块进行加速处理得到HDR图像；将HDR 图像通过优化分割边缘模块去除边缘失真效应，得到最终的高质量 HDR图像。
[0032]在本实施例中，FPGA加速模块包括Segnet和HDRnet网络； Segnet网络模块和HDRnet网络模块为预先训练完成的综合神经网络，训练集含1500张图片，包括沙滩、道路、
天空、食物、花朵、人像等不同场景，训练次数达到5000次数，确保该综合网络对不同的场景都具有较强的处理能力。
[0033]在本实施例中，将图像输入到FPGA加速单元中，调用其预置的神经网络单元开始进行计算处理。
[0034]在本实施例中，根据Segnet图像分割网络与HDRnet高动态范围处理网络的特点，将FPGA加速模块进行功能划分，将其划分为输入缓冲单元、权重缓冲单元、控制器、输入寄存器、多个运算单元、输出缓存单元、输出单元、片外存储单元和ARM核。其具体结构如图 2所示，在此结构中，含有多个运算单元，其运算单元内，多个卷积运算可同时进行，提高了计算结果的输出速度。具体的，FPGA加速模块对图像处理如下：
[0035](1)送入FPGA中的图片首先进入Segnet计算单元，在Segnet单元中，对图片进行内容上的分割，如图3所示图片，图片中含有树木、天空、建筑三种不同的景物，在图片送入Segnet网络后，将其不同的景物分割开来，形成分割后如图4所示的三张图片，分割后的图片再分别进行处理时彼此不会受到影响，解决了局部过饱和或者局部饱和度不足的问题。
[0036](2)在Segnet网络模块将图片分割为图4所示图片后，天空、树木、建筑分别输入进HDRnet网络中进行高动态范围处理，由于天空在HDR处理过程中容易过饱和，而建筑不易过饱和，因此我们将其分别进行单独的处理，这样在处理过程中能最大限度的使得图像鲜艳的同时，不会产生天空的过饱和或者建筑部分的饱和度不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高质量HDR图像生成系统，其特征在于，包括图像输入模块、FPGA加速模块和优化分割边缘模块；图像输入模块将图像输入FPGA加速模块进行加速处理得到HDR图像；将HDR图像通过优化分割边缘模块去除边缘失真效应，得到最终的高质量HDR图像。2.根据权利要求1所述的一种高质量HDR图像生成系统，其特征在于，所述FPGA加速模块包括Segnet和HDRnet网络，所述Segnet网络模块和HDRnet网络模块为预先训练完成的综合神经网络。3.根据权利要求2所述的一种高质量HDR图像生成系统，其特征在于，所述加速处理，具体如下：步骤S1:将图片输入到Segnet网络单元中进行图像内容的具体分割；步骤S2:分割完毕的图片的不同景物部分各自送入HDRnet处理单元分别进行高动态范围处理；步骤S3:将HDR处理完成后的各个内容进行合成，得到HDR图像。4.根据权利要求1所述的一种高质量HDR图像生成系统，其特征在于，所述将HDR图像通过优化分割边缘模块去除边缘失真效应，具体为：将处理完成后的HDR图像进与原输入图像进行对比并合成，优化分割造成的部分边缘过渡不自然，去除失真效应。5.根据权利要求3所述的一种高质量HDR图像生成系统，其特征在于，所述Segnet网络包括解码部分和编码部分，具体为：码部分采...

【专利技术属性】
技术研发人员：张永爱，吴春林，林坚普，吴马靖，林志贤，
申请(专利权)人：福州大学，
类型：发明
国别省市：