一种基于成像模型和强化学习的水下图像增强方法技术

一种基于成像模型和强化学习的水下图像增强方法，包括：步骤1、在水体中放入水下摄像头，拍摄预设距离下正常光照的水下图像，作为待增强的初始图像；步骤2、计算初始图像的灰度值，并进行分析处理；灰度值从高到低排序，取前百分之十的灰度值进行方差计算；步骤3、利用地面雾情况下图像的成像模型得到的近似水下图像成像模型，结合水下色彩测量指标UIQM进行自适应学习；步骤4、直至学习到对应设置好的训练次数后结束任务，得到输出的增强结果并保存本地；步骤5、选用图像峰值信号比PSNR以及结构相似性SSIM两种有参考评价指标将增强后的结果和初始的结果进行对比，作为增强效果的评价。本发明专利技术通过自适应学习未知参数，进一步提高了水下图像对比度、清晰度、饱和度等方面的性能。饱和度等方面的性能。饱和度等方面的性能。

【技术实现步骤摘要】
一种基于成像模型和强化学习的水下图像增强方法


[0001]本申请涉及人工智能图像处理
，更具体涉及计算机视觉领域中的图像增强方法以及机器学习中的强化学习方法。

技术介绍

[0002]水下图像在获取海洋信息方面有着大量的应用，例如，水下机器人搜索、沉船打捞等。但由于水这一介质所具有的特殊性质，如在水中不同波长的光衰减速度不同，使得水下图像会产生颜色失真、模糊、对比度低等情况，这严重影响了水下任务的顺利完成，因此很有必要对水下采集的原始图像进行增强，以更加清晰和完整的图像满足水下科研和工程应用的需求。
[0003]水下图像增强一般分为基于物理模型的方法、基于非物理模型的方法和基于学习的方法等几类。基于物理模型的方法对水下图像成像模型的相关参数进行估计，反演退化过程重构清晰图像。基于非物理模型的方法不考虑水下退化原理，通过调整图像的像素值来提高图像的清晰度。上述两种方法都考虑水下图像的先验信息，对于不同的水下图像的泛化能力较差，有一定的局限性。基于学习的方法是以数据驱动的方式，估计水下模型参数，逆求解成像模型来得到清晰化水下图像或直接通过端到端的网络重构清晰的水下图像，但使用训练网络的成对水下数据难以采集。因此本专利技术选用基于物理模型方法并结合机器学习中的强化学习，提出一种基于成像模型和强化学习的新型水下图像增强方法。

技术实现思路

[0004]针对水下图像增强现有技术的不足之处，如对于不同的水下图像的泛化能力较差等，提供一种基于成像模型和强化学习的水下图像增强方法。
[0005]本专利技术一种基于成像模型和强化学习的水下图像增强方法，其具体步骤如下：
[0006]步骤1、在水体中放入水下摄像头，拍摄预设距离下正常光照的水下图像，将此图像作为待增强的初始图像。
[0007]步骤2、计算初始图像的灰度值，并进行分析处理。灰度值从高到低排序，取前百分之十的灰度值进行方差计算。
[0008]若方差没有达到预设阈值时，则直接作为下一步骤的输入；
[0009]若方差达到预设阈值时，对图片进行直方图均衡化，通过直方图均衡化将原始图像的直方图变换成较均匀分布的形式，从而去除图片中异常亮点，将预处理后的图片作为强化学习的输入。
[0010]步骤3、由地面雾情况下图像的成像模型得到近似的水下图像成像模型：
[0011][0012]其中x表示像素点坐标，I(x)表示水下环境中相机拍摄得到的图像，D(x)表示物体本身的辐射光，可以理解成消除水下环境因素影响后的水下图像，表示直接传输参数，
B表示环境光。利用强化学习DQN算法自适应学习环境光B和直接传输参数将本增强问题看作马尔科夫过程，用反馈函数来评价所采取的动作，面对不同的当前状态，采取最合适的动作使得奖励值最大。结合水下成像公式进行重建,得到消除水下环境影响因素后的结果图像。其中反馈函数结合基于人类视觉系统激励的无参考水下图像质量评价指标UIQM作为中间反馈环节判断标准。针对水下图像的退化机理与成像特点，该标准采用色彩测量指标(UICM)，清晰度测量指标(UISM)，对比度测量指标(UIConM)作为评价依据，其各自的计算公式如下：
[0013]色彩测量指标：
[0014][0015]其中计算平均值：
[0016][0017]其中K指的是图像像素和，μ越接近0则平衡越好；
[0018]计算方差：
[0019][0020]其中σ2越大色彩对比度越好；
[0021]清晰度测量指标：
[0022][0023]其中c表示RGB三通道之一，公式中EME计算方法为：
[0024][0025]对比度测量指标：
[0026][0027]而UIQM则是以上三个指标的线性组合：
[0028]UIQM＝0.028
×
UICM+0.296
×
UISM+3.575
×
UIConM (8)
[0029]其中三个参数值为预设值，具体大小可以通过增强后的偏好而微调；
[0030]步骤4、直至学习到对应设置好的训练次数后结束任务，得到输出的增强结果并保存本地；
[0031]步骤5、选用图像峰值信号比PSNR以及结构相似性SSIM两种有参考评价指标将增强后的结果和初始的结果进行对比，作为增强效果的评价；针对两个尺寸为m
×
n的图像X和Y,其计算公式分别如下：
[0032][0033]其中MAX为表示图像颜色的最大数值，预设值为255，MSE计算公式为：
[0034][0035][0036]以上公式中的μ
x
、μ
y
分别表示图像X和Y的均值，σ
x
、σ
y
分别表示图像X和Y的方差，σ
xy
表示图像X和Y的协方差，c1＝(0.01
×
L)2,c2＝(0.03
×
L)2,c3＝c2/2,其中L为像素值动态范围，在此预设值为255。
[0037]通过计算使用本方法增强后和初始输入图像的PSNR和SSIM值，如果其值小于使用其他现有方法进行增强后的结果图像对应的值，则重新调整UIQM中的参数重新进行学习，直至达到满意的增强结果，结束所有步骤。
[0038]在步骤1中，具体的方法为：使用专业水下摄像头，在正常光照情况对水下图像进行采集，控制水下摄像头采集照片拍摄距离为3米，作为增强效果的优选条件。
[0039]在步骤2中，通过对图像直方图进行分析，取灰度值从高到低排序的前百分之十的数据进行方差计算，方差达到一定值时候即可对图片进行直方图均衡化，具体方差的值将随着整体检测环节而定，需要一定的先验即视情况而确定。通过直方图均衡化将原始图像的直方图变换成较为均匀分布的形式，从而达到去除图片中异常亮点的目的。
[0040]在步骤5中，选用图像峰值信号比PSNR以及结构相似性SSIM用于结果的评判，图像峰值信号比PSNR描述原图与处理后图片的均方根误差，对图像增强而言，PSNR的值越高越好，表示图像失真越少。同时对于结构相似性SSIM来说，分别从亮度、对比度、结构这三个方面度量图像相似性，对于图像增强的结果而言，SSIM的值越大，表示图像失真越小。
[0041]本专利技术专利有以下创新点：
[0042]1、本专利技术专利创新性地采用自适应学习未知参数的强化学习方法结合水下图像成像特点，极大的提高了图像增强的效率，减少了大量的训练时间，满足工程师对于实时性图像增强的要求，降低了硬件设备的成本。
[0043]2、本专利技术创新性地提出了使用针对水下图像制定的无参考评价标准UIQM作为强化学习的反馈函数，极大地提升了在正常光照的水下环境以及大于3米的拍摄距离条件下的图像增强学习效果，更加满足增强后对图像对比度、清晰度、饱和度等要求，是一种更加匹配水下成像环境的增强方法。
附图说明
[0044]附图1是本专利技术方法的实施流程图。...

【技术保护点】

【技术特征摘要】
1.一种基于成像模型和强化学习的水下图像增强方法，包括以下步骤：步骤1、在水体中放入水下摄像头，拍摄预设距离下正常光照的水下图像，将此图像作为待增强的初始图像；步骤2、计算初始图像的灰度值，并进行分析处理；灰度值从高到低排序，取前百分之十的灰度值进行方差计算；若方差没有达到预设阈值时，则直接作为下一步骤的输入；若方差达到预设值时，对图片进行直方图均衡化，通过直方图均衡化将原始图像的直方图变换成较均匀分布的形式，从而去除图片中异常亮点，将预处理后的图片作为下一步骤的输入；步骤3、由地面雾情况下图像的成像模型得到近似的水下图像成像模型：其中x表示像素点坐标，I(x)表示水下环境中相机拍摄得到的图像，D(x)表示物体本身的辐射光，可以理解成消除水下环境因素影响后的水下图像，表示直接传输参数，B表示环境光；利用强化学习DQN算法自适应学习环境光B和直接传输参数将本增强问题看作马尔科夫过程，用反馈函数来评价所采取的动作，面对不同的当前状态，采取最合适的动作使得奖励值最大；结合水下成像公式进行重建,得到消除水下环境影响因素后的结果图像；反馈函数结合基于人类视觉系统激励的无参考水下图像质量评价指标UIQM作为中间反馈环节判断标准；针对水下图像的退化机理与成像特点，该标准采用色彩测量指标(UICM)，清晰度测量指标(UISM)，对比度测量指标(UIConM)作为评价依据，其各自的计算公式如下：色彩测量指标：其中计算平均值：其中K指的是图像像素和，μ越接近0则平衡越好；计算方差：其中σ2越大色彩对比度越好；清晰度测量指标：其中c表示RGB三通道之一，公式中EME计算方法为：对比度测量指标：
而UIQM则是以上三个指标的线性组合：UIQM＝0.028
×
UICM+0.296
×
UISM+3.575
×
UIConM
ꢀꢀꢀꢀꢀꢀ
(8)其中三个参数值为预设值，具体大小可以通过增强后的偏好而微调；步骤4、直至学习到对应设置好的训练次数后结束任务，得到输出的增强结果并保存本地；...

【专利技术属性】
技术研发人员：王涌，赵远方，潘宏，周王益，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：