一种基于亮度注意力机制低照度图像增强算法的摄影方法技术

本发明专利技术属于图像处理技术领域，公开了一种基于亮度注意力机制低照度图像增强算法的摄影方法，将低照度图像增强算法嵌入摄像设备中，在摄像机的程序中编入低照度图像增强模式，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；或者，利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。本发明专利技术引入亮度注意力机制，提升了增强图像的图片感知质量，提高了增强效率，进而引入科学摄影领域，形成能够解决科学摄影中问题的应用。

【技术实现步骤摘要】
一种基于亮度注意力机制低照度图像增强算法的摄影方法
本专利技术属于图像处理
，尤其涉及一种基于亮度注意力机制低照度图像增强算法的摄影方法。
技术介绍
目前，随着电子拍摄的发展和智能设备的普及，智能拍摄大量用于智慧城市、公共交通建设等方面。然而受现实弱光，夜间以及遮挡等光线不足的低照度环境影响，或低精度图像成像设备的硬件限制，拍摄出的图像往往存在亮度过低，噪声严重，细节信息丢失或模糊化等问题，从而造成图片内容信息损失，阻碍了进一步的理解和分析。而这样的问题并非个例，科学摄影等领域对于在夜间等低亮度环境中通过拍摄获取信息的需求度反而高于高亮度环境。随着人工智能技术的高速发展，越来越多的科学领域开始利用人工智能技术来解决人工不好处理的研究部分。科学摄影是一个存在时间十分长久的专业领域，泛指许多需要利用摄影技术来解决科学研究中取材等方面问题的技术。而如今科学摄影
开始引入人工智能领域的图像处理技术来解决先前科学摄影领域不好完成的拍摄，其中最具代表性的是医学领域。对于在2019年发表的多篇医学领域科学摄影方面文章的总结，其包括的2领域已经包括病变检测，图像分割，图像分割，图像融合等多个领域。现有技术利用科学摄影来进行病变检测。由于检测方向的特殊性，医学领域的科学摄影对于低光照环境的摄影需求反而高于高光照环境。并且低光环境拍出的低照度图像其检测难度会提高，并且阴影的相似性很容易造成检测的失误。与此相似的还有生物学领域，天文学领域等。生物学领域经常需要在黑夜或深海等环境进行科学摄影。而天文学所处宇宙中的环境更不用多说。他们都更需要在低光照环境进行科学摄影。受现实弱光，夜间以及遮挡等光线不足的低照度环境影响，或低精度图像成像设备的硬件限制，拍摄出的图像往往存在亮度过低，噪声严重，细节信息丢失或模糊化等问题，从而造成图片内容信息损失，阻碍了进一步的理解和分析。但在现行研究结果中，对于上述问题的处理并没有十分完善的手段。因此，研究低照度图像的增强具有重要的理论意义和实际应用价值。通过上述分析，现有技术存在的问题及缺陷为：(1)科学摄影方法得到图像亮度过低，噪声严重，细节信息丢失或模糊化、造成图片内容信息损失。(2)现有图像增强方法增强的图像质量不佳，且细节处理不好。(3)现有低照度图像增强方法鲁棒性并不很强，难以适应不同光照环境下的低照度图像。(4)目前低照度图像增强方法的计算复杂度和时间消耗大。解决以上问题及缺陷的难度为：(1)科学摄影方式要求的图像内容相对于其他摄影内容要求更加精细，但对于亮度过低照片的增强很难达到精细的要求。(2)对于亮度过低所造成的内容信息损失更加难以复原。解决以上问题及缺陷的意义为：(1)可以解决科学摄影对于低亮度环境实现高精度摄影的迫切需求。(2)可以使科学摄影推广至更加广泛的光线环境中进行使用。(3)可以使低照度图像增强方法解决更多领域中的问题。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于亮度注意力机制低照度图像增强算法的摄影方法。本专利技术是这样实现的，一种基于亮度注意力机制低照度图像增强算法的摄影方法，所述基于亮度注意力机制低照度图像增强算法的摄影方法包括：将低照度图像增强算法嵌入摄像设备中，在摄像机的程序中编入低照度图像增强模式，利用摄像设备的低照度图像增强模式进行摄影，直接应用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像结果；或者，利用摄像设备摄影进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。进一步，所述基于亮度注意力生成对抗网络的低照度图像增强网络包括生成器、判别器以及损失函数；所述生成器包括增强网络以及注意力分支网络；所述增强网络，用于将输入图像作为一个整体转换成一个在新空间中类似的图片；所述注意力网络，用于预测弱光照的位置掩码；所述生成器还用于组合输入图像，将注意力图和转换后的输入构成最终增强后的图像；所述判别器，用于时接收生成器生成的图片和真实图片，产生真假的预测值；所述损失函数为：Loss＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol；其中La,Ladv,Lcon,Ltv,Lcol分别表示注意力损失，对抗损失，内容损失，总变差损失，颜色损失，ωa,ωadv,ωcon,ωtv,ωcol分别表示其损失对应权重。进一步，所述生成器包括：所述生成器增强网络包括：所述生成器增强网络基于完全卷积网络，并利用卷积神经网络的属性；所述生成器增强网络由多个残差块和卷积块2部分组成；所述生成器网络开始是1个卷积块；中间部分包含4个残差块，用于保持高度或宽度恒定，且每次卷积之后进行实例正则化和ReLU激活；最后是2个卷积块；所述生成器网络除残差块外，最后一个卷积层是tanh激活，且每个卷积层之后只有ReLU激活；所述注意力分支网络包括：所述注意力分支网络的网络结构为类U-net的全卷积网络结构；包括一个用于获取多尺度上下文信息的收缩路径、一个对称的用于恢复多级特征图的扩张路径以及2个用于恢复和输入相同大小的注意力图的卷积层；所述收缩路径有4个下采样卷积块，每个卷积块包含步长为1的2层卷积层，步长为2的1层池化层；所述扩张路径有4个上采样反卷积块，每个反卷积块包含步长为1的2层卷积层，1个反卷积层和1层特征拼接；所述2个卷积层中1个是反卷积层，1个是普通卷积；最后一个卷积层的激活函数为tanh；所述卷积层卷积核大小为3x3，除最后一层外，卷积之后使用lrelu函数激活。进一步，所述注意力分支网络还包括：所述注意力分支网络即亮度注意力分支网络，包括上采样层以及下采样层；用于预测低光照图像中弱光区域的分布；所述亮度注意力分支网络通过获取输入图像到U-net最底部是光照信息下采样层，从底部到U-net右侧是融合多尺度光照信息，对低照度图片中的光照信息充分建模，生成亮度注意力图；同时将训练得到的亮度注意力图与主干网络的输出相结合，加大低照度图片中弱光区域的增强效果；所述亮度注意力分支网络的注意力损失函数为：La＝||Fa(Ix)-A||；其中，Ix表示输入图片，A表示期望的亮度注意力图，Fa(Ix)表示预测的亮度注意力；所述期望的亮度注意力图A计算公式如下：其中Ix表示低照度图片，Iy表示真实照度图片，maxc()表示取图片RGB通道上最大像素值。进一步，所述增强网络还包括：所述增强网络依次包括一层普通卷积层、4层残差模块以及2层普通卷积层；所述第一层普通卷积层，用于特征提取，实现从rgb通道到多个特征；所述残差模块通过连接多个残差单元进行复杂的特征变换，提高网络增强低照度图片的建模能力；所述残差模块作为所述增强网络的特本文档来自技高网...

【技术保护点】
1.一种基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述基于亮度注意力机制低照度图像增强算法的摄影方法包括：/n利用摄像设备中嵌入的低照度图像增强算法进行摄影，并利用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像；/n或利用摄像设备进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。/n

【技术特征摘要】
1.一种基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述基于亮度注意力机制低照度图像增强算法的摄影方法包括：
利用摄像设备中嵌入的低照度图像增强算法进行摄影，并利用基于亮度注意力生成对抗网络的低照度图像增强网络增强图像；
或利用摄像设备进行低照度图像获取，利用基于亮度注意力生成对抗网络的低照度图像增强网络对获取的图像进行增强，得到增强后的摄影图像。


2.如权利要求1所述基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述基于亮度注意力生成对抗网络的低照度图像增强网络包括生成器、判别器以及损失函数；
所述生成器包括增强网络以及注意力分支网络；
所述增强网络，用于将输入图像作为一个整体转换成一个在新空间中类似的图片；
所述注意力网络，用于预测弱光照的位置掩码；
所述生成器还用于组合输入图像，将注意力图和转换后的输入构成最终增强后的图像；
所述判别器，用于时接收生成器生成的图片和真实图片，产生真假的预测值；
所述损失函数为：
Loss＝ωaLa+ωadvLadv+ωconLcon+ωtvLtv+ωcolLcol；
其中La,Ladv,Lcon,Ltv,Lcol分别表示注意力损失，对抗损失，内容损失，总变差损失，颜色损失，ωa,ωadv,ωcon,ωtv,ωcol分别表示其损失对应权重。


3.如权利要求2所述基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述生成器包括：
所述生成器增强网络包括：
所述生成器增强网络基于完全卷积网络，并利用卷积神经网络的属性；所述生成器增强网络由多个残差块和卷积块2部分组成；所述生成器网络开始是1个卷积块；中间部分包含4个残差块，用于保持高度或宽度恒定，且每次卷积之后进行实例正则化和ReLU激活；最后是2个卷积块；
所述生成器网络除残差块外，最后一个卷积层是tanh激活，且每个卷积层之后只有ReLU激活；
所述注意力分支网络包括：
所述注意力分支网络的网络结构为类U-net的全卷积网络结构；包括一个用于获取多尺度上下文信息的收缩路径、一个对称的用于恢复多级特征图的扩张路径以及2个用于恢复和输入相同大小的注意力图的卷积层；
所述收缩路径有4个下采样卷积块，每个卷积块包含步长为1的2层卷积层，步长为2的1层池化层；
所述扩张路径有4个上采样反卷积块，每个反卷积块包含步长为1的2层卷积层，1个反卷积层和1层特征拼接；
所述2个卷积层中1个是反卷积层，1个是普通卷积；最后一个卷积层的激活函数为tanh；所述卷积层卷积核大小为3x3，除最后一层外，卷积之后使用lrelu函数激活。


4.如权利要求3所述基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述注意力分支网络还包括：
所述注意力分支网络即亮度注意力分支网络，包括上采样层以及下采样层；用于预测低光照图像中弱光区域的分布；
所述亮度注意力分支网络通过获取输入图像到U-net最底部是光照信息下采样层，从底部到U-net右侧是融合多尺度光照信息，对低照度图片中的光照信息充分建模，生成亮度注意力图；同时将训练得到的亮度注意力图与主干网络的输出相结合，加大低照度图片中弱光区域的增强效果；
所述亮度注意力分支网络的注意力损失函数为：
La＝||Fa(Ix)-A||；
其中，Ix表示输入图片，A表示期望的亮度注意力图，Fa(Ix)表示预测的亮度注意力；
所述期望的亮度注意力图A计算公式如下：



其中Ix表示低照度图片，Iy表示真实照度图片，maxc()表示取图片RGB通道上最大像素值。


5.如权利要求3所述基于亮度注意力机制低照度图像增强算法的摄影方法，其特征在于，所述增强网络还包括：
所述增强网络依次包括一层普通卷积层、4层残差模块以及2层普通卷积层；
所述第一层普通卷积层，用于特征提取，实现从rgb通道到多个特征；
所述残差模块通过连接多个残差单元进行复杂的特征变换，提高网络增强低照度图片的建模能力；所述残差模块作为所述增强网络的特...

【专利技术属性】
技术研发人员：严灵毓，王春枝，胡记伟，胡翔，叶志伟，苏军，郑威，李画，
申请(专利权)人：湖北工业大学，武汉烽火技术服务有限公司，烽火通信科技股份有限公司，
类型：发明
国别省市：湖北;42