一种低光照图像场景理解的方法技术

本发明专利技术属于计算机视觉技术领域，提供了一种低光照图像场景理解的方法，设计基于深度学习技术的结合图像增强方法的场景理解的串联模型的框架，对于输入的低光照图片，先对图片进行增强的操作，在不改变图片中像素颜色信息的前提下提高图片亮度以及辨识度。在这种框架下，解决低光照图片中的场景理解任务。本发明专利技术提出的视觉增强网络能够在恢复细节的同时通过跳跃连接操作，结合低层的颜色和结构信息以及高层的语义信息，在保持图片颜色信息的基础上提高亮度，从而恢复图片细节。恢复后的图像将有效促进检测、分割等场景理解任务。从定性和定量上比较，本发明专利技术提出的方法在合成和真实的图片上都优于现有的图片增强方法。

A Method of Scene Understanding in Low Illumination Images

The invention belongs to the field of computer vision technology, and provides a method of low-light image scene understanding. It designs a framework of a series model based on depth learning technology combined with image enhancement method for scene understanding. For input low-light pictures, the image is enhanced first, and the brightness and recognition of pictures are improved without changing the color information of the pixels in the pictures. Degree. In this framework, the task of scene understanding in low-light pictures is solved. The proposed visual enhancement network can restore the details and restore the details of the picture by skipping connection operation, combining the low-level color and structure information and the high-level semantic information, and improving the brightness on the basis of maintaining the color information of the picture. The restored image will effectively promote scene understanding tasks such as detection and segmentation. Compared qualitatively and quantitatively, the method proposed by the present invention is superior to the existing image enhancement methods in both synthetic and real pictures.

【技术实现步骤摘要】
一种低光照图像场景理解的方法
本专利技术属于计算机视觉
，尤其涉及基于深度学习的图像增强技术来改善低光照下的场景理解的方法。
技术介绍
场景理解(ScenesUnderstanding)，例如物体检测和语义分割，在机器人导航和自动驾驶领域发挥着越来越重要的作用，因为其可以为机器人或车辆的行为决策提供关键的视觉上的信息。然而，在以往的工作中，现有的场景理解方法主要侧重于晴朗的天气下拍摄的辨识度清晰的图像或者视频帧，但对于在恶劣天气条件下或者夜间拍摄的图像来说，由于光照不足造成拍摄出的图像的细节丢失、边缘不清晰以及像素的失真等问题，都会导致图片场景理解的质量严重降低。这种场景也是现实中经常遇到的，改善这一问题能够很大程度上提高场景理解算法的鲁棒性。因此，一种能够改变图片的亮度信息，同时减少各个像素颜色信息丢失的图片增强方法是提高场景理解精确度的关键步骤，也是本专利技术的专利技术目的所在。接下来详细介绍这一领域中图像增强和场景理解的所涉及到的相关
技术介绍
。(1)图像增强一般来说，低光照的图像增强技术可分为两种：基于直方图的方法(Histogram-based)和基于视网膜机制的方法(本文档来自技高网...

【技术保护点】
1.一种低光照图像场景理解的方法，其特征在于，步骤如下：(1)图片视觉增强模块：采用深度学习法，训练亮度处理深度网络来提高图片亮度，从而显示图片中更多的细节信息(1.1)模块输入以单张低光照RGB图像为图片视觉增强模块的输入；(1.2)模块架构图片视觉增强模块是一个单分支的神经网络，其作用是学习像素强度的映射函数，如式(1)：

【技术特征摘要】
1.一种低光照图像场景理解的方法，其特征在于，步骤如下：(1)图片视觉增强模块：采用深度学习法，训练亮度处理深度网络来提高图片亮度，从而显示图片中更多的细节信息(1.1)模块输入以单张低光照RGB图像为图片视觉增强模块的输入；(1.2)模块架构图片视觉增强模块是一个单分支的神经网络，其作用是学习像素强度的映射函数，如式(1)：其中，是亮度调整后的图像，IL表示输入图像，fDIM(·)表示亮度操作的映射函数，θDIM表示图片视觉增强模块的网络模型的网络权重参数；图片视觉增强模块的网络模型是一个端到端的深度网络，以低光照RGB图像作为输入，经过包含多个卷积层的编码器，在通过卷积层获取图像局部信息的同时，编码器中包含5个池化层，用于缩小图像特征尺度，获取更多的全局信息，并保存每一个池化层的输出用于跳跃链接；将获取的包含图像的局部以及全局信息的特征图通过到一个1x1卷积层进行特征线性映射，随后送入解码器中；在解码过程中，反卷积操作与卷积操作轮流进行，首先反卷积用于扩大特征的维度，每通过一次反卷积特征维度扩大一倍，然后将编码过程的保存的对应大小的池化层的输出与反卷积的结果拼接到一起，也就是跳跃链接在一起，由于是拼接所以特征的通道数翻倍，所以紧接着通过一个1x1大小的卷积层来缩小通道数；经过5次反卷积和卷积操作后，便可获得与输入图像相同大小的增强后的图像；(1.3)训练方法获取低光照RGB图像：通过改变白天街景图片中的Gamma值以及对比度参数，并给图像加入高斯噪声，使之与...

【专利技术属性】
技术研发人员：王昊然，杨鑫，魏小鹏，尹宝才，张强，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21