基于深度学习的夜间彩色图像的还原方法、系统、介质技术方案

本发明专利技术提供了一种基于深度学习的夜间彩色图像的还原方法、系统及计算机可读存储介质，其中，基于深度学习的夜间彩色图像的还原方法包括：采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片；通过数据增广获取训练图片数据集；选择网络模型；将训练图片数据集采用RGB格式或RAW格式对选择的网络模型进行网络训练；对训练结果进行分析；基于分析结果优化网络模型，并继续优化迭代；确定最优的网络模型。通过上述方法，由于对采集的图片对的格式并没有要求，且无需灰阶和放大比率处理，直接将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行训练，降低了夜间图像还原的操作难度，扩大了使用范围。

Restoration method, system and medium of night color image based on deep learning

The invention provides a restoration method, system and computer readable storage medium of night color image based on deep learning, wherein the restoration method of night color image based on deep learning includes: collecting picture pairs, picture pairs including night pictures and daytime pictures corresponding to night pictures; acquiring training picture data sets through data augmentation; selecting network model; Using RGB format or raw format to train the selected network model; analyzing the training results; optimizing the network model based on the analysis results, and continuing to optimize the iteration; determining the optimal network model. Through the above method, because there is no requirement for the format of the collected pictures, and there is no need for gray scale and magnification processing, the training picture data set is directly trained in RGB format or raw format for the selected network model, which reduces the operation difficulty of night image restoration and expands the scope of use.

【技术实现步骤摘要】
基于深度学习的夜间彩色图像的还原方法、系统、介质
本专利技术涉及图像处理
，具体而言，涉及一种基于深度学习的夜间彩色图像的还原方法、一种基于深度学习的夜间彩色图像的还原系统和一种计算机可读存储介质。
技术介绍
相关技术中对夜间彩色图像的还原方法，通常是针对Bayer(一种颜色模式)模式下的RAW(原始图片文件)格式图片进行夜间图像还原，具体方法如下：用相机拍摄Bayer模式下RAW格式图片；将Bayer模式下RAW格式图片折叠成R-G-B-G(Red-Green-Blue-Green，红-绿-蓝-绿)的四通道并分别减去黑阶，并乘以放大比率；然后送入全卷积神经网络进行端到端的训练。由于上述夜间图片还原的方案是针对Bayer模式下的RAW格式的图片，而实际工业应用监控系统采集到的图片大都为sRGB(StandardRedGreenBlue，一种彩色语音协议)空间的jpg(JointPhotographicExpertsGroup，一种图像格式)格式图片，使得上述方法的使用范围受到限制，同时，图片送入神经网络训练之前，需要减去相机固有参数黑阶，乘以放大比率，而不同相机的黑阶值不同，且对应的放大比率也不尽相同，使得相关技术中的方案实际应用可操作性不强。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本专利技术的第一个方面在于，提出一种基于深度学习的夜间彩色图像的还原方法。本专利技术的第二个方面在于，提出一种基于深度学习的夜间彩色图像的还原系统。本专利技术的第三个方面在于，提出一种计算机可读存储介质。有鉴于此，根据本专利技术的一个方面，提供了一种基于深度学习的夜间彩色图像的还原方法，包括：采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片；通过数据增广获取训练图片数据集；选择网络模型；将训练图片数据集采用RGB格式或RAW格式对选择的网络模型进行网络训练；对训练结果进行分析；基于分析结果优化网络模型，并继续优化迭代；确定最优的网络模型。本专利技术提供的基于深度学习的夜间彩色图像的还原方法，通过采集图片对，图片对包括夜间图片和对应于夜间图片的白天图片，其中，对夜间图片和白天图片的格式并没有要求，即可以在工业应用场景采集夜间图片和白天图片，即采集的图片可以为sRGB空间的jpg、png(PortableNetworkGraphics，便携式网络图像)、bmp(Bitmap，一种图像文件格式)等格式的彩色图片，通过数据增广获取训练图片数据集，实现图片对的数据增广，选择网络模型，将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练，使得无需灰阶和放大比率处理，直接将训练图片数据集带入网络模型直接进行端到端的网络训练，进而大大降低了夜间图像还原的操作难度，同时，由于对采集的图片对的格式并没有要求，避免了只可以对特殊型号的设备拍摄的夜间图片进行还原的局限性，进而大大提高了夜间彩色图像的还原方法的适用性，扩大了夜间彩色图像的还原方法的使用范围，并进一步降低了夜间彩色图像的还原方法操作难度，使得夜间彩色图像的还原方法易于实现，并适于推广应用。通过对训练结果进行分析，基于分析结果优化网络模型，继续优化迭代，并确定最优的网络模型，使得通过对不同的图片格式、不同的网络模型进行训练，能够得到还原效果较好的最优的网络模型，进而保证夜间彩色图片良好的还原效果。进一步地，通过将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练，使得本申请的基于深度学习的夜间彩色图像的还原方法能够满足对不同的图片格式进行训练的要求，避免了相关技术中夜间彩色图片的还原方法对图片格式要求严格使得实际使用范围受限，进一步扩大了使用范围，同时，可以根据不同的图片格式选择不同的网络模型，或根据同一图片格式选择不同的网络模型，增大了模型表达能力，且模型种类较多，使得通过较多的数据、较多的网络模型进行多方面的网络训练得到还原效果较高的网络模型进而得到最优的网络模型，并保证夜间彩色图片良好的还原效果。进一步地，将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练，有利于提高夜间彩色图片的还原度，保证图片良好的还原效果。进一步地，图片对可以为黑夜图片和标定好的GroundTruth(标定好的真实数据)图片，也可以为与夜间图片的黑暗图片具有相同位置和相同内容的白天的图片，如从监控摄像头拍摄的视频中选取部分位置和内容对应的夜间黑暗图片及对应白天的图片。另外，根据本专利技术提供的上述技术方案中的基于深度学习的夜间彩色图像的还原方法，还可以具有如下附加技术特征：在上述技术方案中，优选地，基于将训练图片数据集采用RAW格式对选择的网络模型进行网络训练，在将训练图片数据集采用RAW格式对选择的网络模型进行网络训练的步骤之前，还包括：将训练图片数据集由RGB格式转化为RAW格式。在该技术方案中，当训练图片数据集采用RAW格式对所选择的网络模型进行网络训练时，在将训练图片数据集采用RAW格式对所选择的网络模型进行网络训练之前，先将训练图片数据集由RGB格式转化为RAW格式，并根据RAW格式对选择的网络模型进行网络训练，使得将采集到的RGB图片转化为RAW格式进行网络训练后得到较优、较好的网络模型，且有利于提高夜间彩色图片的还原度，保证图片良好的还原效果，避免了相关技术中的夜间彩色图片的还原方法只能对采集到的RAW格式进行还原的局限性，进一步扩大了本申请的适用范围。可以理解的是，由于实际工业应用的监控系统采集到的图片大都为sRGB空间的jpg、png、bmp等格式图片，即均为红-绿-蓝三通道，进而将训练图片数据集采用RGB格式对选择的网络模型直接进行网络，并对训练结果进行分析，根据分析结果优化迭代网络模型并确定最优网络模型，有利于降低夜间彩色图像还原方法的操作难度，易于实现，并有利于普遍应用。在上述任一技术方案中，优选地，将训练图片数据集由RGB格式转化为RAW格式的步骤，具体包括：采用插值算法，将训练图片数据集由RGB格式转化为RAW格式。在该技术方案中，通过插值算法，将训练图片数据集由RGB格式转化为RAW格式，具体地，通过插值算法，将训练图片数据集由RGB格式转化为Bayer模式下RAW格式，可以理解的是，也可以通过其他方式将训练图片数据集由RGB格式转化为RAW格式。具体地，基于双线性插值算法如raw2rgb，开发算法实现将RGB(Red-Green-Blue，红-绿-蓝三通道)图片还原成Bayer模式下的RAW格式然后折叠成R-G-B-G(红-绿-蓝-绿四通道)通道。在上述任一技术方案中，优选地，将训练图片数据集采用RGB格式或RAW格式对所选择的网络模型进行网络训练的步骤，具体包括：将训练图片数据集采用RGB格式以红-绿-蓝三通道对所选择的网络模型进行网络训练；或将训练图片数据集采用RAW格式以红-绿-蓝-绿四通道对所选择的网络模型进行网络训练。在该技术方案中，将训练图片数据集采用RGB格式以红-绿-蓝三本文档来自技高网...

【技术保护点】
1.一种基于深度学习的夜间彩色图像的还原方法，其特征在于，包括：/n采集图片对，所述图片对包括夜间图片和对应于所述夜间图片的白天图片；/n通过数据增广获取训练图片数据集；/n选择网络模型；/n将所述训练图片数据集采用RGB格式或RAW格式对选择的所述网络模型进行网络训练；/n对训练结果进行分析；/n基于所述分析结果优化所述网络模型，并继续优化迭代；/n确定最优的所述网络模型。/n

【技术特征摘要】
1.一种基于深度学习的夜间彩色图像的还原方法，其特征在于，包括：
采集图片对，所述图片对包括夜间图片和对应于所述夜间图片的白天图片；
通过数据增广获取训练图片数据集；
选择网络模型；
将所述训练图片数据集采用RGB格式或RAW格式对选择的所述网络模型进行网络训练；
对训练结果进行分析；
基于所述分析结果优化所述网络模型，并继续优化迭代；
确定最优的所述网络模型。


2.根据权利要求1所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，基于将所述训练图片数据集采用RAW格式对选择的所述网络模型进行网络训练，在所述将所述训练图片数据集采用RAW格式对选择的所述网络模型进行网络训练的步骤之前，还包括：
将所述训练图片数据集由RGB格式转化为RAW格式。


3.根据权利要求2所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，所述将所述训练图片数据集由RGB格式转化为RAW格式的步骤，具体包括：
采用插值算法，将所述训练图片数据集由RGB格式转化为RAW格式。


4.根据权利要求1至3中任一项所述的基于深度学习的夜间彩色图像的还原方法，其特征在于，所述将所述训练图片数据集采用RGB格式或RAW格式对选择的所述网络模型进行网络训练的步骤，具体包括：
将所述训练图片数据集采用RGB格式以红-绿-蓝三通道对选择的所述网络模型进行网络训练；或
将所述训练图片数据集采用RAW格式以红-绿-蓝-绿四通道对选择的所述网络模型进行网络训练。


5.根据权利要求1至3中任一项所述的基于深度...

【专利技术属性】
技术研发人员：邢军华，欧阳一村，许文龙，曾志辉，贺涛，
申请(专利权)人：深圳中兴网信科技有限公司，
类型：发明
国别省市：广东;44