动态范围增强模型的训练方法、图像的动态范围增强方法及装置制造方法及图纸

本申请提供一种动态范围增强模型的训练方法、图像的动态范围增强方法及装置，所述动态范围增强模型的训练方法包括：确定待训练模型，包括：色调映射子模型和区域划分子模型；确定训练数据集，包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；采用目标损失函数以及训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型。采用上述训练方法，可以获得更加优化的动态范围增强模型。进一步，所述图像的动态范围增强方法，通过利用上述训练后的动态范围增强模型，可以对待处理图像进行更加准确、合理的区域划分及色调映射，从而改进图像的动态范围增强效果。围增强效果。围增强效果。

【技术实现步骤摘要】
动态范围增强模型的训练方法、图像的动态范围增强方法及装置


[0001]本专利技术涉及图像处理
，具体地涉及一种动态范围增强模型的训练方法、图像的动态范围增强方法及装置。

技术介绍

[0002]动态范围增强技术可以提高画质质量，展现更丰富的色彩层次，保留更多的暗区和亮区细节，提高画面的对比度。因此，动态范围增强越来越多地应用到了拍摄图片、视频中。
[0003]当前，为了实现较好动态范围增强效果，通常会对待处理图像划分成多个区域，然后在每个区域进行局部色调映射，以得到动态范围增强图像。现有技术中，通常采用人工划分区域的方式或自动区域划分算法对待处理图像划分为多个块，然后采用一些与空间位置相关的局部色调映射算法对每个块执行色调映射，最终实现动态范围增强效果。
[0004]然而，现有的图像区域划分的方法，通常对待处理图像直接平均划分为n
×
n个矩形或正方形块，这种方法获得的区域划分结果存在如下问题：一方面，容易导致划分的块数量太多，特别是当图像尺寸变大时，划分的块数量增多将导致后续执行色调映射的时间与资源开销的增加；另一方面，容易出现一些大面积的内容、亮度相似的区域(例如，面积占比较大的天空区域、墙面区域)被划分为很多小块，然后对每个小块执行一组色调映射，但实际上对这些小块使用同样的色调映射系数即可。由此，导致动态范围增强效果不佳，也增加了不必要的运算开销。
[0005]虽然已经有一些研究注意上述问题，使用一些预训练的自动区域划分模型实现对图像的区域划分。但在模型训练阶段，需要采用已标注好划分区域的图像作为训练数据。然而，在对图像标注标签时通常是基于抽象的规则进行区域划分，比如对暗区、亮区的定义，因此，可能使得标注的区域划分结果不合理，导致模型训练效果不佳，进而影响后续的动态范围增强效果。

技术实现思路

[0006]本专利技术实施例实现的目的之一是提供一种动态范围增强模型的训练方法，可以训练得到更加优化的动态范围增强模型，从而对待处理图像进行更加准确、合理的区域划分以及色调映射，进而改进图像的动态范围增强效果。
[0007]为实现上述目的，本专利技术实施例提供一种动态范围增强模型的训练方法，包括以下步骤：确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到
所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像；其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。
[0008]可选的，在每轮迭代中，所述目标损失函数的函数值采用下述方式确定：对于当前轮输入的每帧所述原始场景图像，确定所述原始场景图像对应的动态范围增强标签图像的至少一部分像素与动态范围增强预测图像的对应位置的像素在每个颜色通道的像素值之差的平方，记为通道差异因子，再对每个像素在各个颜色通道的通道差异因子计算平均值，得到该像素的像素差异因子；对所得到的各个像素差异因子进行平均运算，得到所述原始场景图像对应的子损失值；对当前轮输入的各帧原始场景图像对应的子损失值进行加权运算，将加权运算结果作为当前轮所述目标损失函数的函数值。
[0009]可选的，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域，每个色调映射矩阵中用于指示所属原始场景图像中单个像素的色调映射系数，所述区域划分矩阵中的每个元素指示的划分区域对应于多个色调映射矩阵；采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，包括：对于所述区域划分矩阵的每个元素所指示的划分区域，确定所述划分区域内每个像素的像素值所属的像素值区间；根据该像素所属的像素值区间，确定该像素对应的色调映射矩阵；采用该像素对应的色调映射矩阵中的每个元素，对该像素的各个颜色通道进行色调映射处理；其中，所述像素值区间是对预设数值区间进行区间划分得到的，划分得到的多个像素值区间与所述划分区域对应的多个色调映射矩阵之间具有预设的一一对应关系。
[0010]可选的，采用下述方式，对预设数值区间进行区间划分，得到多个像素值区间：确定所述划分区域对应的色调映射矩阵的总数量，记为像素值区间总数量；在所述预设数值区间中，将大于等于最小端点值且小于等于第一阈值的区间作为第一像素值区间，将大于等于第二阈值且小于等于最大端点值的区间作为第二像素值区间，将大于所述第一阈值且小于所述第二阈值的区间平均划分为目标数量的第三像素值区间；其中，所述目标数量等于所述划分区域对应的色调映射矩阵的总数量减2；所述第一像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差，所述第二像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差。
[0011]可选的，所述区域划分子模型包含第一网络结构和第二网络结构，所述色调映射子模型包含所述第一网络结构和第三网络结构；其中，在每轮迭代中，将所述原始场景图像输入所述第一网络结构，以得到所述原始场景图像的特征数据，然后将所述特征数据分别输入所述第二网络结构和所述第三网络结构，以得到所述原始场景图像的区域划分矩阵和色调映射矩阵。
[0012]可选的，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域；在迭代训练过程中，所述区域划分矩阵中包含预设的固定数量的元素。
[0013]本专利技术实施例还提供一种动态范围增强方法，包括以下步骤：确定训练后的动态范围增强模型，所述训练后的动态范围增强模型包括：色调映射子模型和区域划分子模型，其中，所述训练后的动态范围增强模型是基于上述动态范围增强模型的训练方法确定的；将待处理图像输入所述色调映射子模型和区域划分子模型，以得到所述待处理图像的色调
映射矩阵和区域划分矩阵；采用所述待处理图像的色调映射矩阵和区域划分矩阵，对所述待处理图像进行色调映射处理，以得到动态范围增强图像。
[0014]本专利技术实施例还提供一种动态范围增强模型的训练装置，包括：待训练模型确定模块，用于确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；训练数据集确定模块，用于确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；模型训练模块，用于采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到所述原始场景图像的色调映射矩阵和区域划分矩阵，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态范围增强模型的训练方法，其特征在于，包括：确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像；其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。2.根据权利要求1所述的方法，其特征在于，在每轮迭代中，所述目标损失函数的函数值采用下述方式确定：对于当前轮输入的每帧所述原始场景图像，确定所述原始场景图像对应的动态范围增强标签图像的至少一部分像素与动态范围增强预测图像的对应位置的像素在每个颜色通道的像素值之差的平方，记为通道差异因子，再对每个像素在各个颜色通道的通道差异因子计算平均值，得到该像素的像素差异因子；对所得到的各个像素差异因子进行平均运算，得到所述原始场景图像对应的子损失值；对当前轮输入的各帧原始场景图像对应的子损失值进行加权运算，将加权运算结果作为当前轮所述目标损失函数的函数值。3.根据权利要求1所述的方法，其特征在于，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域，每个色调映射矩阵中用于指示所属原始场景图像中单个像素的色调映射系数，所述区域划分矩阵中的每个元素指示的划分区域对应于多个色调映射矩阵；采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，包括：对于所述区域划分矩阵的每个元素所指示的划分区域，确定所述划分区域内每个像素的像素值所属的像素值区间；根据该像素所属的像素值区间，确定该像素对应的色调映射矩阵；采用该像素对应的色调映射矩阵中的每个元素，对该像素的各个颜色通道进行色调映射处理；其中，所述像素值区间是对预设数值区间进行区间划分得到的，划分得到的多个像素值区间与所述划分区域对应的多个色调映射矩阵之间具有预设的一一对应关系。4.根据权利要求3所述的方法，其特征在于，采用下述方式，对预设数值区间进行区间划分，得到多个像素值区间：确定所述划分区域对应...

【专利技术属性】
技术研发人员：王琼瑶，吴倩，霍星，邵娜，赵磊，
申请(专利权)人：北京紫光展锐通信技术有限公司，
类型：发明
国别省市：