一种SDR到HDR转换方法技术

本发明专利技术公开的一种SDR到HDR转换方法，涉及一种基于机器学习的逆色调映射模型，属于图像处理领域。本方法本发明专利技术公开的一种SDR到HDR转换方法，是通过机器学习方法预测单镜头影像的高亮度阈值，通过高亮度阈值将影像划分为漫反射区和高光反射区；由于不同镜头的暗部区域亮度相对稳定，因此根据经验，给出了暗部区域亮度阈值；针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域，分别建立不同的亮度映射函数；在暗部阈值附近和高亮度阈值为中心的小区间内，采用三次样条插值函数作为亮度映射函数，使得各亮度区域间亮度平滑过渡。本方法可应用于视频推广、电视电影等领域。电视电影等领域。电视电影等领域。

【技术实现步骤摘要】
一种SDR到HDR转换方法


[0001]本专利技术涉及一种基于机器学习的逆色调映射模型，属于图像处理领域。

技术介绍

[0002]近几年来，高动态范围图像(High
‑
Dynamic Range，简称HDR)显示技术在影视、游戏、虚拟现实等领域中逐渐兴起。HDR显示设备具有比传统显示器更高的峰值亮度以及对比度，使得HDR影像能够自然地显示出来。因为技术和制作成本等原因，目前市场上还是以标准动态范围图像(Standard Dynamic Range，简称SDR)影像为主。根据一般的SDR内容制作规范，SDR影像显示的最高亮度为100nit，而市场上大部分家用级别和制作端的HDR显示器峰值亮度一般在1000nit左右。简单的将SDR影像亮度等比例提升至HDR影像亮度，会造成影像对比度异常，因此，建立SDR亮度到HDR亮度的映射是SDR影像向HDR影像转换的核心。
[0003]目前，国内外已经有许多学者做过将SDR内容转换为HDR的研究。现有的转换方法可以分为两大类，一类是模型驱动(Model
‑
Driven)的方法，另一类是数据驱动(Data
‑
Driven)的方法。模型驱动的方法可以由一个函数模型来描述规律，Aky
ü
z等人提出了他们线性变换的模型，Masia等人、Huo等人提出了他们的非线性变换模型，这几类方法对图像亮度的映射方式都是对整个图像进行统一的操作。Rempel等人、Kovaleski和Oliveira提出了一类基于蒙版的模型，这类模型是通过一个固定的码值来将图像的漫反射区域和高光区域分离开，然后分别对不同区域的亮度进行不同程度的映射。Wang等人、Jain等人、Didyk等人提出了一类基于用户的模型，这类模型涉及到人机交互，通过人将画面中的不同区域框选出来，进而对不同区域作不同的处理。尽管模型驱动的方法可以通过曲线或者数学公式直观地描述规律，但由于一个函数模型不一定能很好地适用于所有类型的图像，因此这类方法的不足之处在于适用范围比较窄，以及需要手动对模型中的参数进行多次调参，否则难以得到高质量的图像。另一方面，深度学习技术在图像处理领域的不断发展，给逆色调映射方法提供了数据驱动的解决方案。近年来，Endo等人、Eilertsen等人、Yang等人、Xu等人、Ning等人、Marnerides等人各提出了基于深度学习的逆色调映射方法。与模型驱动的方法相比，这类方法的适用范围更广，然而，这类方法需要在大量的数据基础上进行训练和拟合，需要收集大量的训练样本，以及需要大量的训练时间，另外在图像处理的过程中可能会产生一些不必要的伪像，影响图像质量。

技术实现思路

[0004]本专利技术的目的是提供一种基于机器学习的SDR亮度到HDR亮度的逆色调映射模型，并基于这个逆色调映射模型，给出一种适用范围宽、无需多次调整参数、经过短时间训练即可获得较高图像质量的SDR影像向HDR影像转换的方法。本方法可应用于视频推广、电视电影等领域。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]本专利技术公开的一种SDR到HDR转换方法，是通过机器学习方法预测单镜头影像的高
亮度阈值，通过高亮度阈值将影像划分为漫反射区和高光反射区；由于不同镜头的暗部区域亮度相对稳定，因此根据经验，给出了暗部区域亮度阈值；针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域，分别建立不同的亮度映射函数；在暗部阈值附近和高亮度阈值为中心的小区间内，采用三次样条插值函数作为亮度映射函数，使得各亮度区域间亮度平滑过渡。
[0007]一种SDR到HDR转换方法的具体步骤：
[0008]步骤一、基于支持向量回归方法的亮度阈值预测。
[0009]选择单镜头影像像素亮度的对数平均值log Y
avg
、key值Y
key
、亮度区间长度Y
dst
、标准差σ
Y
和像素亮度中位数Y
med
作为该镜头特征向量f的各个分量，即
[0010]f＝(log Y
avg
，Y
key
，Y
dst
，σ
Y
，Y
med
)，
[0011]其中
[0012][0013][0014]Y
dst
＝Y
max
‑
Y
min
[0015][0016]Y
med
＝med Y(x，y)
[0017]其中Y(x，y)表示像素点(x，y)处的相对亮度值，N为单镜头内像素点的总数，其中Y(x，y)表示像素点(x，y)处的相对亮度值，N为单镜头内像素点的总数，med表示镜头内各像素亮度的中位数。
[0018]选取M个SDR影像镜头的n个单帧图像作为训练样本，手动标定这些样本的高亮度区域，得到该样本的高亮度阈值。这n个训练样本为S1，S2，
…
，S
n
，其中
[0019]S
i
＝(f
i
，T
i
)，
[0020]f
i
为第i个单帧图像的特征向量，T
i
为第i个单帧图像对应的高亮度阈值。
[0021]使用支持向量回归方法进行单镜头高亮度阈值预测。关于特征向量f的高亮度阈值T(f)如下式所示：
[0022][0023]其中是将特征向量f映射为更高维特征的映射，ω，b为待求解参数。ω，b满足：
[0024][0025]其中C，∈＞0，是一个给定参数。
[0026]令λ＝(λ1，λ2，
…
，λ
n
)，求解上述优化问题(1.1)，等价于求解它的对偶问题：
[0027][0028]设是(1.2)的解，由KKT条件知，λ
i
与不可能同时非零，令i
r
为与中非零值对应的下标，则
[0029][0030][0031]其中m为支撑向量个数。
[0032]选取高斯核函数G(f
i
，f
j
)作为的值，即
[0033][0034]σ高斯核参数，取σ＝0.56。
[0035]通过求解上述优化问题，得到对应的支撑向量对应的Lagrange乘了通过求解上述优化问题，得到对应的支撑向量对应的Lagrange乘了和参数b，最后得到高亮度阈值预测模型
[0036][0037]KKT乘子了KKT乘子了和参数b得到后，可用于所有SDR影像向HDR影像转换的高亮度阈
值计算。
[0038]步骤二、输入SDR影像。
[0039]步骤三、对输入SDR影像进行解码。
[0040]根据SDR影像的像素码值归一化后，使用的电光转换函数(EOTF)，将非线性RGB值转换为线性RGB值；进而将线性RG本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种SDR到HDR转换方法，其特征在于：是通过机器学习方法预测单镜头影像的高亮度阈值，通过高亮度阈值将影像划分为漫反射区和高光反射区；由于不同镜头的暗部区域亮度相对稳定，因此根据经验，给出了暗部区域亮度阈值；针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域，分别建立不同的亮度映射函数；在暗部阈值附近和高亮度阈值为中心的小区间内，采用三次样条插值函数作为亮度映射函数，使得各亮度区域间亮度平滑过渡；包含如下步骤：步骤一、基于支持向量回归方法的亮度阈值预测；步骤二、输入SDR影像；步骤三、对输入SDR影像进行解码；步骤四、镜头检测；步骤五、不同镜头高亮度阈值计算；步骤六、分段亮度映射；步骤七、高亮度区域的饱和度增强；步骤八、图像去噪；步骤九、HDR影像编码；步骤十、输出HDR影像。2.如权利要求1所述一种SDR到HDR转换方法，其特征在于：步骤一的实现方法为：选择单镜头影像像素亮度的对数平均值log Y
avg
、key值Y
key
、亮度区间长度Y
dst
、标准差σ
Y
和像素亮度中位数Y
med
作为该镜头特征向量f的各个分量，即f＝(log Y
avg
，Y
key
，Y
dst
，σ
Y
，Y
med
)，其中其中Y
dst
＝Y
max
‑
Y
min
Y
med
＝medY
(x，y)
其中Y(x，y)表示像素点(x，y)处的相对亮度值，N为单镜头内像素点的总数，其中Y(x，y)表示像素点(x，y)处的相对亮度值，N为单镜头内像素点的总数，med表示镜头内各像素亮度的中位数；选取M个SDR影像镜头的n个单帧图像作为训练样本，手动标定这些样本的高亮度区域，得到该样本的高亮度阈值；这n个训练样本为S1，S2，
…
，S
n
，其中S
i
＝(f
i
，T
i
)，f
i
为第i个单帧图像的特征向量，T
i
为第i个单帧图像对应的高亮度阈值；使用支持向量回归方法进行单镜头高亮度阈值预测；关于特征向量f的高亮度阈值T(f)如下式所示：
其中是将特征向量f映射为更高维特征的映射，ω，b为待求解参数；ω，b满足：其中C，∈＞0，是一个给定参数；令λ＝(λ1，λ2，
…
，λ
n
)，求解上述优化问题(1.1)，等价于求解它的对偶问题：设是(1.2)的解，由KKT条件知，λ
i
与不可能同时非零，令i
r
为与中非零值对应的下标，则中非零值对应的下标，则其中m为支撑向量个数。选取高斯核函数G(f
i
，f
j
)作为的值，即σ高斯核参数，取σ＝0.56；通过求解上述优化问题，得到对应的支撑向量对应的Lagrange乘了和参数b，最后得到高亮度阈值预测模型KKT乘子了和参数b得到后，可用于所有SDR影像向HDR影像转换的高亮度阈值计算。
3.如权利要求1所述一种SDR到HDR转换方法，其特征在于：步骤三的实现方法为：根据SDR影像的像素码值归一化后，使用的电光转换函数(EOTF)，将非线性RGB值转换为线性RGB值；进而将线性RGB转换为用于计算的Yxy值；后续步骤的SDR到HDR转换的镜头分割和分段亮度映射均以Y通道为基础进行操作。4.如权利要求1所述一种SDR到HDR转换方法，其特征在于：步骤四的实现方法为：给定镜头内亮度变化阈值，计算相邻两帧亮度差绝对值的平均值，平均值大于阈值作为镜头分割标准，对SDR进行镜头分割。5.如权利要求1所述一种SDR到HDR转换方法，其特征在于：步骤五的实现方法为：针对步骤三得到的不同镜头，计算每个镜头的影像特征f＝(log Y
avg
，Y
key
，Y
dst
，σ
Y
，Y
med
)根据步骤一的参数训练结果，分别计算不同镜头的高亮度阈值。6.如权利要求1所述一种SDR到HDR转换方法，其特征在于：步骤六的实现方法为：以镜头j为例，根据步骤四计算得到的镜头j的高光阈值T
j
和根据经验选取的相对暗部阈值L
dim
/100，将单镜头SDR影像亮度区间划分为五个区域：[0，L
dim
/100
...

【专利技术属性】
技术研发人员：顾晓娟，黄嘉宝，陈军，
申请(专利权)人：北京电影学院，
类型：发明
国别省市：