一种基于自编码机的HDR单帧合成方法技术

本发明专利技术提供了一种基于自编码机的HDR单帧合成的用于生成HDR视频的方法和系统。方法包括：将LDR视频文件逐一抽帧；将每个LDR视频帧分别输入伪高曝生成模型和伪低曝生成模型以分别取得相应编码器输出的高曝特征向量和低曝特征向量，其中所述伪高曝生成模型和所述伪低曝生成模型被用于分别生成输入图像所对应的高曝图像和低曝图像；将所取得的高曝特征向量和低曝特征向量输入多曝光图片融合模型以得到经处理的HDR视频帧，其中所述多曝光图片融合模型利用卷积神经网络进行特征提取，将对应特征向量进行融合，并且利用反卷积网络重建输入图像；以及将经处理的多个HDR视频帧重新组合成HDR视频。组合成HDR视频。组合成HDR视频。

【技术实现步骤摘要】
一种基于自编码机的HDR单帧合成方法


[0001]本专利技术涉及人工智能及图像处理领域，更具体地，涉及基于自编码机的HDR单帧合成方法。

技术介绍

[0002]在图像领域中，动态范围(Dynamic Range)指在图像可显示范围内最大灰度值与最小灰度值之间的比率。对于真实世界中的自然场景，从直射的太阳光到树下的阴影，最亮的光照亮度与最暗光照亮度的比值大约有104个数量级。
[0003]高动态范围(High
‑
Dynamic Range，简称HDR)视频与低动态范围(Low
‑
Dynamic Range，简称LDR)视频相比，能够更加准确的记录真实场景的绝大部分色彩和光照信息，并能表现出丰富的色彩细节和明暗层次，而且能够提供更高的对比度、更丰富的信息和更真实的视觉感受。
[0004]近年来支持高动态范围的显示设备越来越多，同时随着通讯技术的发展，HDR视频的带宽压力也将不再是问题，但国内HDR视频源的数量依然有限，不管是影视作品还是电视节目，大都是低动态范围的视频，与越来越先进的显示设备相比，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单帧合成的用于生成HDR视频的方法，其特征在于，所述方法包括：将LDR视频文件逐一抽帧；将每个LDR视频帧分别输入伪高曝生成模型和伪低曝生成模型以分别取得相应编码器输出的高曝特征向量和低曝特征向量，其中所述伪高曝生成模型和所述伪低曝生成模型被用于分别生成输入图像所对应的高曝图像和低曝图像；将所取得的高曝特征向量和低曝特征向量输入多曝光图片融合模型以得到经处理的HDR视频帧，其中所述多曝光图片融合模型利用卷积神经网络进行特征提取，将对应特征向量进行融合，并且利用反卷积网络重建输入图像；以及将经处理的多个HDR视频帧重新组合成HDR视频。2.如权利要求1所述的方法，其特征在于，所述伪高曝生成模型和所述低曝生成模型利用卷积神经网络将输入图像进行下采样以提取图像特征并且利用反卷积网络将图像特征上采样以分别生成所述输入图像所对应的高曝图像和低曝图像。3.如权利要求1所述的方法，其特征在于，所述伪高曝生成模型和所述低曝生成模型是通过以下方式来训练得到的：对所述伪高曝生成模型和所述低曝生成模型进行权值初始化；使用一批RAW格式HDR图像生成的低曝、高曝和正常曝光图像作为数据集进行训练，其中正常曝光图像作为所述伪高曝生成模型和所述伪低曝生成模型的输入数据，高曝图片和低曝图像分别作为所述伪高曝生成模型和所述伪低曝生成模型的目标输出(ground truth)；所述输入数据经过所述伪高曝生成模型和所述低曝生成模型得到实际输出数据；以及使用图像结构相似度计算函数SSIM作为损失函数来对所述伪高曝生成模型和所述低曝生成模型进行优化。4.如权利要求1所述的方法，其特征在于，所述多曝光图片融合模型是通过以下方式来训练得到的：对所述多曝光图片融合模型进行权值初始化；使用所述高曝特征向量和所述低曝特征向量作为输入，对应的HDR原图作为所述多曝光图片融合模型的目标输出(ground truth)进行训练；所述输入数据经过所述多曝光图片融合模型得到实际输出数据；以及使用图像结构相似度计算函数SSIM作为损失函数来对所述多曝光图片融合模型进行优化。5.如权利要求1所述的方法，其特征在于，所述特征提取进一步包括：所述多曝光图片融合模型利用卷积神经网络来对所取得的高曝特征向量和低曝特征向量进行特征提取，其中所述高曝特征向量和所述低曝特征向量的对应卷积层共用相同的权重信息。6.一种基于单帧合成的用于生成HDR视频的系统，其特征在于，所述系统包括：视频预处理模块，所述视频预处...

【专利技术属性】
技术研发人员：曹靖城，吴宇松，史国杰，
申请(专利权)人：天翼智慧家庭科技有限公司，
类型：发明
国别省市：