三维查找表训练方法以及视频增强方法技术

本申请涉及一种三维查找表训练方法以及视频增强方法。所述三维查找表训练方法包括：获取训练图像集、验证图像集以及初始三维查找表，训练图像集中训练图像携带场景类别标签；对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息；根据图像特征信息，对训练图像进行场景分类，得到预测场景分类结果，并将图像特征信息输入初始三维查找表，得到预测增强图像；根据场景类别标签、预测场景分类结果、验证图像以及预测增强图像，得到损失函数；返回对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息的步骤，直到损失函数收敛，得到目标三维查找表。采用本方案能够提高视频增强效果和实时性。用本方案能够提高视频增强效果和实时性。用本方案能够提高视频增强效果和实时性。

【技术实现步骤摘要】
三维查找表训练方法以及视频增强方法


[0001]本申请涉及图像处理
，特别是涉及一种三维查找表训练方法以及视频增强方法。

技术介绍

[0002]随着图像处理技术的发展，出现了图像增强技术。图像增强技术能够增强图像中的有用信息，其目的是要改善图像的视觉效果，提高图像的清晰度。图像增强技术可应用于视频增强中。
[0003]传统技术中，在对视频进行增强处理时，需要先对视频进行抽帧处理，得到对应的视频帧，再将视频帧依次输入预先训练的卷积神经网络(convolutional neural networks，CNN)，以实现对视频帧的增强处理，最后通过归集增强处理的视频帧即可实现视频增强。其中，在利用预先训练的卷积神经网络对视频帧进行增强处理时，主要采用的方式为通过卷积神经网络对全分辨率的输入图像进行下采样，并对下采样得到的低分辨率图像进行特征提取，学习到三维查找表(3
‑
dimention look
‑
up
‑
table，3D LUT)，然后根据三维查找表中输入
‑
输出像素的映射关系，对输入图像的每个输入像素进行转换，得到增强结果。
[0004]然而，传统方法中，由于是先对视频帧进行下采样学习到三维查找表，所得到的三维查找表也是与小分辨率对应的，在将三维查找表应用到原始分辨率的视频帧时会损失很多增强效果，存在视频增强效果差的问题。若直接采用卷积神经网络对全分辨率的视频帧进行全图处理，由于视频帧的分辨率越大，对应的处理速度就会越慢，在视频帧的分辨率过高时，由于处理速度过慢，会存在视频增强实时性差的问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提升视频增强效果和视频增强实时性的三维查找表训练方法以及视频增强方法、装置、计算机设备和存储介质。
[0006]一种三维查找表训练方法，所述方法包括：
[0007]获取训练图像集、验证图像集以及初始三维查找表，训练图像集中训练图像携带场景类别标签，验证图像集中验证图像与训练图像集中训练图像一一对应，验证图像为训练图像对应的增强图像；
[0008]对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息；
[0009]根据图像特征信息，对训练图像进行场景分类，得到预测场景分类结果，并将图像特征信息输入初始三维查找表，得到预测增强图像；
[0010]根据场景类别标签、预测场景分类结果、验证图像以及预测增强图像，得到损失函数；
[0011]返回对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息的步骤，直到损失函数收敛，得到目标三维查找表。
[0012]在一个实施例中，初始三维查找表包括三维子查找表，三维子查找表的数量与图像特征信息的维度对应。
[0013]在一个实施例中，将图像特征信息输入初始三维查找表，得到预测增强图像包括：
[0014]根据图像特征信息中各维度特征信息，确定三维子查找表的查找表权重；
[0015]根据查找表权重，对三维子查找表进行加权，得到加权后三维查找表；
[0016]将训练图像输入加权后三维查找表，得到预测增强图像。
[0017]在一个实施例中，根据场景类别标签、预测场景分类结果、验证图像以及预测增强图像，得到损失函数包括：
[0018]根据场景类别标签和预测场景分类结果，计算第一损失函数，并根据验证图像以及预测增强图像，计算第二损失函数；
[0019]根据第一损失函数和第二损失函数，得到损失函数。
[0020]在一个实施例中，根据验证图像以及预测增强图像，计算第二损失函数包括：
[0021]确定验证图像中第一像素点与预测增强图像中第二像素点之间的像素点对应关系；
[0022]根据像素点对应关系，确定第一像素点与对应的第二像素点之间的像素点差值；
[0023]根据像素点差值，计算第二损失函数。
[0024]一种三维查找表训练装置，所述装置包括：
[0025]获取模块，用于获取训练图像集、验证图像集以及初始三维查找表，训练图像集中训练图像携带场景类别标签，验证图像集中验证图像与训练图像集中训练图像一一对应，验证图像为训练图像对应的增强图像；
[0026]特征提取模块，用于对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息；
[0027]第一处理模块，用于根据图像特征信息，对训练图像进行场景分类，得到预测场景分类结果，并将图像特征信息输入初始三维查找表，得到预测增强图像；
[0028]损失函数计算模块，用于根据场景类别标签、预测场景分类结果、验证图像以及预测增强图像，得到损失函数；
[0029]第二处理模块，用于返回对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息的步骤，直到损失函数收敛，得到目标三维查找表。
[0030]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0031]获取训练图像集、验证图像集以及初始三维查找表，训练图像集中训练图像携带场景类别标签，验证图像集中验证图像与训练图像集中训练图像一一对应，验证图像为训练图像对应的增强图像；
[0032]对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息；
[0033]根据图像特征信息，对训练图像进行场景分类，得到预测场景分类结果，并将图像特征信息输入初始三维查找表，得到预测增强图像；
[0034]根据场景类别标签、预测场景分类结果、验证图像以及预测增强图像，得到损失函数；
[0035]返回对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息的
步骤，直到损失函数收敛，得到目标三维查找表。
[0036]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0037]获取训练图像集、验证图像集以及初始三维查找表，训练图像集中训练图像携带场景类别标签，验证图像集中验证图像与训练图像集中训练图像一一对应，验证图像为训练图像对应的增强图像；
[0038]对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息；
[0039]根据图像特征信息，对训练图像进行场景分类，得到预测场景分类结果，并将图像特征信息输入初始三维查找表，得到预测增强图像；
[0040]根据场景类别标签、预测场景分类结果、验证图像以及预测增强图像，得到损失函数；
[0041]返回对训练图像分别进行图像特征提取，得到与训练图像对应的图像特征信息的步骤，直到损失函数收敛，得到目标三维查找表。
[0042]一种视频增强方法，所述方法包括：
[0043]获取待处理视频数据；
[0044]对待处理视频数据进行抽帧，得到与待处理视频数据对应的视频帧集合；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维查找表训练方法，其特征在于，所述方法包括：获取训练图像集、验证图像集以及初始三维查找表，所述训练图像集中训练图像携带场景类别标签，所述验证图像集中验证图像与所述训练图像集中训练图像一一对应，所述验证图像为所述训练图像对应的增强图像；对所述训练图像分别进行图像特征提取，得到与所述训练图像对应的图像特征信息；根据所述图像特征信息，对所述训练图像进行场景分类，得到预测场景分类结果，并将所述图像特征信息输入所述初始三维查找表，得到预测增强图像；根据所述场景类别标签、所述预测场景分类结果、所述验证图像以及所述预测增强图像，得到损失函数；返回所述对所述训练图像分别进行图像特征提取，得到与所述训练图像对应的图像特征信息的步骤，直到所述损失函数收敛，得到目标三维查找表。2.根据权利要求1所述的方法，其特征在于，所述初始三维查找表包括三维子查找表，所述三维子查找表的数量与所述图像特征信息的维度对应。3.根据权利要求2所述的方法，其特征在于，所述将所述图像特征信息输入所述初始三维查找表，得到预测增强图像包括：根据所述图像特征信息中各维度特征信息，确定所述三维子查找表的查找表权重；根据所述查找表权重，对所述三维子查找表进行加权，得到加权后三维查找表；将所述训练图像输入所述加权后三维查找表，得到预测增强图像。4.根据权利要求1所述的方法，其特征在于，所述根据所述场景类别标签、所述预测场景分类结果、所述验证图像以及所述预测增强图像，得到损失函数包括：根据所述场景类别标签和所述预测场景分类结果，计算第一损失函数，并根据所述验证图像以及所述预测增强图像，计算第二损失函数；根据所述第一损失函数和所述第二损失函数，得到损失函数。5.根据权利要求4所述的方法，其特征在于，所述根据所述验证图像以及所述预测增强图像，计算第二损失函数包括：确定所述验证图像中第一像素点与所述预测增强图像中第二像素点之间的像素点对应关系；根据所述像素点对应关系，确定所述第一像素点与对应的第二像素点之间的像素点差值；根据所述像素点差值，计算第二损失函数。6.一种视频增强方法，其特征在于，所述方法包括：获取待处理视频数据；对所述待处...

【专利技术属性】
技术研发人员：张荣成，苏坦，姜文杰，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：