一种移动设备上能耗感知的低照度视频流增强方法技术

本发明专利技术公开了一种移动设备上能耗感知的低照度视频流增强方法，首先监控移动设备的资源状况，采用针对神经网络离线完成建模的运行时能耗分析模块对数据进行分析建模，预测出不同的神经网络运行情况所对应的能耗数据。其次，在能耗控制器模块中，控制器采用两层全连接网络对当前帧和参考帧的信息进行处理，提供可选的计算优化超参数组合和用户体验数据。与此同时，从运行时能耗分析模块获取计算优化超参数组合对应的能耗预测数据，对能耗和用户体验进行权衡后，得出一组最优计算超参数。最后，神经网络根据能耗控制器的提供的计算优化超参数进行计算，得到像素级的伽马矫正参数图，并采用该参数图对输入视频帧进行伽马矫正，完成低照度视频帧增强。成低照度视频帧增强。成低照度视频帧增强。

【技术实现步骤摘要】
一种移动设备上能耗感知的低照度视频流增强方法


[0001]本专利技术属于视频处理
，具体涉及一种低照度视频流增强方法。

技术介绍

[0002]作为机器学习的一个重要分支，深度学习近年来在多个跨学科领域取得了丰富卓著的成果。其中在低照度增强领域，基于深度学习的视频增强方法饱受关注，该技术致力于利用深度学习技术，对低照度视频增强过程进行学习，实现低照度视频的高质量增强。一方面使低照度视频更加符合人类审美，另一方面提升了下游计算机视觉任务的准确率。在两种目标效果中，前者目前主要通过各种视觉观感指标进行量化评价；后者主要通过对比下游视觉任务分别采用增强前后的视频流进行任务后的准确率等指标变化。
[0003]在已有的基于深度学习的低照度视频增强方案中，常见的是对低照度视频的视频帧进行逐帧处理。因此，基于深度学习的低照度图像增强也可迁移至低照度视频领域。此时，低照度图像增强领域中的输入从图像被替换为视频帧，输出从单张增强后的图像替换为一个视频帧序列。尽管已有多种低照度图像/视频增强方法被提出，但是现有的方法往往对计算资源有着较高的需求，在实时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动设备上能耗感知的低照度视频流增强方法，其特征在于，包括以下步骤：步骤1：构建快速低照度视频增强模块；步骤1
‑
1：基于伽马矫正曲线的Zero
‑
DCE方法低照度视频增强网络简化；针对Zero
‑
DCE方法中高阶曲线计算开销过高的问题，采用基于伽马矫正曲线的非迭代曲线，其公式如下：E(x)＝I(x)
Γ(x)
其中E(x)为增强后的视频帧，I(x)为增强前的视频帧，Γ(x)为低照度视频增强网络输出的像素级伽马矫正因子；基于伽马矫正曲线的低照度视频增强网络的输入为一帧低照度视频帧，输出为与输入的低照度视频帧尺寸相同的像素级伽马矫正因子；步骤1
‑
2：基于三孪生网络的零参考低照度视频增强网络训练；在训练过程中，对于视频的空域增强，每轮训练从图像数据集获取一张图像进行训练；对于视频的时域增强，每轮训练从视频数据集获取两张连续低照度视频帧进行训练；其中，训练过程所采用的时域损失函数如下：训练过程所采用的时域损失函数如下：其中，E
t
(.),E
t+1
(.)分别为一个视频帧序列中的连续两帧；训练过程中，将三张视频帧分别输入一个网络，三个网络之间共享权值，即采用三孪生网络进行训练；在训练过程中每次同时对三个共享权值的网络进行训练，但在推理阶段仅采用一个网络进行推理；步骤1
‑
3：面向自适应的低照度视频增强网络计算优化；为使网络在运行时能够动态伸缩以适应不同的运行环境，将运行时的每一中间层特征进行缓存；在推理最新视频帧时，选择跳过若干层神经网络而复用之前的特征，其中，在运行时选择跳过神经网络的具体层数，向上层暴露为可调节超参数θ
l
；在处理视频序列时，选择每隔若干帧进行一次完整推理以更新缓存特征，具体帧数向上层暴露为可调控超参数θ
f
；对输入视频帧进行降采样若干倍数以减少计算量，降采样倍数向上层暴露为可调控超参数θ
d
；步骤2：构建能耗感知自适应控制器模块；步骤2
‑
1：能耗控制器；在运行时对视频帧进行分析，根据视频帧序列间的相似性和当前设备的能耗预算进行用户体验与能耗开...

【专利技术属性】
技术研发人员：刘思聪，李晓晨，郭斌，周子慕，骆浩，於志文，张萌，沈豪宬，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：