一种视频处理模型构建方法及系统技术方案

本申请公开了一种视频处理模型构建方法及系统，方法包括：获取真实静态视频数据、仿真动态视频数据、动态RAW域视频数据；根据真实静态视频数据和仿真动态视频数据对预设初始网络模型进行训练，得到第一网络模型和第二网络模型；根据动态RAW域视频数据和第二网络模型得到真实动态视频数据；根据真实静态视频数据和真实动态视频数据对第一网络模型进行蒸馏训练，得到目标网络模型，通过包括仿真动态视频数据的训练数据对预设初始网络模型进行训练，使训练后得到的第一网络模型对动态视频数据的去噪效果好，再通过包括真实动态视频数据的训练数据对第一网络模型进行蒸馏训练，能够进一步提升训练后得到的目标网络模型对动态视频数据的去噪效果。视频数据的去噪效果。视频数据的去噪效果。

【技术实现步骤摘要】
一种视频处理模型构建方法及系统


[0001]本申请涉及视频处理
，特别是涉及一种视频处理模型构建方法及系统。

技术介绍

[0002]RAW域视频，是通过相机等终端设备将光源信号转化为数字信号的原始视频，终端设备的视频采集受限于终端设备光学传感器的硬件性能，由于采集过程的不完善，原始视频的形成总是受到不同形式的噪声的影响，常常需要对原始视频进行去噪处理。
[0003]对于视频去噪，一般采用“多帧叠加取平均”的方式构造静态视频数据，做为模型的训练数据，对初始网络模型进行训练得到目标网络模型，但由于模型的训练数据中只涉及静态视频数据而缺少动态视频数据，使得通过静态视频数据训练得到的目标网络模型，对动态视频数据进行去噪的效果并不好。

技术实现思路

[0004]有鉴于此，本申请提供了一种视频处理模型构建方法及系统，本申请提供的视频处理模型构建方法及系统，通过包括仿真动态视频数据的训练数据对预设初始网络模型进行训练，使得训练后得到的第一网络模型对动态视频数据的去噪效果好，再通过包括真实动态视频数据的训练数据对第一网络模型进行蒸馏训练，能够进一步提升蒸馏训练后得到的目标网络模型对动态视频数据的去噪效果。
[0005]本申请提供一种视频处理模型构建方法，包括：
[0006]获取真实静态视频数据；
[0007]获取仿真动态视频数据；
[0008]获取动态RAW域视频数据；
[0009]根据所述真实静态视频数据和所述仿真动态视频数据，对预设初始网络模型进行训练，得到第一网络模型和第二网络模型；
[0010]根据所述动态RAW域视频数据和所述第二网络模型，得到真实动态视频数据；
[0011]根据所述真实静态视频数据和所述真实动态视频数据，对所述第一网络模型进行蒸馏训练，得到目标网络模型。
[0012]优选地，所述第二网络模型的参数量大于所述第一网络模型的参数量。
[0013]优选地，所述根据所述真实静态视频数据和所述仿真动态视频数据，对预设初始网络模型进行训练，得到第一网络模型和第二网络模型，包括：
[0014]对所述真实静态视频数据和所述仿真动态视频数据进行混合处理，得到第一训练视频数据；
[0015]根据所述第一训练视频数据，通过循环递归的方式对预设初始网络模型进行训练，得到第一网络模型和第二网络模型。
[0016]优选地，所述根据所述动态RAW域视频数据和所述第二网络模型，得到真实动态视频数据，包括：
[0017]将所述动态RAW域视频数据输入所述第二网络模型进行前向推理，得到标签；
[0018]根据所述动态RAW域视频数据和所述标签，得到真实动态视频数据。
[0019]优选地，所述根据所述真实静态视频数据和所述真实动态视频数据，对所述第一网络模型进行蒸馏训练，得到目标网络模型，包括：
[0020]对所述真实静态视频数据和所述真实动态视频数据进行混合处理，得到第二训练视频数据；
[0021]根据所述第二训练视频数据，通过循环递归的方式对所述第一网络模型进行蒸馏训练，得到目标网络模型。
[0022]优选地，所述获取真实静态视频数据，包括：
[0023]获取静态RAW域视频数据；
[0024]对所述静态RAW域视频数据进行多帧叠加平均处理，得到真实静态视频数据。
[0025]优选地，所述获取仿真动态视频数据，包括：
[0026]获取动态高清视频数据；
[0027]对所述动态高清视频数据进行退化处理，得到动态高清RAW域视频数据；
[0028]对所述动态高清RAW域视频数据增加噪声，得到仿真动态视频数据。
[0029]本申请还提供一种视频处理模型构建系统，包括：
[0030]第一获取模块，用于获取真实静态视频数据；
[0031]第二获取模块，用于获取仿真动态视频数据；
[0032]第三获取模块，用于获取动态RAW域视频数据；
[0033]第一模型建立模块，用于根据所述真实静态视频数据和所述仿真动态视频数据，对预设初始网络模型进行训练，得到第一网络模型和第二网络模型；
[0034]处理模块，用于根据所述动态RAW域视频数据和所述第二网络模型，得到真实动态视频数据；
[0035]第二模型建立模块，用于根据所述真实静态视频数据和所述真实动态视频数据，对所述第一网络模型进行蒸馏训练，得到目标网络模型。
[0036]本申请还提供一种视频处理模型构建装置，包括：处理器、存储器和通信总线；
[0037]所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；
[0038]所述处理器用于执行所述存储器中存储的视频处理模型构建处理程序，以实现上述任一项所述视频处理模型构建方法的步骤。
[0039]本申请还提供一种可读存储介质，所述可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现上述任一项所述视频处理模型构建方法的步骤。
[0040]与现有技术相比，本申请提供的一种视频处理模型构建方法及系统，方法包括：获取真实静态视频数据；获取仿真动态视频数据；获取动态RAW域视频数据；根据真实静态视频数据和仿真动态视频数据，对预设初始网络模型进行训练，得到第一网络模型和第二网络模型；根据动态RAW域视频数据和第二网络模型，得到真实动态视频数据；根据真实静态视频数据和真实动态视频数据，对第一网络模型进行蒸馏训练，得到目标网络模型，本申请中，通过包括仿真动态视频数据的训练数据对预设初始网络模型进行训练，使得训练后得到的第一网络模型对动态视频数据的去噪效果好，再通过包括真实动态视频数据的训练数
据对第一网络模型进行蒸馏训练，能够进一步提升蒸馏训练后得到的目标网络模型对动态视频数据的去噪效果。
附图说明
[0041]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1为本申请实施例中提供的一种视频处理模型构建方法的流程示意图；
[0043]图2为本申请实施例中提供的一种视频处理模型构建系统的结构示意图；
[0044]图3为本专利技术实施例中提供的一种视频处理模型构建装置的结构示意图。
具体实施方式
[0045]为了使本领域的技术人员更好地理解本申请中的技术方案，下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0046]需要说明的是，当元件被称为“固定于”或“设置于”另一个元件上，它本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理模型构建方法，其特征在于，包括：获取真实静态视频数据；获取仿真动态视频数据；获取动态RAW域视频数据；根据所述真实静态视频数据和所述仿真动态视频数据，对预设初始网络模型进行训练，得到第一网络模型和第二网络模型；根据所述动态RAW域视频数据和所述第二网络模型，得到真实动态视频数据；根据所述真实静态视频数据和所述真实动态视频数据，对所述第一网络模型进行蒸馏训练，得到目标网络模型。2.根据权利要求1所述的视频处理模型构建方法，其特征在于，所述第二网络模型的参数量大于所述第一网络模型的参数量。3.根据权利要求1所述的视频处理模型构建方法，其特征在于，所述根据所述真实静态视频数据和所述仿真动态视频数据，对预设初始网络模型进行训练，得到第一网络模型和第二网络模型，包括：对所述真实静态视频数据和所述仿真动态视频数据进行混合处理，得到第一训练视频数据；根据所述第一训练视频数据，通过循环递归的方式对预设初始网络模型进行训练，得到第一网络模型和第二网络模型。4.根据权利要求1或2所述的视频处理模型构建方法，其特征在于，所述根据所述动态RAW域视频数据和所述第二网络模型，得到真实动态视频数据，包括：将所述动态RAW域视频数据输入所述第二网络模型进行前向推理，得到标签；根据所述动态RAW域视频数据和所述标签，得到真实动态视频数据。5.根据权利要求1至3任一项所述的视频处理模型构建方法，其特征在于，所述根据所述真实静态视频数据和所述真实动态视频数据，对所述第一网络模型进行蒸馏训练，得到目标网络模型，包括：对所述真实静态视频数据和所述真实动态视频数据进行混合处理，得到第二训练视频数据；根据所述第二训练视频数据，通过循环递归的方式对所述第一网络模型进行蒸馏...

【专利技术属性】
技术研发人员：曹瑞，倪亚宇，
申请(专利权)人：湖南国科微电子股份有限公司，
类型：发明
国别省市：