基于神经网络的视频着色方法、系统、设备及存储介质技术方案

本发明专利技术涉及一种基于神经网络的视频着色方法及系统，涉及视频着色领域，该方法包括：对待着色视频的首帧图像和尾帧图像进行着色，获得首尾帧着色后的视频；将所述首尾帧着色后的视频输入视频着色模型，获得对各中间帧图像着色后的视频，所述中间帧图像为所述首帧图像和所述尾帧图像之间的视频帧图像；所述视频着色模型对所述中间帧图像着色时，分别以所述首帧图像和所述尾帧图像作为参考帧，所述视频着色模型为根据训练集对视频着色网络训练确定的。本发明专利技术提高了视频着色质量。本发明专利技术提高了视频着色质量。本发明专利技术提高了视频着色质量。

【技术实现步骤摘要】
基于神经网络的视频着色方法、系统、设备及存储介质


[0001]本专利技术涉及视频着色
，特别是涉及一种基于神经网络的视频着色方法、系统、设备及存储介质。

技术介绍

[0002]视频着色是估计视频帧的RGB颜色的过程，以提高其美学和感知质量。在过去的十年中，视频着色的深度学习技术已经取得了显着发展。由于视频着色在解决空间中的多模态性和全局时空一致性的要求，视频的着色是一个具有挑战性的问题。由于缺少三个图像维度中的两个，问题也很严重。尽管场景语义在许多情况下可能会有所帮助，例如，草通常是绿色的，云通常是白色的，天空是蓝色的。但是，对于许多人造物体和自然物体，这种语义先验极为罕见。此外，对于衬衫，汽车，鲜花等物体的上色，还将面临图像复原的典型挑战，例如照明的变化，观点中的变化和遮挡。
[0003]视频着色旨在从其单色版本中生成完全彩色的视频。目前，视频着色通常采用单帧参考帧，因此，在视频序列较长时会出现严重的溢色和失色问题。

技术实现思路

[0004]本专利技术的目的是提供一种基于神经网络的视频着色方法、系统、设备及存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的视频着色方法，其特征在于，包括：对待着色视频的首帧图像和尾帧图像进行着色，获得首尾帧着色后的视频；将所述首尾帧着色后的视频输入视频着色模型，获得对各中间帧图像着色后的视频，所述中间帧图像为所述首帧图像和所述尾帧图像之间的视频帧图像；所述视频着色模型对所述中间帧图像着色时，分别以所述首帧图像和所述尾帧图像作为参考帧，所述视频着色模型为根据训练集对视频着色网络训练确定的。2.根据权利要求1所述的基于神经网络的视频着色方法，其特征在于，所述视频着色模型包括正向着色模块、反向着色模块、边缘检测模块、语义分割模块和特征融合模块；所述正向着色模块用于以所述首帧图像为参考帧，按照从所述首帧图像到所述尾帧图像的顺序，根据各中间帧图像与所述首帧图像的余弦相似度进行颜色映射，依次对各所述中间帧图像进行着色，获得第一视频帧序列；所述反向着色模块用于以所述尾帧图像为参考帧，按照从所述尾帧图像到所述首帧图像的顺序，根据各中间帧图像与所述尾帧图像的余弦相似度进行颜色映射，依次对各所述中间帧图像进行着色，获得第二视频帧序列；所述边缘检测模块用于对待着色视频中各帧图像进行边缘提取；所述语义分割模块用于对待着色视频中各帧图像进行语义分割；所述特征融合模块分别与所述正向着色模块、所述反向着色模块、所述边缘检测模块和所述语义分割模块连接，所述特征融合模块用于对所述第一视频帧序列、所述第二视频帧序列、所述边缘检测模块的输出和所述语义分割模块的输出进行特征融合，获得对各中间帧图像着色后的视频。3.根据权利要求2所述的基于神经网络的视频着色方法，其特征在于，所述边缘检测模块采用ProtoSeg模...

【专利技术属性】
技术研发人员：潘金山，杨艺新，杜晓宇，陶竹林，唐金辉，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：