【技术实现步骤摘要】
一种基于神经网络及运动信息的黑白视频着色方法
[0001]本专利技术涉及一种基于神经网络及运动信息的黑白视频着色方法,属于图像处理
技术介绍
[0002]“着色”一词早在1970年就被提出,在电影、胶片相机刚开始出现的时候,由于当时技术条件的限制,电影、照片都是黑白的,随着市场需求的不断发展,黑白电影、照片渐渐满足不了人们的需求,而具有丰富色彩的彩色电影、照片却大受欢迎,如何将这些黑白视频和照片重新着色是一个值得研究的问题。着色不仅仅在电影艺术领域有所应用,在很多领域,比如:医学领域,对X光透视成像的黑白影像着色,能够帮助医生诊断病情;在军事航空领域,将卫星遥感图像进行着色处理之后,能够将目标与背景形成区分,增加卫星图像的可读性等等。在着色技术发展的初期,主要是通过聘请专业人员手动为视频着色或者是用媒体制作工具逐帧地为视频着色,这样做不仅耗费人力而且成本昂贵。随着深度学习的发展,卷积神经网络与图像领域的结合拓宽了解决问题的思路,出现了一系列基于卷积网络的图像着色方法,这些方法取得了不错的着色效果,并且大大节省了人力和时间。
[0003]视频着色是一个具有挑战性的问题,相比较于图像着色,由于视频是由多个视频帧组合而成的,在为视频着色的时候不仅需要保证着色的合理性,还需要保持帧与帧之间的空间一致性和时间连续性。在视频着色中,视频中的运动往往会影响视频着色的结果,一个视频中运动的物体越多,运动的速度越快,着色就越困难。如果使用图像着色的方法为视频着色,将黑白视频中的每一帧视为一个图像,针对黑白视频中的每一 ...
【技术保护点】
【技术特征摘要】
1.一种基于神经网络及运动信息的黑白视频着色方法,其特征在于,包括:将待着色黑白视频帧即目标黑白视频帧和参考视频帧输入至训练好的视频着色模型,从参考视频帧的亮度分量与目标黑白视频帧的亮度分量之间提取两者之间的运动信息,运动信息与所得到的参考帧之间亮度和色度的转换关系结合后,得到目标黑白视频帧之间的亮度和色度的转换关系,得到转换关系后作用于目标黑白视频帧上,就得到目标黑白视频帧的色度分量,即完成了黑白视频着色。2.根据权利要求1所述的一种基于神经网络及运动信息的黑白视频着色方法,其特征在于,训练好的视频着色模型的训练过程如下:获取数据集,对数据集进行预处理,分割为训练集和测试集;构建视频着色模型,并将得到的训练集输入至视频着色模型进行训练,将测试集输入至训练好的黑白视频上色模型进行测试,得到训练好的视频着色模型。3.根据权利要求1所述的一种基于神经网络及运动信息的黑白视频着色方法,其特征在于,视频着色模型包括运动信息提取网络、参考特征提取网络、着色网络;运动信息提取网络分别对黑白视频帧以及参考帧的亮度分量提取特征,将黑白视频帧的特征与参考帧的亮度分量的特征进行结合,获得参考帧与黑白视频帧之间的运动信息;参考特征提取网络提取参考帧中亮度分量与色度分量的特征,将提取到的特征和运动信息融合在一起,送入着色网络中;着色网络将提取到的特征和运动信息进行融合并将特征恢复到原尺寸,预测出待着色黑白视频帧的色度分量,即实现了对黑白视频帧的着色。4.根据权利要求3所述的一种基于神经网络及运动信息的黑白视频着色方法,其特征在于,运动信息提取网络包括输入端特征提取模块、参考端亮度分量特征提取模块、源与参考注意力模块;通过输入端特征提取模块提取输入的待着色黑白视频帧的特征,通过参考端亮度分量特征提取模块提取参考帧亮度分量的特征,并通过源与参考注意力机制模块将待着色黑白视频帧的特征与参考帧亮度分量的特征进行融合,获取参考帧与黑白视频帧之间的运动信息;进一步优选的,输入端特征提取模块、参考端亮度分量特征提取模块均包括输入层、卷积层、BN层、激活函数层;卷积层用于对输入视频帧进行特征提取,得到视频帧的特征,并减小视频帧的特征的尺寸大小;BN层用于归一化;激活层用于实现视频帧的特征的非线性映射;进一步优选的,卷积层使用3D卷积,卷积核大小为1
×3×
3;进一步优选的,输入端特征提取模块如式(I)所示:y
in
=σ1(w1×
y
input
) (I)式(I)中,w1表示权重,y
in
表示提取到的待上色黑白视频帧的特征,σ1表示激活函数,w1通过反向传播更新,通过反向传播更新,表示输入的第i帧黑白视频帧,i表示输入黑白视频帧的帧数;进一步优选的,参考端亮度分量特征提取模块如式(II)所示:y
ref
=σ1(w2×
y
reference
) (II)式(II)中,w2表示权重,y
ref
表示提取到的参考帧的特征,σ1表示激活函数,w2通过反向传播更新,传播更新,表示输入的第
x帧参考帧,x表示参考帧的帧数。5.根据权利要求4所述的一种基于神经网络及运动信息的黑白视频着色方法,其特征在于,运动信息提取网络的最终输出如式(III)所示:M=A1(y
in
,y
ref
) (III)式(III)中,M表示提取到的运动信息,A1(
·
,
·
)表示源与参考注意力模块。6.根据权利要求1所述的一种基于神经网络及运动信息的黑白视频着色方法,其特征在于,参考特征提取网络包括输入层、卷积层、BN层、激活函数层;包括两条特征提取支路,第一条支路提取的是参考帧1/8原尺寸大小的特征,之后与运动信息通过源与参考注意力模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。