视频风格转换处理方法和装置制造方法及图纸

本申请提出一种视频风格转换处理方法和装置，其中，方法包括：根据样本图片的风格属性信息设置反映风格属性特征网络层的第一目标输出向量，根据当前输入视频帧的内容信息设置反映内容特征网络层的第二目标输出向量，根据当前输入视频帧的光流场信息设置反映光流场特征网络层的第三目标输出向量，根据第一目标输出向量、第二目标输出向量、第三目标输出向量训练目标模型中每个网络层的网络参数，根据满足预设训练条件时对应的目标网络参数和目标模型生成与样本图片对应的视频风格转换模型，以根据视频风格转换模型对目标视频进行转换处理生成与样本图片匹配的视频风格。由此，在确保视频流畅性的同时提高了视频风格转换处理的效率。

【技术实现步骤摘要】
视频风格转换处理方法和装置
本申请涉及视频处理
，尤其涉及一种视频风格转换处理方法和装置。
技术介绍
随着互联网技术的不断发展，用户对媒体资源的丰富性的需求也越来越高，例如从经典的文字内容进化到后来的图片内容，进而到如今广泛流行的视频特别是短视频内容。另一方面，用户也希望能够对内容本身进行重新的艺术加工从而获得更加新颖更加具有创意的艺术形态，比如视频的艺术风格转换。相关技术中，艺术风格的转换方法只能针对单张图片进行风格转换，因此利用经典的基于图片逐帧的方式进行风格转换处理，由于视频内容往往包含海量数据必然会导致耗时过长的问题，以及每帧图片之间可能存在突变，即风格转换后的图片内容和原始转换前的图片内容不具有相同的光流场，影响视频的流畅性。申请内容本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种视频风格转换处理方法，通过训练生成视频风格转换模型，在确保视频流畅性的同时提高了视频风格转换处理的效率。本申请的第二个目的在于提出另一种视频风格转换处理方法。本申请的第三个目的在于提出一种视频风格转换处理装置。本申请的第四个目的在于提出另一种视频风格转换处理装置。本申请的第五个目的在于提出一种计算机设备。本申请的第六个目的在于提出一种计算机程序产品。本申请的第七个目的在于提出一种非临时性计算机可读存储介质。为达上述目的，本申请的第一个目的在于提出一种视频风格转换处理方法，包括：获取用于模型训练的样本图片以及对应的样本视频集合；获取所述样本图片的风格属性信息，进而在训练所述目标模型的过程中，根据所述风格属性信息设置目标模型中反映风格属性特征网络层的第一目标输出向量；获取所述样本视频中每个视频帧的内容信息和光流场信息，进而在训练所述目标模型的过程中，根据当前输入视频帧的内容信息设置所述目标模型中反映内容特征网络层的第二目标输出向量，以及根据当前输入视频帧的光流场信息设置所述目标模型中反映光流场特征网络层的第三目标输出向量；根据所述第一目标输出向量、所述第二目标输出向量，以及所述第三目标输出向量训练所述目标模型中每个网络层的网络参数，并根据满足预设训练条件时对应的目标网络参数和所述目标模型，生成与所述样本图片对应的视频风格转换模型，以根据所述视频风格转换模型对目标视频进行转换处理生成与所述样本图片匹配的视频风格。为达上述目的，本申请的第二个目的在于提出一种视频风格转换处理方法，包括：获取包含目标视频和目标图片的视频风格转换请求；获取预先训练的与所述目标图片对应的目标视频风格转换模型；根据所述目标视频风格转换模型对所述目标视频进行转换处理生成与所述目标图片匹配的视频风格。为达上述目的，本申请的第三个目的在于提出一种视频风格转换处理装置，包括：获取模块，用于获取用于模型训练的样本图片以及对应的样本视频集合；第一设置模块，用于获取所述样本图片的风格属性信息，进而在训练所述目标模型的过程中，根据所述风格属性信息设置目标模型中反映风格属性特征网络层的第一目标输出向量；第二设置模块，用于获取所述样本视频中每个视频帧的内容信息和光流场信息，进而在训练所述目标模型的过程中，根据当前输入视频帧的内容信息设置所述目标模型中反映内容特征网络层的第二目标输出向量，以及根据当前输入视频帧的光流场信息设置所述目标模型中反映光流场特征网络层的第三目标输出向量；训练生成模块，用于根据所述第一目标输出向量、所述第二目标输出向量，以及所述第三目标输出向量训练所述目标模型中每个网络层的网络参数，并根据满足预设训练条件时对应的目标网络参数和所述目标模型，生成与所述样本图片对应的视频风格转换模型，以根据所述视频风格转换模型对目标视频进行转换处理生成与所述样本图片匹配的视频风格。为达上述目的，本申请的第四个目的在于提出一种视频风格转换处理装置，包括：第二获取模块，用于获取包含目标视频和目标图片的视频风格转换请求；第三获取模块，用于获取预先训练的与所述目标图片对应的目标视频风格转换模型；转换模块，用于根据所述目标视频风格转换模型对所述目标视频进行转换处理生成与所述目标图片匹配的视频风格。为达上述目的，本申请第五方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的视频风格转换处理。为达上述目的，本申请第六方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如前述方法实施例所述的视频风格转换处理方法。为达上述目的，本申请第七方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所述的视频风格转换处理方法。本申请实施例提供的技术方案可以包含如下的有益效果：获取用于模型训练的样本图片以及对应的样本视频集合，获取样本图片的风格属性信息，进而在训练目标模型的过程中，根据风格属性信息设置目标模型中反映风格属性特征网络层的第一目标输出向量，获取样本视频中每个视频帧的内容信息和光流场信息，进而在训练目标模型的过程中，根据当前输入视频帧的内容信息设置目标模型中反映内容特征网络层的第二目标输出向量，以及根据当前输入视频帧的光流场信息设置目标模型中反映光流场特征网络层的第三目标输出向量，根据第一目标输出向量、第二目标输出向量，以及第三目标输出向量训练目标模型中每个网络层的网络参数，并根据满足预设训练条件时对应的目标网络参数和目标模型，生成与样本图片对应的视频风格转换模型，以根据视频风格转换模型对目标视频进行转换处理生成与样本图片匹配的视频风格。由此，在确保视频流畅性的同时提高了视频风格转换处理的效率。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本申请一个实施例的视频风格转换处理方法的流程图；图2是根据本申请另一个实施例的视频风格转换处理方法的流程图图3是根据本申请一个实施例的视频风格转换处理装置的结构示意图；图4是根据本申请另一个实施例的视频风格转换处理装置的结构示意图；图5是根据本申请再一个实施例的视频风格转换处理装置的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。为了解决相关技术中通过利用经典的基于图片逐帧的方式进行风格转换处理导致耗时过长的问题，以及风格转换后的图片内容和原始转换前的图片内容不具有相同的光流场，影响视频的流畅性。本申请中，通过生成一种视频风格转换模型，可以确保视频转换处理前后的视频内容不变，仅仅是视频的风格转换，确保视频的流畅性。下面参考附图描述本申请实施例的视频风格转换处理方法和装置。图1是根据本申请一个实施例的视频风格转换处理方法的流程图，如图1所示，该方法包括：步骤101，获取用于模型训练的样本图片以及对应的样本视频集合。可以理解的是，一张样本图本文档来自技高网...

【技术保护点】
1.一种视频风格转换处理方法，其特征在于，包括以下步骤：获取用于模型训练的样本图片以及对应的样本视频集合；获取所述样本图片的风格属性信息，进而在训练所述目标模型的过程中，根据所述风格属性信息设置目标模型中反映风格属性特征网络层的第一目标输出向量；获取所述样本视频中每个视频帧的内容信息和光流场信息，进而在训练所述目标模型的过程中，根据当前输入视频帧的内容信息设置所述目标模型中反映内容特征网络层的第二目标输出向量，以及根据当前输入视频帧的光流场信息设置所述目标模型中反映光流场特征网络层的第三目标输出向量；根据所述第一目标输出向量、所述第二目标输出向量，以及所述第三目标输出向量训练所述目标模型中每个网络层的网络参数，并根据满足预设训练条件时对应的目标网络参数和所述目标模型，生成与所述样本图片对应的视频风格转换模型，以根据所述视频风格转换模型对目标视频进行转换处理生成与所述样本图片匹配的视频风格。

【技术特征摘要】
1.一种视频风格转换处理方法，其特征在于，包括以下步骤：获取用于模型训练的样本图片以及对应的样本视频集合；获取所述样本图片的风格属性信息，进而在训练所述目标模型的过程中，根据所述风格属性信息设置目标模型中反映风格属性特征网络层的第一目标输出向量；获取所述样本视频中每个视频帧的内容信息和光流场信息，进而在训练所述目标模型的过程中，根据当前输入视频帧的内容信息设置所述目标模型中反映内容特征网络层的第二目标输出向量，以及根据当前输入视频帧的光流场信息设置所述目标模型中反映光流场特征网络层的第三目标输出向量；根据所述第一目标输出向量、所述第二目标输出向量，以及所述第三目标输出向量训练所述目标模型中每个网络层的网络参数，并根据满足预设训练条件时对应的目标网络参数和所述目标模型，生成与所述样本图片对应的视频风格转换模型，以根据所述视频风格转换模型对目标视频进行转换处理生成与所述样本图片匹配的视频风格。2.如权利要求1所述的方法，其特征在于，在所述获取用于模型训练的样本图片以及对应的样本视频集合之后，还包括：根据所述目标模型的输入图片尺寸，对所述样本图片和/或所述样本视频集合中的每个视频帧的尺寸大小进行调整，使调整后的所述样本图片和/或所述样本视频集合中的每个视频帧的尺寸大小与所述输入图片尺寸相匹配。3.如权利要求2所述的方法，其特征在于，所述对所述样本图片和/或所述样本视频集合中的每个视频帧的尺寸大小进行调整，包括：对所述样本图片和/或所述样本视频集合中的每个视频帧的尺寸大小进行剪裁处理，或者，对所述样本图片和/或所述样本视频集合中的每个视频帧的尺寸大小进行插值处理。4.如权利要求1所述的方法，其特征在于，在所述生成与所述样本图片对应的视频风格转换模型之后，还包括：根据预设算法对所述目标网络参数进行计算，将计算结果满足预设过滤条件的候选网络参数对应的网络层进行删除处理。5.如权利要求1所述的方法，其特征在于，在所述根据所述视频风格转换模型对目标视频进行转换处理生成与所述样本图片匹配的视频风格之前，还包括：对所述视频风格转换模型中的网络层进行内存复用设置，以使在根据所述视频风格转换模型对目标视频进行转换处理的过程中，删除内存中存储的所述网络层的处理数据。6.一种视频风格转换处理方法，其特征在于，包括以下步骤：获取包含目标视频和目标图片的视频风格转换请求；获取预先训练的与所述目标图片对应的目标视频风格转换模型；根据所述目标视频风格转换模型对所述目标视频进行转换处理...

【专利技术属性】
技术研发人员：柏提，孙昊，刘霄，李鑫，赵翔，杨凡，李旭斌，文石磊，丁二锐，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11