一种动态纹理视频生成方法、装置、服务器及存储介质制造方法及图纸

本申请实施例提供一种动态纹理视频生成方法、装置、服务器及存储介质，通过接收输入的纹理图像，基于接收到的纹理图像和纹理图像生成模型生成纹理图像序列(所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果)，使得可根据纹理图像序列生成动态纹理视频，从而实现了对接收到的纹理图像对应的动态纹理视频的生成，在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高了动态纹理视频的生成效率。

A Dynamic Texture Video Generation Method, Device, Server and Storage Media

【技术实现步骤摘要】
一种动态纹理视频生成方法、装置、服务器及存储介质
本专利技术涉及数据处理
，具体涉及一种动态纹理视频生成方法、装置、服务器及存储介质。
技术介绍
为了增加图片的趣味性，可以对图片中的纹理部分(如水流部分、火焰部分、瀑布部分等)进行动态化处理，以得到与图像对应的一段具有动态纹理内容的视频。现有技术通常是利用采样和重构的思想并基于迭代-优化的方式对纹理图像进行动态化处理以得到与纹理图像对应的动态纹理视频，然而，此种方式往往存在如下问题：第一、因利用采样和重构思想实现对纹理图像的动态化处理，故通常会存在生成的动态纹理视频无法从时间和空间上有效表达图像纹理的问题；第二、因基于迭代-优化的方式实现对纹理图像的动态化处理，故通常会存在生成动态纹理视频效率低的问题。有鉴于此，提供一种动态纹理视频生成方法、装置、服务器及存储介质，以在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高动态纹理视频的生成效率，是亟待解决的问题。
技术实现思路
有鉴于此，本专利技术实施例提供一种动态纹理视频生成方法、装置、服务器及存储介质，以在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高动态纹理视频的生成效率。为实现上述目的，本专利技术实施例提供如下技术方案：一种动态纹理视频生成方法，包括：接收输入的纹理图像；基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。一种动态纹理视频生成装置，包括：纹理图像接收单元，用于接收输入的纹理图像；纹理图像序列生成单元，用于基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。一种服务器，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于：接收输入的纹理图像；基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。一种存储介质，所述存储介质存储有适于处理器执行的程序，所述程序用于：接收输入的纹理图像；基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。本申请实施例提供一种动态纹理视频生成方法、装置、服务器及存储介质，通过接收输入的纹理图像，基于接收到的纹理图像和纹理图像生成模型生成纹理图像序列(所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果)，使得可根据纹理图像序列生成动态纹理视频，从而实现了对接收到的纹理图像对应的动态纹理视频的生成，在保证生成的动态纹理视频能够从时间和空间上有效表达图像纹理的基础上，提高了动态纹理视频的生成效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例提供的一种动态纹理视频生成方法流程图；图2为本申请实施例提供的另一种动态纹理视频生成方法流程图；图3为本申请实施例提供的一种纹理图像序列的生成过程示意图；图4为本申请实施例提供的一种用于生成纹理图像生成模型的生成系统框架图；图5为本申请实施例提供的一种模型生成模块中的卷积神经网络的结构示意图；图6为本申请实施例提供的一种纹理图像生成模型构建方法流程图；图7为本申请实施例提供的一种确定所述输出结果到所述视频流样本的欧式距离的方法流程图；图8为本申请实施例提供的另一种纹理图像生成模型构建方法程图；图9为本申请实施例提供的又一种纹理图像生成模型构建方法流程图；图10为本专利技术实施例提供的动态纹理视频生成装置的结构框图；图11为本申请实施例提供的一种纹理图像生成模型训练单元的详细结构示意图；图12为服务器的硬件结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例：图1为本申请实施例提供的一种动态纹理视频生成方法流程图，该方法可应用于服务器(如动态纹理视频生成服务器，或者其他专门设置的服务设备)，由服务器基于接收到的输入的纹理图像生成纹理图像序列，以便于可以通过生成的纹理图像序列生成动态纹理视频。如图1所示，该方法包括：S101、接收输入的纹理图像；可选的，服务器中设置有纹理图像生成模型，所述纹理图像生成模型以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到。在本申请实施例中，优选的，纹理图像样本的个数为至少一个，所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。也就是说，本申请实施例可以采用多个纹理图像样本对卷积神经网络进行训练以生成纹理图像生成模型，并且，这多个纹理图像样本中可以既包括第一纹理图像样本(此处的第一纹理图像样本为视频流样本中的纹理图像)，也可以包括第二纹理图像样本【此处的第二纹理图像样本是在对卷积神经本文档来自技高网...

【技术保护点】
1.一种动态纹理视频生成方法，其特征在于，包括：接收输入的纹理图像；基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。

【技术特征摘要】
1.一种动态纹理视频生成方法，其特征在于，包括：接收输入的纹理图像；基于所述纹理图像和纹理图像生成模型生成纹理图像序列；所述纹理图像序列中的首个纹理图像是所接收的纹理图像，针对纹理图像序列中的任意两帧相邻的纹理图像，后一帧纹理图像是所述纹理图像生成模型对前一帧纹理图像的输出结果；其中，所述纹理图像生成模型是以卷积神经网络对纹理图像样本的输出结果趋于视频流样本中与该纹理图像样本对应的下一帧纹理图像为目标，训练所述卷积神经网络得到的；所述纹理图像样本为所述视频流样本中的纹理图像或所述卷积神经网络对所述视频流样本中的纹理图像的输出结果。2.根据权利要求1所述的方法，其特征在于，还包括：获取视频流样本，所述视频流样本由至少一个依次排序的纹理图像构成；确定纹理图像样本；获取卷积神经网络对纹理图像样本的输出结果；确定所述输出结果到所述视频流样本的欧式距离；以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。3.根据权利要求2所述的方法，其特征在于，还包括：确定所述视频流样本中与所述输出结果对应的下一帧纹理图像；确定所述输出结果到所确定的下一帧纹理图像的映射距离；所述以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型，包括：以最小化所述欧氏距离和映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。4.根据权利要求2所述的方法，其特征在于，所述确定所述输出结果到所述视频流样本的欧式距离，包括：确定由所述纹理图像样本与所述输出结果构成的格拉姆矩阵；确定用于表征所述视频流样本的平均格拉姆矩阵；通过最小化所述平均格拉姆矩阵和所述格拉姆矩阵的欧氏距离，构造用于表征所述输出结果到所述视频流样本的欧式距离的第一损失函数。5.根据权利要求3所述的方法，其特征在于，所述确定所述输出结果到所确定的下一帧纹理图像的映射距离，包括：通过最小化所述输出结果到所确定的下一帧纹理图像的映射距离，构造用于表征所述输出结果到所确定的下一帧纹理图像的映射距离的第二损失函数。6.根据权利要求2所述的方法，其特征在于，所述确定纹理图像样本包括确定至少两个纹理图像样本时，该方法还包括：基于所确定的分别与每个纹理图像样本对应的欧式距离，确定平均欧式距离；所述以最小化所述欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型，包括：以最小化所述平均欧式距离为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。7.根据权利要求6所述的方法，其特征在于，还包括：基于所确定的分别与每个所述纹理图像样本对应的映射距离，确定平均映射距离；所述以最小化所述欧氏距离和映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型，包括：以最小化所述平均欧式距离和平均映射距离的总和为训练目标，更新所述卷积神经网络的参数，直至递归卷积神经网络达到收敛，得到纹理图像生成模型。8.根据权利要求1-7任意一项所述的方法，其特征在于，所述卷积神经网络包括至少一个用于对视频流的时空信息进行捕获的控制门残差模块，所述控制门残差模块由并联的控制门支路、卷积层支路和加法层构成；所述控制门支路包括卷积模块，所述卷积层支路包括至少一个串联的卷积模块；所述卷积模块包括卷积层、实例化规一层和激活函数层。9.一种动态纹理视频...

【专利技术属性】
技术研发人员：唐永毅，马林，刘威，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东,44