动态图片的生成方法及装置制造方法及图纸

本公开的实施例提供了一种动态图片的生成方法及装置，所述方法包括：生成目标向量，并采用预测网络对目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片；将前景动态图片和前景遮罩动态图片按帧拆分为至少一帧前景静态图片以及对应的前景遮罩静态图片；将第一帧前景静态图片、第一帧前景遮罩静态图片及后景静态图片输入到长短期记忆网络的第一个胞体中，预测生成动态图片的第一帧画面；将第n帧的前景静态图片、对应的前景遮罩静态图片及动态图片的n‑1帧的画面输入到长短期记忆网络的第n个胞体中，预测生成动态图片的第n帧画面。解决了动态图片生成准确率较低的问题，能够提高动态图片生成的准确率。

Method and device for generating dynamic pictures

An embodiment of the present disclosure provides a method and an apparatus for generating dynamic pictures, which include: generating target vectors and predicting target vectors using a prediction network to obtain foreground dynamic pictures, foreground mask dynamic pictures and background static pictures; and pressing foreground dynamic pictures and foreground mask dynamic pictures into frames. Split at least one foreground static picture and corresponding foreground mask static picture; input the first foreground static picture, the first foreground mask static picture and the background static picture into the first cell of the long-term and short-term memory network, and predict the first frame picture of the dynamic picture; and generate the foreground static picture of the n frame. The n_1 frame of the corresponding foreground mask static picture and the dynamic picture is input into the n th cell of the long-term and short-term memory network, and the n th frame picture of the dynamic picture is predicted. The problem of low accuracy of dynamic image generation is solved, and the accuracy of dynamic image generation can be improved.

【技术实现步骤摘要】
动态图片的生成方法及装置
本公开的实施例涉及网络
，尤其涉及一种动态图片的生成方法及装置。
技术介绍
在购物平台上，可以通过静态图片和动态图片展示商品信息。其中，动态图片比静态图片的展示效果更好。然而，动态图片的制作成本较高。现有技术中，专利技术专利CN104318596B提出一种动态图片的生成方法，包括：首先，通过解析动态图片，以提取动态图片中的实体元素图像；然后，对实体元素图像进行属性分析，从已知知识库中确定该实体的运动模式；最后，基于该实体元素图像及其第一运动模式生成对应的动态图片。可以看出，上述方法得到的运动模式比较单一，导致生成动态图片的准确性较低。
技术实现思路
本公开的实施例提供一种动态图片的生成方法及装置，用以提高生成动态图的准确性。根据本公开的实施例的第一方面，提供了一种动态图片的生成方法，所述方法包括：生成目标向量，并采用预测网络对所述目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片；将所述前景动态图片和前景遮罩动态图片按帧拆分为至少一帧前景静态图片以及对应的前景遮罩静态图片；将第一帧前景静态图片、第一帧前景遮罩静态图片及后景静态图片输入到长短期记忆网络的第一个胞体中，进行预测生成动态图片的第一帧画面；将第n帧的前景静态图片、对应的前景遮罩静态图片及动态图片的n-1帧的画面输入到长短期记忆网络的第n个胞体中，进行预测生成动态图片的第n帧画面。根据本公开的实施例的第二方面，提供了一种动态图片的生成装置，所述装置包括：前后景预测模块，用于生成目标向量，并采用预测网络对所述目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片；拆分模块，用于将所述前景动态图片和前景遮罩动态图片按帧拆分为至少一帧前景静态图片以及对应的前景遮罩静态图片；第一动态预测模块，用于将第一帧前景静态图片、第一帧前景遮罩静态图片及后景静态图片输入到长短期记忆网络的第一个胞体中，进行预测生成动态图片的第一帧画面；第二动态预测模块，用于将第n帧的前景静态图片、对应的前景遮罩静态图片及动态图片的n-1帧的画面输入到长短期记忆网络的第n个胞体中，进行预测生成动态图片的第n帧画面。根据本公开的实施例的第三方面，提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现前述动态图片的生成方法。根据本公开的实施例的第四方面，提供了一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述动态图片的生成方法。本公开的实施例提供了一种动态图片的生成方法及装置，所述方法包括：生成目标向量，并采用预测网络对所述目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片；将所述前景动态图片和前景遮罩动态图片按帧拆分为至少一帧前景静态图片以及对应的前景遮罩静态图片；将第一帧前景静态图片、第一帧前景遮罩静态图片及后景静态图片输入到长短期记忆网络的第一个胞体中，进行预测生成动态图片的第一帧画面；将第n帧的前景静态图片、对应的前景遮罩静态图片及动态图片的n-1帧的画面输入到长短期记忆网络的第n个胞体中，进行预测生成动态图片的第n帧画面。本公开的实施例提供的动态图片的生成方法，将当前帧画面的处理结果作为下一阵画面的参考，有助于降低各个网络模型的训练难度，有助于提高图片生成的准确率。附图说明为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本公开的实施例提供的系统架构下的一种动态图片的生成方法具体步骤流程图；图2是本公开的实施例提供的系统架构下的另一种动态图片的生成方法具体步骤流程图；图2A是本公开的实施例判别网络的结构示意图；图3是本公开的实施例提供的一种动态图片的生成装置的结构图；图4是本公开的实施例提供的另一种动态图片的生成装置的结构图。具体实施方式下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。实施例一参照图1，其示出了一种动态图片的生成方法的步骤流程图，包括：步骤101，生成目标向量，并采用预测网络对所述目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片。其中，目标向量为生成动态图片的参考对象。在实际应用中，目标向量可以为随机生成的一个噪声向量，也可以为根据一个静态图片得到的向量，还可以为静态图片得到的向量和噪声向量的和向量。可以理解，当目标向量为噪声向量时，生成的动态图片没有参考性，动态图片的准确度较低；当目标向量为静态图片得到的向量或与噪声向量的和向量时，生成的动态图片与原静态图片具有相关性，动态图片的准确度较高。预测包括前景预测和后景预测，前景预测得到前景动态图片、前景遮罩动态图片，后景预测得到后景静态图片。其中，前景动态图片和前景遮罩动态图片包含相同帧数的静态图片，且前景动态图片的每帧图片均对应前景遮罩动态图片中同一位置的图片。在本公开的实施例中，生成动态图片的模型包括编码网络、包括前景网络和后景网络的预测网络以及时间网络。其中，编码网络用于将静态图片进行视频编码生成一维向量，前景网络用于对拼接了噪声向量的一维向量进行前景预测，得到前景图片及前景遮罩图片，后景网络用于对拼接了噪声向量的一维向量进行后景预测，得到后景图片，时间网络用于将前景图片、前景遮罩图片、后景图片合成为最终的动态图片。步骤102，将所述前景动态图片和前景遮罩动态图片按帧拆分为至少一帧前景静态图片以及对应的前景遮罩静态图片。从步骤101的详细说明中可知，前景动态图片和前景遮罩动态图片对应相同帧数的静态图片，且相同位置的图片互相对应。从而可以将前景动态图片和前景遮罩动态图片拆分为相同数目的第一前景静态图片以及第一前景遮罩静态图片。具体地，可以根据每帧图片的头信息区别不同帧的数据。步骤103，将第一帧前景静态图片、第一帧前景遮罩静态图片及后景静态图片输入到长短期记忆网络的第一个胞体中，进行预测生成动态图片的第一帧画面。其中，LSTM(LongShort-TermMemory，长短期记忆网络)为时间网络模型，其输入按照时间顺序排列的序列。LSTM网络为时间递归神经网络，适用于处理和预测时间序列中间隔和延迟相对较长的重要事件。其中，时间网络模型中包括遗忘门和更新门。前景遮罩动态图片为遗忘门和更新门的系数。可以理解，若前景动态图片包括N帧前景图片，前景遮罩动态图片包括N帧前景遮罩图片，则第一帧前景图片和第一帧前景遮罩图片、第二帧前景图片和第二帧前景遮罩图片、…、第N帧前景图片和第N帧前景遮罩图片组成一个时间序列，该时间序列的每个对象在进行动态预测时，输入包括：前景图片、前景遮罩图片、上一帧输出的静态画面。在实际应用中，由于第一帧前景图片不存在上一帧输出本文档来自技高网...

【技术保护点】
1.一种动态图片的生成方法，其特征在于，所述方法包括如下动态图生成步骤：生成目标向量，并采用预测网络对所述目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片；将所述前景动态图片和前景遮罩动态图片按帧拆分为至少一帧前景静态图片以及对应的前景遮罩静态图片；将第一帧前景静态图片、第一帧前景遮罩静态图片及后景静态图片输入到长短期记忆网络的第一个胞体中，进行预测生成动态图片的第一帧画面；将第n帧的前景静态图片、对应的前景遮罩静态图片及动态图片的n‑1帧的画面输入到长短期记忆网络的第n个胞体中，进行预测生成动态图片的第n帧画面。

【技术特征摘要】
1.一种动态图片的生成方法，其特征在于，所述方法包括如下动态图生成步骤：生成目标向量，并采用预测网络对所述目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片；将所述前景动态图片和前景遮罩动态图片按帧拆分为至少一帧前景静态图片以及对应的前景遮罩静态图片；将第一帧前景静态图片、第一帧前景遮罩静态图片及后景静态图片输入到长短期记忆网络的第一个胞体中，进行预测生成动态图片的第一帧画面；将第n帧的前景静态图片、对应的前景遮罩静态图片及动态图片的n-1帧的画面输入到长短期记忆网络的第n个胞体中，进行预测生成动态图片的第n帧画面。2.根据权利要求1所述的方法，其特征在于，所述生成目标向量的步骤，包括：获取静态图片，并采用编码网络对所述静态图片进行编码得到第一编码向量；将所述第一编码向量与预设噪声向量拼接成目标向量。3.根据权利要求1所述的方法，其特征在于，所述预测网络包括前景网络及后景网络，所述采用预测网络对所述目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片的步骤，包括：采用前景网络对所述目标向量进行前景预测，生成前景动态图片以及前景遮罩动态图片；采用后景网络对所述目标向量进行后景预测，生成后景静态图片。4.根据权利要求1或2或3所述的方法，其特征在于，所述方法还包括：基于预设动态图片样本集预先对所述动态图生成步骤中涉及的各个网络进行训练。5.根据权利要求4所述的方法，其特征在于，所述基于预设动态图片样本集预先对所述动态图生成步骤中涉及的各个网络进行训练的步骤，包括：利用预设动态图片样本集和模拟动态图片集对判别网络进行训练；所述模拟动态图片集为利用所述动态图生成步骤生成的动态图片的集合；采用判别网络对预设动态图片样本集和模拟动态图片集进行真实性识别；若所述真实性识别的准确度满足预设条件，结束训练；若所述真实性识别的准确度不满足预设条件，分别调整对所述动态图生成步骤中涉及的各个网络的参数。6.根据权利要求5所述的方法，其特征在于，所述采用判别网络对预设动态图片样本集和模拟动态图片集进行真实性识别的步骤，包括：对于动态图片集中的各动态图片，将所述动态图片的各帧画面通过卷积神经网络进行图像编码，得到一维的第二编码向量，所述动态图片集由预设动态图片样本集和模拟动态图片集组成；通过循环神经网络对各帧画面对应的第二编码向量进行非线性运算，得到目标数值；对所述目标数值进行判断，得到所述动态图片的真实性识别结果。7.一种动态图片的生成装置，其特征在于，所述装置包括：前后景预测模块，用于生成目标向量，并采用预测网络对所述目标向量进行预测，得到前景动态图片、前景遮罩动态图片及后景静态图片；拆分模块，用于将所述前景动态图片和前景遮罩动态图片按帧拆分为...

【专利技术属性】
技术研发人员：俞力，金昕，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京,11