视频智能生成方法及装置制造方法及图纸

本公开提供一种视频智能生成装置和生成方法，其中该生成方法包括：生成模块，通过第一人工神经网络，根据输入的合成指示数据，生成相应的创作图片；合成模块，根据所述创作图片，进行图片合成，生成合成图片；视频处理模块，将合成图片作为视频帧进行处理，获得合成视频。通过本公开的装置能节省人力物力，减少后期视频制作过程。

Intelligent Video Generation Method and Device

The present disclosure provides an intelligent video generating device and a generating method, wherein the generating method includes: a generating module, which generates corresponding creative pictures according to the input synthetic instruction data through the first artificial neural network; a combining module, which synthesizes pictures according to the creative pictures and generates synthetic pictures; and a video processing module, which takes the synthetic pictures as video frames. Processing to obtain synthetic video. The device disclosed can save manpower and material resources and reduce the post-video production process.

【技术实现步骤摘要】
视频智能生成方法及装置
本公开涉及信息处理
，具体涉及一种视频智能生成方法以及实现该方法的装置。
技术介绍
现有技术中，通常对于视频生成有很大需求，相应对视频智能生成装置也有需求，例如，在电视电影制作中，会需要进行大量的修改图像或者视频帧的工作，例如对于玄幻剧的功法，通常的做法是需要专业人员应用专业软件花费大量的时间进行修改，这种修改方式不但费时费力，而且由于技术人员的技术水平存在区别，也会对于后期的制作效果产品难以预料到的影响。
技术实现思路
(一)要解决的技术问题有鉴于此，本公开的目的在于提供一种视频智能生成方法以及实现该方法的装置，以至少部分解决上述技术问题。(二)技术方案根据本公开的一方面，提供一种视频智能生成装置，包括：生成模块，通过第一人工神经网络，根据输入的合成指示数据，生成相应的创作图片；合成模块，根据所述创作图片，进行图片合成，生成合成图片；视频处理模块，将合成图片作为视频帧进行处理，获得合成视频。在进一步的实施方案中，还包括：图像视频接收模块，用于接收外部输入的图像和/或视频，且输入至所述合成模块；所述合成模块还用于根据由图像视频接收模块输入的图像和/或视频帧，以及生成模块输出的创作图片，进行图片合成；所述视频处理模块还用于将图像视频接收模块中的视频作为部分输入，获得合成视频。在进一步的实施方案中，还包括：文字接收模块，用于接收外部输入的文字，生成合成指示数据。在进一步的实施方案中，所述生成模块中，通过第一人工神经网络，根据输入的合成指示数据，生成相应的创作图片，包括：通过生成对抗网络进行创作图片的生成，该对抗网络包括生成器神经网络和鉴别器神经网络；生成器神经网络输入随机向量，输出生成数据；鉴别器神经网络的输入为真实数据和生成器神经网络的生成数据，输出为对生成数据的判断。在进一步的实施方案中，所述生成对抗网络中，还通过鉴别器神经网络的输出反向传播更新鉴别器神经网络和生成器神经网络。在进一步的实施方案中，在所述生成模块中，还包括对生成器神经网络和鉴别器神经网络进行训练：采用真实图片作为训练样本，获取图片的第一数据分布特征，确定图片的第一鉴别器得分；生成器输入随机噪声，该随机噪声对应生成指示数据对应的类别，输出模仿的该类别对应真实图片的第二数据分布特征，确定该第二数据分布的第二鉴别器得分；根据第一鉴别器得分和第二鉴别器得分的梯度进行更新，分别更新生成器神经网络和鉴别器神经网络。在进一步的实施方案中，所述合成模块包括：特征提取子模块，通过第二人工神经网络进行图片合成，通过所述创作图片、图像视频接收模块输入的图像和/或图像视频接收模块输入的视频帧，提取特定特征；特征合成子模块，将提取的特定特征合并至同一图中。在进一步的实施方案中，所述视频处理模块中，将合成图片作为视频帧进行处理，包括：使用第三人工神经网络对许多的视频帧，输入合成指示数据，还输入合成图片和/或图像视频接收模块输入的视频，输出多帧图片内容。在进一步的实施方案中，所述第一人工神经网络、第二人工神经网络和第三人工神经网络分别包括卷积层、全连接层、池化层和批归一化层。在进一步的实施方案中，所述生成模块、合成模块、视频处理模块和图像视频接收模块各自采用不同的神经网络芯片，或者至少两个集成于同一神经网络芯片。根据本公开的另一方面，还提供一种视频智能生成方法，包括：通过生成模块，根据第一人工神经网络以及输入的合成指示数据，生成相应的创作图片；通过合成模块，根据所述创作图片，进行图片合成，生成合成图片；通过视频处理模块，将合成图片作为视频帧进行处理，获得合成视频。在进一步的实施方案中，还包括：通过图像视频接收模块接收外部输入的图像和/或视频，且输入至所述合成模块；合成模块还根据由图像视频接收模块输入的图像和/或视频帧，以及生成模块输出的创作图片，进行图片合成；视频处理模块还将图像视频接收模块中的视频作为部分输入，获得合成视频。在进一步的实施方案中，还包括：通过文字接收模块，接收外部输入的文字，生成合成指示数据。在进一步的实施方案中，通过生成模块，根据第一人工神经网络以及输入的合成指示数据，生成相应的创作图片，包括：通过生成对抗网络进行创作图片的生成，该对抗网络包括生成器神经网络和鉴别器神经网络；生成器神经网络输入随机向量，输出生成数据；鉴别器神经网络的输入为真实数据和生成器神经网络的生成数据，输出为对生成数据的判断。在进一步的实施方案中，还通过鉴别器神经网络的输出反向传播更新鉴别器神经网络和生成器神经网络。在进一步的实施方案中，还包括对生成器神经网络和鉴别器神经网络进行训练：采用真实图片作为训练样本，获取图片的第一数据分布特征，确定图片的第一鉴别器得分；生成器输入随机噪声，该随机噪声对应生成指示数据对应的类别，输出模仿的该类别对应真实图片的第二数据分布特征，确定该第二数据分布的第二鉴别器得分；根据第一鉴别器得分和第二鉴别器得分的梯度进行更新，分别更新生成器神经网络和鉴别器神经网络。在进一步的实施方案中，通过特征提取子模块，经第二人工神经网络进行图片合成，通过所述创作图片、图像视频接收模块输入的图像和/或图像视频接收模块输入的视频帧，提取特定特征；还通过特征合成子模块，将提取的特定特征合并至同一图中。在进一步的实施方案中，所述通过视频处理模块，将合成图片作为视频帧进行处理，获得合成视频，包括：使用第三人工神经网络对许多的视频帧，输入合成指示数据，还输入合成图片和/或图像视频接收模块输入的视频，输出多帧图片内容。在进一步的实施方案中，所述第一人工神经网络、第二人工神经网络和第三人工神经网络分别包括卷积层、全连接层、池化层和批归一化层。(三)有益效果针对现有的对视频的处理，有些看着很不自然，对电视电影的后期处理，花费很多的人力物力，一些电视电影的拍摄，场景布置、演员等，耗费的资源很多，用本装置能节省人力物力；通过在文字接收模块输入文字等合成指示，可以不需要专业技术，即可实现视频的生成，尤其现在拍摄电影电视的导演有该专业基础，用本设备，可以全民导演，使之成为一个人人可以实现的兴趣爱好。附图说明图1是本公开实施例的视频智能生成装置原理方框图。图2是本公开实施例的另一种视频智能生成装置的示意图。图3是本公开实施例的视频智能生成装置生成模块的示意图。图4是本公开实施例的视频智能生成装置合成模块的示意图。图5是本公开实施例的神经网络芯片原理方框图。图6是本公开实施例的视频智能生成方法流程图。具体实施方式下面结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开的保护范围。根据本公开的基本构思，提供一种视频智能生成装置，包括：生成模块110，根据第一人工神经网络以及输入的合成指示数据，生成相应的创作图片；合成模块120，根据所述创作图片，进行图片合成，生成合成图片；以及视频处理模块130，将合成图片作为视频帧进行处理，获得合成视频。这种装置中，只需外部输入简单的合成指示，即可以实现视频的合成，大幅度提高了效率。图1是本公开实施例的视频智能生成装置原理方框图。如本文档来自技高网...

【技术保护点】
1.一种视频智能生成装置，其特征在于包括：生成模块，通过第一人工神经网络，根据输入的合成指示数据，生成相应的创作图片；合成模块，根据所述创作图片，进行图片合成，生成合成图片；视频处理模块，将合成图片作为视频帧进行处理，获得合成视频。

【技术特征摘要】
1.一种视频智能生成装置，其特征在于包括：生成模块，通过第一人工神经网络，根据输入的合成指示数据，生成相应的创作图片；合成模块，根据所述创作图片，进行图片合成，生成合成图片；视频处理模块，将合成图片作为视频帧进行处理，获得合成视频。2.根据权利要求1所述的装置，其特征在于，还包括：图像视频接收模块，用于接收外部输入的图像和/或视频，且输入至所述合成模块；所述合成模块还用于根据由图像视频接收模块输入的图像和/或视频帧，以及生成模块输出的创作图片，进行图片合成；所述视频处理模块还用于将图像视频接收模块中的视频作为部分输入，获得合成视频。3.根据权利要求1所述的装置，其特征在于，还包括：文字接收模块，用于接收外部输入的文字，生成合成指示数据。4.根据权利要求1所述的装置，其特征在于，所述生成模块中，通过第一人工神经网络，根据输入的合成指示数据，生成相应的创作图片，包括：通过生成对抗网络进行创作图片的生成，该对抗网络包括生成器神经网络和鉴别器神经网络；生成器神经网络输入随机向量，输出生成数据；鉴别器神经网络的输入为真实数据和生成器神经网络的生成数据，输出为对生成数据的判断。5.根据权利要求4所述的装置，其特征在于，所述生成对抗网络中，还通过鉴别器神经网络的输出反向传播更新鉴别器神经网络和生成器神经网络。6.根据权利要求4所述的装置，其特征在于，在所述生成模块中，还包括对生成器神经网络和鉴别器神经网络进行训练：采用真实图片作为训练样本，获取图片的第一数据分布特征，确定图片的第一鉴别器得分；生成器输入随机噪声，该随机噪声对应生成指示数据对应的类别，输出模仿的该类别对应真实图片的第二数据分布特征，确定该第二数据分布的第二鉴别器得分；根据第一鉴别器得分和第二鉴别器得分的梯度进行更新，分别更新生成器神经网络和鉴别器神经网络。7.根据权利要求2所述的装置，其特征在于，所述合成模块包括：特征提取子模块，通过第二人工神经网络进行图片合成，通过所述创作图片、图像视频接收模块输入的图像和/或图像视频接收模块输入的视频帧，提取特定特征；特征合成子模块，将提取的特定特征合并至同一图中。8.根据权利要求1所述的装置，其特征在于，所述视频处理模块中，将合成图片作为视频帧进行处理，包括：使用第三人工神经网络对许多的视频帧，输入合成指示数据，还输入合成图片和/或图像视频接收模块输入的视频，输出多帧图片内容。9.根据权利要求7或8所述的装置，其特征在于，所述第一人工神经网络、第二人工神经网络和第三人工神经网络分别包括卷积层、全连接层、池化层和批归一化层。10.根据权利要求2所述的装置，其特征在于，所述生成模块、合成模块、视频处理模块和图像视频接收模块各...

【专利技术属性】
技术研发人员：周诗怡，陈云霁，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11