基于表情驱动的虚拟视频合成方法、装置及存储介质制造方法及图纸

本发明专利技术涉及视频合成技术领域，提出一种基于表情驱动的虚拟视频合成方法、装置及存储介质，所述方法包括：获取待合成图像集，并从所述待合成图像集中确定待合成图像；基于GAN网络对待合成图像与目标图像进行合成，形成目标照片，目标图像为用户原始图像；截取未经处理的原始视频中的多个帧作为基准图像；基于所述基准图像对所述目标照片进行表情驱动，得到与待传输虚拟传输视频对应的传输图像；对所述传输图像的帧进行拼合，形成所述虚拟合成视频。本发明专利技术采用自己的照片和陌生人的照片合成用于视频聊天的照片，进而通过表情驱动将合成的照片虚拟为与自己相似的视频，能够接近自己的真是容貌且能够保护自己的隐私。

Virtual video synthesis method, device and storage medium based on expression driven

【技术实现步骤摘要】
基于表情驱动的虚拟视频合成方法、装置及存储介质
本专利技术涉及视频合成
，尤其涉及一种基于表情驱动的虚拟视频合成方法、装置及计算机可读存储介质。
技术介绍
目前，虚拟视频的合成在很多领域均得到广泛应用，具有很大的市场。由此兴起的虚拟社交是虚拟实现领域的一个重要应用，虚拟对象驱动，可以被应用在虚拟社交中，用来驱动个性化的角色，从而增强虚拟社交的真实性与互动性，优化用户的虚拟现实体验。但现有的虚拟视频合成主要是在电影、动画以及游戏视频制作中使用人脸动作捕捉设备来跟踪真实人脸的变化，并将其映射到一个虚拟角色上，用来驱动虚拟角色的口型以及表情，其并不能实现与自身脸部特征相似的虚拟视频合成。同样，在目前的社交领域中，普遍存在陌生人之间相互视频聊天的情况，如何在这种情况下选用与自己长相接近且不属于自己真实面容的视频进行聊天，也是目前急需要解决的一个技术问题。
技术实现思路
本专利技术提供一种基于表情驱动的虚拟视频合成方法、电子装置及计算机可读存储介质，其主要目的在于采用自己的照片和陌生人的照片合成用于视频聊天的照片，进而通过表情驱动将合成的照片虚拟为与自己相似的视频，能够接近自己的真是容貌且能够保护自己的隐私。为实现上述目的，本专利技术提供一种基于表情驱动的虚拟视频合成方法，应用于电子装置，所述方法包括：获取待合成图像集，并从所述待合成图像集中确定待合成图像；基于GAN网络对所述待合成图像与目标图像进行合成，形成目标照片，所述目标图像为用户原始图像；截取未经处理的原始视频中的多个帧图像作为基准图像；基于所述基准图像对所述目标照片进行表情驱动，得到与待传输虚拟传输视频对应的传输图像；对所述传输图像的帧进行拼合，形成所述虚拟合成视频。优选地，所述待合成图像集中包含多组图像，每组图像包括同一人的多个表情图像，所述多个表情图像作为所述待合成图像的表情基。优选地，所述目标图像为与所述待合成图像的表情基相对应的一组图像；对所述待合成图像与目标图像进行合成的步骤包括：将所述目标图像与所述待合成图像中的同一表情的图像进行合成，且合成后的目标照片的表情与所述待合成图像中的同一表情的图像的表情相一致。优选地，所述基于所述基准图像对所述目标照片进行表情驱动，得到与待传输虚拟传输视频对应的传输图像的步骤包括：设定一个平均脸、一组表情基以及一组身份基；将所述平均脸和所述身份基的系数设定为固定值，并控制所述目标照片的表情基系数随所述基准图像的表情基的系数变化而变化，形成与所述基准图像对应的传输图像。优选地，所述将所述平均脸和所述身份基的系数设定为固定值，并控制所述目标照片的表情基系数随所述基准图像的表情基的系数变化而变化，形成与所述基准图像对应的传输图像的步骤包括：将所述平均脸、表情基和身份基的3D的网格图转换为对应的2D图像，并基于所述2D图像获取对应的人脸关键点坐标；获取所述基准图像的人脸关键点坐标；通过迭代，改变表情基的系数，使基于所述2D图像获取的人脸关键点坐标与所述基准图像的人脸关键点坐标之间的欧式距离最小，从而确定一组表情基的系数；将获取的表情基的系数应用至所述目标照片上，使得相同表情基的系数相同，获取最终的传输图像。为实现上述目的，本专利技术还提供一种电子装置，该电子装置包括：存储器、处理器，所述存储器中包括基于表情驱动的虚拟视频合成程序，所述基于表情驱动的虚拟视频合成程序被所述处理器执行时实现如下步骤：获取待合成图像集，并从所述待合成图像集中确定待合成图像；基于GAN网络对所述待合成图像与目标图像进行合成，形成目标照片，所述目标图像为用户原始图像；截取未经处理的原始视频中的多个帧图像作为基准图像；基于所述基准图像对所述目标照片进行表情驱动，得到与待传输虚拟传输视频对应的传输图像；对所述传输图像的帧进行拼合，形成所述虚拟合成视频。优选地，所述待合成图像集中包含多组图像，每组图像包括同一人的多个表情图像，所述多个表情图像作为所述待合成图像的表情基。优选地，所述基于所述基准图像对所述目标照片进行表情驱动，得到与待传输虚拟传输视频对应的传输图像的步骤包括：设定一个平均脸、一组表情基以及一组身份基；将所述平均脸和所述身份基的系数设定为固定值，并控制所述目标照片的表情基系数随所述基准图像的表情基的系数变化而变化，形成与所述基准图像对应的传输图像。优选地，所述将所述平均脸和所述身份基的系数设定为固定值，并控制所述目标照片的表情基系数随所述基准图像的表情基的系数变化而变化，形成与所述基准图像对应的传输图像的步骤包括：将所述平均脸、表情基和身份基的3D的网格图转换为对应的2D图像，并基于所述2D图像获取对应的人脸关键点坐标；获取所述基准图像的人脸关键点坐标；通过迭代，改变表情基的系数，使基于所述2D图像获取的人脸关键点坐标与所述基准图像的人脸关键点坐标之间的欧式距离最小，从而确定一组表情基的系数；将获取的表情基的系数应用至所述目标照片上，使得相同表情基的系数相同，获取最终的传输图像。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包括基于表情驱动的虚拟视频合成程序，所述基于表情驱动的虚拟视频合成程序被处理器执行时，实现如上所述的基于表情驱动的虚拟视频合成方法中的任意步骤。本专利技术提出的基于表情驱动的虚拟视频合成方法、电子装置及计算机可读存储介质，采用自己的照片和陌生人的照片合成用于视频聊天的照片，进而通过表情驱动将合成的照片虚拟为与自己相似的视频，能够接近自己的真是容貌且能够保护自己的隐私。附图说明图1为本专利技术基于表情驱动的虚拟视频合成方法较佳实施例的应用环境示意图；图2为图1中基于表情驱动的虚拟视频合成程序较佳实施例的模块示意图；图3为本专利技术基于表情驱动的虚拟视频合成方法较佳实施例的流程图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种基于表情驱动的虚拟视频合成方法，应用于一种电子装置1。参照图1所示，为本专利技术基于表情驱动的虚拟视频合成方法较佳实施例的应用环境示意图。在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。该电子装置1包括：处理器12、存储器11、摄像装置13、网络接口14及通信总线15。存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的本文档来自技高网...

【技术保护点】
1.一种基于表情驱动的虚拟视频合成方法，应用于电子装置，其特征在于，所述方法包括：/n获取待合成图像集，并从所述待合成图像集中确定待合成图像；/n基于GAN网络对所述待合成图像与目标图像进行合成，形成目标照片，所述目标图像为用户原始图像；/n截取未经处理的原始视频中的多个帧图像作为基准图像；/n基于所述基准图像对所述目标照片进行表情驱动，得到与待传输虚拟传输视频对应的传输图像；/n对所述传输图像的帧进行拼合，形成所述虚拟合成视频。/n

【技术特征摘要】
1.一种基于表情驱动的虚拟视频合成方法，应用于电子装置，其特征在于，所述方法包括：
获取待合成图像集，并从所述待合成图像集中确定待合成图像；
基于GAN网络对所述待合成图像与目标图像进行合成，形成目标照片，所述目标图像为用户原始图像；
截取未经处理的原始视频中的多个帧图像作为基准图像；
基于所述基准图像对所述目标照片进行表情驱动，得到与待传输虚拟传输视频对应的传输图像；
对所述传输图像的帧进行拼合，形成所述虚拟合成视频。


2.根据权利要求1所述的基于表情驱动的虚拟视频合成方法，其特征在于，所述待合成图像集中包含多组图像，每组图像包括同一人的多个表情图像，所述多个表情图像作为所述待合成图像的表情基。


3.根据权利要求2所述的基于表情驱动的虚拟视频合成方法，其特征在于，
所述目标图像为与所述待合成图像的表情基对应的一组图像；
对所述待合成图像与目标图像进行合成的步骤包括：将所述目标图像与所述待合成图像中的同一表情的图像进行合成，且合成后的目标照片的表情与所述待合成图像中的同一表情的图像的表情相一致。


4.根据权利要求1所述的基于表情驱动的虚拟视频合成方法，其特征在于，所述基于所述基准图像对所述目标照片进行表情驱动，得到与待传输虚拟传输视频对应的传输图像的步骤包括：
设定一个平均脸、一组表情基以及一组身份基；
将所述平均脸和所述身份基的系数设定为固定值，并控制所述目标照片的表情基系数随所述基准图像的表情基的系数变化而变化，形成与所述基准图像对应的传输图像。


5.根据权利要求4所述的基于表情驱动的虚拟视频合成方法，其特征在于，所述将所述平均脸和所述身份基的系数设定为固定值，并控制所述目标照片的表情基系数随所述基准图像的表情基的系数变化而变化，形成与所述基准图像对应的传输图像的步骤包括：
将所述平均脸、表情基和身份基的3D网格图转换为对应的2D图像，并基于所述2D图像获取对应的人脸关键点坐标；
获取所述基准图像的人脸关键点坐标；
通过迭代，改变表情基的系数，使基于所述2D图像获取的人脸关键点坐标与所述基准图像的人脸关键点坐标之间的欧式距离最小，从而确定一组表情基的系数；
将获取的表情基的系数应用至所述目标照片上，使得相同表情基的系数相同，获取最...

【专利技术属性】
技术研发人员：孙太武，张艳，周超勇，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44