用于提供多人个性化视频的系统和方法技术方案

本发明专利技术公开了用于提供多人个性化视频的系统和方法。一种示例性方法包括接收用户选择的具有至少一个目标面部和至少一个另外的目标面部的至少一个帧的视频，并且接收源面部的图像和另外的源面部的另外的图像。所述方法还包括修改源面部的图像以生成修改的源面部的图像，以及修改另外的源面部的另外的图像以生成修改的另外的源面部的图像。在视频的至少一个帧中，将目标面部替换为修改的源面部图像，并将至少一个另外的面部替换为修改的另外的源面部，以生成个性化视频。将个性化视频发送给至少一个另外的用户。

【技术实现步骤摘要】
【国外来华专利技术】用于提供多人个性化视频的系统和方法
本专利技术总体上涉及数字图像处理。更特别地，本专利技术涉及用于提供多人个性化视频的方法和系统。
技术介绍
诸如贴纸和表情符号等共享媒体已经成为消息传递应用程序(本文也称为即时消息软件(messenger))中的标准选项。目前，一些即时消息软件向用户提供了通过通信聊天来向其他用户生成和发送图像和短视频的选项。某些现有的即时消息软件允许用户在传输之前修改短视频。然而，现有即时消息软件提供的对短视频的修改仅限于可视化效果、滤镜和文本。当前即时消息软件的用户不能进行复杂的编辑，例如将视频中的一个面部替换为另外一个面部。当前的即时消息软件不提供这种复杂的视频编辑，这种复杂的视频编辑需要使用并了解复杂的第三方视频编辑软件。
技术实现思路
提供该部分以引入简化形式的技术方案，将在下面的具体实施方式部分中进一步描述该技术方案。本
技术实现思路
并非用于确定要求保护的主题的关键特征或基本特征，也并非用于帮助确定要求保护的主题的范围。根据本专利技术的一个实施例，公开了一种用于提供多人个性化视频的方法。所述方法可以开始于通过计算设备启用计算设备的用户与至少一个另外的计算设备的至少一个另外的用户之间的通信聊天。该方法还可以包括通过计算设备接收用户从存储在计算设备中的一个或多个个性化视频中选择视频。所述视频可以包括至少一个帧，该至少一个帧具有至少一个目标面部和至少一个另外的目标面部。所述方法可以继续通过计算设备接收源面部的图像和另外的源面部的另外的图像。在示例性实施例中，可以接收源面部的图像，将其作为用户从存储在计算设备的存储器中的一组图像中选择的预生成图像。该预生成图像可以被分割成包括源面部的部分和背景。在另一个示例性实施例中，可以通过计算设备的相机采集新图像并将新图像分割成包括源面部的部分和背景，来接收源面部的图像。此外，可以接收使用源面部的图像以在至少一个另外的计算设备上生成另外的个性化视频的用户许可。在接收到用户许可时，可以将源面部的图像和用户许可的指示发送到至少一个另外的计算设备。在一个示例性实施例中，可以接收另外的源面部的另外的图像，将其作为用户从存储在计算设备的存储器中的一组图像中选择的预生成图像。预生成图像可以被分割成包括另外的源面部的部分和背景。可以从至少一个另外的计算设备接收另外的源面部的另外的图像。所述方法还可以包括修改源面部的图像以生成修改的源面部的图像，以及修改另外的源面部的另外的图像以生成修改的另外的源面部的图像。修改的源面部可以采用目标面部的面部表情。类似地，修改的另外的源面部可以采用至少一个另外的目标面部的面部表情。然后，该方法可以继续在视频的至少一个帧中用修改的源面部的图像替换目标面部，并用修改的另外的源面部替换至少另外的面部以生成个性化视频。个性化视频可以通过通信聊天发送给至少一个另外的用户。在修改另外的源面部的另外的图像之前，可以确定至少一个另外的用户已经提供了使用另外的源面部的另外的图像来生成个性化视频的许可。所述方法还可以包括：在修改源面部的图像之前，基于至少一个帧中的目标面部来确定与参数化面部模型相关联的目标面部表情参数。该至少一个帧可以包括元数据，诸如目标面部表情参数。在这种情况下，修改源面部的图像还可以包括基于源面部的图像来确定与参数化面部模型相关联的源参数，这些参数包括源面部表情参数、源面部身份参数以及源面部纹理参数。基于参数化面部模型和目标面部表情参数、源面部身份参数和源面部纹理参数，可以合成修改的源面部图像。所述方法还可以包括：在修改另外的源面部的另外的图像之前，基于至少一个帧中的另外的目标面部来确定与参数化面部模型相关联的目标面部表情参数。在这种情况下，修改另外的源面部的另外的图像可以包括：基于另外的源面部的另外的图像，确定与参数化面部模型相关联的源参数，该源参数包括源面部表情参数、源面部身份参数和源面部纹理参数。基于参数化面部模型和目标面部表情参数、源面部身份参数和源面部纹理参数，可以合成修改的另外的源面部的另外的图像。根据一个示例性实施例，公开了一种用于提供多人个性化视频的系统。所述系统可以包括至少一个处理器和存储器，该存储器存储处理器可执行代码。在执行所述处理器可执行代码时，至少一个处理器可以被配置为通过计算设备启用计算设备的用户与至少一个另外的计算设备的至少一个另外的用户之间的通信聊天。至少一个处理器还可以被配置为通过计算设备接收用于从存储在计算设备中的一个或多个个性化视频中选择的视频。视频可以包括至少一个帧，该至少一个帧具有至少一个目标面部和至少一个另外的目标面部。至少一个处理器还可以被配置为通过计算设备接收源面部的图像和另外的源面部的另外的图像。具体地，可以接收源面部的图像，将其作为用户从存储在计算设备的存储器中的一组图像中选择的预生成图像。预生成图像可以被分割成包括源面部的部分和背景。在另外的示例性实施例中，可以通过计算设备的相机采集新图像并将新图像分割成包括源面部的部分和背景，来接收源面部的图像。此外，可以接收使用源面部的图像在至少一个另外的计算设备上生成另外的个性化视频的用户许可。在接收到用户许可时，可以将源面部的图像和用户许可的指示发送到至少一个另外的计算设备。可以接收另外的源面部的另外的图像，将其作为用户从存储在计算设备的存储器中的一组图像中选择的预生成图像。预生成图像可以被分割成包括另外的源面部的部分和背景。可以从至少一个另外的计算设备接收另外的源面部的另外的图像。在接收到源面部的图像和另外的源面部的另外的图像时，至少一个处理器可以修改源面部的图像以生成修改的源面部的图像，以及修改另外的源面部的另外的图像以生成修改的另外的源面部的图像。修改的源面部可以采用目标面部的面部表情。修改的另外的源面部可以采用至少一个另外的目标面部的面部表情。至少一个处理器还可以被配置为在视频的至少一个帧中将目标面部替换为修改的源面部的图像，将至少一个另外的面部替换为修改的另外的源面部，以生成个性化视频。个性化视频可以通过通信聊天发送给至少一个另外的用户。在一些示例性实施例中，在修改另外的源面部的另外的图像之前，至少一个处理器可以确定至少一个另外的用户已经提供了使用另外的源面部的另外的图像来生成个性化视频的许可。在一个示例性实施例中，在修改源面部的图像之前，至少一个处理器可以基于至少一个帧中的目标面部来确定与参数化面部模型相关联的目标面部表情参数。该至少一个帧可以包括元数据，诸如目标面部表情参数。源面部的图像可以修改如下。首先，可以基于源面部的图像来确定与参数化面部模型相关联的源参数。源参数可以包括源面部表情参数、源面部身份参数和源面部纹理参数。然后，可以基于参数化面部模型和目标面部表情参数、源面部身份参数和源面部纹理参数来合成修改的源面部的图像。根据本专利技术的又一个方面，提供了一种非暂时性处理器可读介质，其存储有处理器可读指令。当处理器执行处理器可读指令时，这些处理器可读指令使处理器实施上述用于提供多人个性化视频的方法。实例的另外的目的、优点和新颖特征将部分地在以下描述中进行阐述，并且部分地在知悉以本文档来自技高网...

【技术保护点】
1.一种用于提供多人个性化视频的方法，所述方法包括：/n通过计算设备启用所述计算设备的用户与至少一个另外的计算设备的至少一个另外的用户之间的通信聊天；/n通过所述计算设备接收用户从存储在所述计算设备中的一个或多个个性化视频中选择的视频，其中，所述视频包括至少一个帧，所述至少一个帧包括至少一个目标面部和至少一个另外的目标面部；/n通过所述计算设备接收源面部的图像和另外的源面部的另外的图像；/n修改所述源面部的图像以生成修改的源面部的图像，其中，所述修改的源面部采用所述目标面部的面部表情；/n修改所述另外的源面部的另外的图像以生成修改的另外的源面部的图像，其中，所述修改的另外的源面部采用所述至少一个另外的目标面部的面部表情；/n在所述视频的所述至少一个帧中，将所述目标面部替换为所述修改的源面部的图像，将所述至少一个另外的目标面部替换为所述修改的另外的源面部，以生成个性化视频；以及/n通过所述计算设备经由所述通信聊天向所述至少一个另外的用户发送所述个性化视频。/n

【技术特征摘要】
【国外来华专利技术】20190118 US 16/251,436;20191007 US 16/594,6901.一种用于提供多人个性化视频的方法，所述方法包括：
通过计算设备启用所述计算设备的用户与至少一个另外的计算设备的至少一个另外的用户之间的通信聊天；
通过所述计算设备接收用户从存储在所述计算设备中的一个或多个个性化视频中选择的视频，其中，所述视频包括至少一个帧，所述至少一个帧包括至少一个目标面部和至少一个另外的目标面部；
通过所述计算设备接收源面部的图像和另外的源面部的另外的图像；
修改所述源面部的图像以生成修改的源面部的图像，其中，所述修改的源面部采用所述目标面部的面部表情；
修改所述另外的源面部的另外的图像以生成修改的另外的源面部的图像，其中，所述修改的另外的源面部采用所述至少一个另外的目标面部的面部表情；
在所述视频的所述至少一个帧中，将所述目标面部替换为所述修改的源面部的图像，将所述至少一个另外的目标面部替换为所述修改的另外的源面部，以生成个性化视频；以及
通过所述计算设备经由所述通信聊天向所述至少一个另外的用户发送所述个性化视频。


2.根据权利要求1所述的方法，其中，接收所述源面部的图像包括：
接收用户从存储在所述计算设备的存储器中的一组图像中选择的预生成图像；以及
将所述预生成图像分割成包括所述源面部的部分和背景。


3.根据权利要求1所述的方法，其中，接收所述源面部的图像包括：
通过所述计算设备的相机采集新图像；以及
将所述新图像分割成包括所述源面部的部分和背景。


4.根据权利要求3所述的方法，还包括：
通过所述计算设备接收使用所述源面部的图像以在所述至少一个另外的计算设备上生成另外的个性化视频的用户许可；以及
在接收到所述用户许可时，通过所述计算设备向所述至少一个另外的计算设备发送所述源面部的图像和所述用户许可的指示。


5.根据权利要求1所述的方法，其中，接收所述另外的源面部的所述另外的图像包括：
接收用户从存储在所述计算设备的存储器中的一组图像中选择的预生成图像；以及
将所述预生成图像分割成包括所述另外的源面部的部分和背景。


6.根据权利要求1所述的方法，其中，从所述至少一个另外的计算设备接收所述另外的源面部的所述另外的图像。


7.根据权利要求6所述的方法，进一步包括在修改所述另外的源面部的所述另外的图像之前，确定所述至少一个另外的用户已经提供了使用所述另外的源面部的所述另外的图像来生成所述个性化视频的许可。


8.根据权利要求1所述的方法，进一步包括在修改所述源面部的图像之前，基于所述至少一个帧中的所述目标面部来确定与参数化面部模型相关联的目标面部表情参数，其中：
修改所述源面部的图像包括：
基于所述源面部的图像，确定与所述参数化面部模型相关联的源参数，所述参数包括源面部表情参数、源面部身份参数和源面部纹理参数；以及
基于所述参数化面部模型和所述目标面部表情参数、所述源面部身份参数以及所述源面部纹理参数，合成所述修改的源面部的图像。


9.根据权利要求8所述的方法，其中，所述至少一个帧包括元数据，所述元数据包括所述目标面部表情参数。


10.根据权利要求1所述的方法，进一步包括在修改所述另外的源面部的所述另外的图像之前，基于所述至少一个帧中的所述另外的目标面部，确定与所述参数化面部模型相关联的目标面部表情参数，其中：
修改所述另外的源面部的所述另外的图像包括：
基于所述另外的源面部的所述另外的图像，确定与所述参数化面部模型相关联的源参数，所述源参数包括源面部表情参数、源面部身份参数和源面部纹理参数；以及
基于所述参数化面部模型和所述目标面部表情参数、所述源面部身份参数以及所述源面部纹理参数，合成修改的另外的源面部的另外的图像。


11.一种用于提供多人个性化视频的系统，所述系统包括至少一个处理器和存储器，所述存储器存储处理器可执行代码，其中，所述至少一个处理器被配置为在执行所述处理器可执行代码时实现以下操作：
通过计算设备启用所述计算设备的用户与至少一个另外的计算设备的至...

【专利技术属性】
技术研发人员：维克托·沙布罗夫，亚历山大·马什拉博夫，格里戈里·特卡琴科，伊万·谢苗诺夫，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：美国;US