实时视频的处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种实时视频的处理方法、装置、设备及存储介质，涉及数字图像处理、深度学习技术领域。具体实现方案为：将视频帧加入至视频帧集合中，并从视频帧集合中获取当前处理帧；将当前处理帧输入至人脸风格转换模型中，获取模型输出的第一类风格变换帧；以当前处理帧和第一类风格变换帧为起点，根据视频帧集合中设定数量的后续视频帧与前一视频帧中各人脸关键点间的位置关系，生成对应的第二类风格变换帧；从视频帧集合中获取新的当前处理帧后，返回执行将当前处理帧输入至人脸风格转换模型中的操作，并将第一类风格变换帧和第二类风格变换帧作为实时视频处理结果。本申请实施例的技术方案可以基于视频中的真实人脸实时生成匹配的风格人脸。

【技术实现步骤摘要】
实时视频的处理方法、装置、设备及存储介质
本申请实施例涉及图像处理、深度学习技术，尤其涉及数字图像处理技术，具体涉及一种实时视频的处理方法、装置、设备及存储介质。
技术介绍
随着生活水平的不断提高，用户对娱乐化的需求越来越多样化，将视频中的真实人脸变换成动漫风格人脸也受到越来越多用户的关注和喜爱。现有技术中，通常在离线状态下，基于视频中的真实人脸生成匹配的风格人脸，或者，使用视频中的真实人脸实时驱动一个已经预先生成的固定风格人脸，生成与真实人脸表情一致的风格人脸。但这两种方式都不能基于视频中的真实人脸，实时生成与该真实人脸匹配的风格人脸。
技术实现思路
本申请实施例提供了一种实时视频的处理方法、装置、设备及存储介质，实现了基于视频中的真实人脸，实时生成与真实人脸匹配的风格人脸。第一方面，本申请实施例提供了一种实时视频的处理方法，包括：将实时采集的视频帧加入至视频帧集合中，并从视频帧集合中获取当前处理帧，视频帧中包括真实人脸；将当前处理帧输入至人脸风格转换模型中，并获取人脸风格转换模型输出的第一类风格变换帧，风格变换帧中包括风格人脸；以当前处理帧和第一类风格变换帧为起点，根据视频帧集合中设定数量的后续视频帧与前一视频帧中各人脸关键点间的位置关系，生成所述设定数量的第二类风格变换帧；从视频帧集合中获取新的当前处理帧后，返回执行将当前处理帧输入至人脸风格转换模型中的操作，并将第一类风格变换帧和第二类风格变换帧作为实时视频处理结果。第二方面，本申请实施例还提供了一种实时视频的处理装置，包括：获取模块，用于将实时采集的视频帧加入至视频帧集合中，并从视频帧集合中获取当前处理帧，视频帧中包括真实人脸；第一变换模块，用于将当前处理帧输入至人脸风格转换模型中，并获取人脸风格转换模型输出的第一类风格变换帧，风格变换帧中包括风格人脸；第二变换模块，用于以当前处理帧和第一类风格变换帧为起点，根据视频帧集合中设定数量的后续视频帧与前一视频帧中各人脸关键点间的位置关系，生成所述设定数量的第二类风格变换帧；循环模块，用于从视频帧集合中获取新的当前处理帧后，返回执行将当前图像帧输入至人脸风格转换模型中的操作，并将第一类风格变换帧和第二类风格变换帧作为实时视频处理结果。第三方面，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例提供的实时视频的处理方法。第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例提供的实时视频的处理方法。本申请实施例的技术方案，通过将实时采集的视频帧加入至视频帧集合中，并从视频帧集合中获取当前处理帧，视频帧中包括真实人脸；将当前处理帧输入至人脸风格转换模型中，并获取人脸风格转换模型输出的第一类风格变换帧，风格变换帧中包括风格人脸；以当前处理帧和第一类风格变换帧为起点，根据视频帧集合中设定数量的后续视频帧与前一视频帧中各人脸关键点间的位置关系，生成所述设定数量的第二类风格变换帧；从视频帧集合中获取新的当前处理帧后，返回执行将当前处理帧输入至人脸风格转换模型中的操作，并将第一类风格变换帧和第二类风格变换帧作为实时视频处理结果，实现了基于视频中的真实人脸，实时生成与真实人脸匹配的风格人脸，解决了现有技术中无法实时生成与视频中的真实人脸匹配的风格人脸的问题。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请第一实施例中的一种实时视频的处理方法的流程图；图2a是本申请第二实施例中的一种实时视频的处理方法的流程图；图2b是本申请第二实施例中的一种实时视频的处理流程图；图3是本申请第三实施例中的一种实时视频的处理装置的结构示意图；图4是用来实现本申请实施例的实时视频的处理方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。第一实施例图1是本申请第一实施例中的一种实时视频的处理方法的流程图，本实施例的技术方案适用于实时生成与视频中真实人脸匹配的风格人脸的情况，该方法可以由实时视频的处理执行，该装置可以通过软件，和/或硬件的方式实现，并一般可以集成在电子设备中，例如终端设备中，本实施例的方法具体包括以下步骤：步骤110、将实时采集的视频帧加入至视频帧集合中，并从视频帧集合中获取当前处理帧。其中，视频帧中包括真实人脸。本实施例中，视频帧可以是终端设备拍摄视频过程中采集的某一帧图像，示例性的，视频帧可以是视频录制过程中实时采集的一帧图像，也可以是视频直播过程中实时采集的一帧图像。视频帧集合是用于存储实时采集的视频帧的集合，通常一个视频的全部视频帧放入至一个视频帧集合中，以通过不同的视频帧集合区分不同视频的视频帧。可选的，将实时采集的视频帧加入至视频帧集合中，可以包括：在视频录制过程中，响应于人脸风格变换请求，将实时采集的视频帧加入至视频帧集合中。本可选的实施例中，视频录制过程是指只进行视频拍摄，不会将拍摄的内容实时播出的过程，在视频录制过程中，如果用户对当前拍摄页面中的人脸风格变换选项进行点击操作，则响应于人脸风格变换请求，将用户点击人脸风格变换选项之后，实时采集的视频帧加入至视频帧集合中，或者，将从视频录制开始，所有实时采集的视频帧都加入至视频帧集合中。可选的，将实时采集的视频帧加入至视频帧集合中，可以包括：在视频直播过程中，响应于人脸风格变换请求，将实时采集的视频帧加入至视频帧集合中。本可选的实施例中，视频直播过程是指在进行视频拍摄的同时，将拍摄的内容实时播出的过程，在视频直播过程中，如果用户对当前直播页面中的人脸风格变换选项进行点击操作，则响应于人脸风格变换请求，将用户点击人脸风格变换选项之后，实时采集的视频帧加入至视频帧集合中，或者，将从视频录制开始，所有实时采集的视频帧都加入至视频帧集合中。本实施例中，将实时采集的视频帧加入至视频帧集合中之后，按照视频帧的采集时间的先后顺序，从视频帧集合中获取当前采集时间最前，并且尚未进行人脸风格变换处理的一个视频帧，作为当前处理帧。步骤120、将当前处理帧输入至人脸风格转换模型中，并获取人脸风格转换模型本文档来自技高网...

【技术保护点】
1.一种实时视频的处理方法，包括：/n将实时采集的视频帧加入至视频帧集合中，并从视频帧集合中获取当前处理帧，视频帧中包括真实人脸；/n将当前处理帧输入至人脸风格转换模型中，并获取人脸风格转换模型输出的第一类风格变换帧，风格变换帧中包括风格人脸；/n以当前处理帧和第一类风格变换帧为起点，根据视频帧集合中设定数量的后续视频帧与前一视频帧中各人脸关键点间的位置关系，生成所述设定数量的第二类风格变换帧；/n从视频帧集合中获取新的当前处理帧后，返回执行将当前处理帧输入至人脸风格转换模型中的操作，并将第一类风格变换帧和第二类风格变换帧作为实时视频处理结果。/n

【技术特征摘要】
1.一种实时视频的处理方法，包括：
将实时采集的视频帧加入至视频帧集合中，并从视频帧集合中获取当前处理帧，视频帧中包括真实人脸；
将当前处理帧输入至人脸风格转换模型中，并获取人脸风格转换模型输出的第一类风格变换帧，风格变换帧中包括风格人脸；
以当前处理帧和第一类风格变换帧为起点，根据视频帧集合中设定数量的后续视频帧与前一视频帧中各人脸关键点间的位置关系，生成所述设定数量的第二类风格变换帧；
从视频帧集合中获取新的当前处理帧后，返回执行将当前处理帧输入至人脸风格转换模型中的操作，并将第一类风格变换帧和第二类风格变换帧作为实时视频处理结果。


2.根据权利要求1所述的方法，其中，以当前处理帧和第一类风格变换帧为起点，根据视频帧集合中设定数量的后续视频帧与前一视频帧中各人脸关键点间的位置关系，生成所述设定数量的第二类风格变换帧，包括：
将当前处理帧作为处理起点帧，在视频帧集合中，获取处理起点帧的后一视频帧；
根据后一视频帧与处理起点帧中各人脸关键点分别在对应视频帧中的图像位置，生成人脸关键点变换矩阵；
根据人脸关键点变换矩阵，和与处理起点帧匹配的第一类风格变换帧或第二类风格变换帧，生成后一视频帧的第二类风格变换帧；
将所述后一视频帧作为处理起点帧，返回执行在视频帧集合中，获取处理起点帧的后一视频帧的操作，直至后一视频帧的处理数量达到所述设定数量。


3.根据权利要求1所述的方法，在将当前处理帧输入至人脸风格转换模型中之前，还包括：
获取训练样本集，训练样本集中的包括多个样本图像对，每个样本图像对中包括原始图像以及变换后图像；
使用训练样本集中各样本图像对训练设定机器学习模型，得到所述人脸风格转换模型；
其中，所述原始图像中包括真实人脸，所述变换后图像中包括与真实人脸匹配的风格人脸。


4.根据权利要求3所述的方法，其中，所述机器学习模型包括：生成对抗网络。


5.根据权利要求1-4任一项所述的方法，其中，将实时采集的视频帧加入至视频帧集合中，包括：
在视频录制过程中，响应于人脸风格变换请求，将实时采集的视频帧加入至视频帧集合中；
其中，将第一类风格变换帧和第二类风格变换帧作为实时视频处理结果，包括：
对第一类风格变换帧和第二类风格变换帧进行实时录制播放，并生成录制视频。


6.根据权利要求5所述的方法，其中，对第一类风格变换帧和第二类风格变换帧进行实时录制播放，包括：
将实时生成的第一类风格变换帧和第二类风格变换帧顺序存储于设定缓存队列中；
当所述缓存队列中满足预设的硬延时条件时，从所述缓存队列中顺序获取第一类风格变换帧，或者第二类风格变换帧，进行实时录制播放。


7.根据权利要求1-4任一项所述的方法，其中，将实时采集的视频帧加入至视频帧集合中，包括：
在视频直播过程中，响应于人脸风格变换请求，将实时采集的视频帧加入至视频帧集合中；
其中，将第一类风格变换帧和第二类风格变换帧作为实时视频处理结果，包括：
根据第一类风格变换帧和第二类风格变换帧，生成直播视频流，并将直播视频流发送至直播服务器，以进行视频直播。


8.根据权利要求7所述的方法，其中，根据第一类风格变换帧和第二类风格变换帧，生成直播视频流，并将直播视频流发送至直播服务器，包括：
将实时生成的第一类风格变换帧和第二类风格变换帧顺序存储于设定缓存队列中；
当所述缓存队列中满足预设的硬延时条件时，从所述缓存队列中顺序获取第一类风格变换帧，或者第二类风格变换帧，生成直播视频流，并将直播视频流发送至直播服务器。


9.一种实时视频的处理装置，包括：
获取模块，用于将实时采集的视频帧加入至视频帧集合中，并从视频帧集合中获取当前处理帧，视频帧中包括真实人脸；
第...

【专利技术属性】
技术研发人员：李鑫，李甫，林天威，何栋梁，张赫男，孙昊，文石磊，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11