视频换脸方法和装置制造方法及图纸

本发明专利技术提供一种视频换脸方法和装置，获取待处理图像帧，确定出用于指示第一人脸图像的轮廓的第一外轮廓点，用于指示第二人脸图像的轮廓的第二外轮廓点，根据外轮廓点在待处理图像帧中划分出第一替换区域和第二替换区域，在复制帧中确定第一目标区域和第二目标区域；其中，第一目标区域与第二替换区域形状相同，第二目标区域与第一替换区域形状相同，最后将待处理图像帧的第一替换区域内的图像替换为复制帧的第二目标区域内的图像，将待处理图像帧的第二替换区域内的图像替换为复制帧的第一目标区域内的图像，得到换脸后的图像帧。本发明专利技术只需要截取图像并进行替换就能实现换脸，而不必进行费时的三维建模，从而提高视频换脸的效率。

Video face changing method and device

【技术实现步骤摘要】
视频换脸方法和装置
本专利技术涉及视频
，特别涉及一种视频换脸方法和装置。
技术介绍
随着深度学习技术的发展，目前越来越多的视频软件推出了视频换脸功能，用户启动应用程序的视频换脸功能后，应用程序就可以自动识别待处理视频中的两个人脸，并将这两个人脸互换，达到视频换脸的效果。现有的视频换脸技术，一般是根据视频中的两个人脸，分别建立对应的人脸三维模型，基于这两个人脸三维模型进行视频换脸，由于建立人脸三维模型需要较长的时间，因此，根据现有技术进行的视频换脸比较费时，难以满足在视频播放过程中进行实时的视频换脸的需要。
技术实现思路
基于上述现有技术的不足，本专利技术提出一种视频换脸方法和装置，用于提高视频换脸的速度，达到在视频播放过程中进行实时的视频换脸的效果。本专利技术第一方面公开了一种视频换脸方法，包括：获取待处理视频中的待处理图像帧；其中，所述待处理图像帧包括至少两个人脸图像；确定出所述待处理图像帧的多个第一外轮廓点，和多个第二外轮廓点；其中，所述多个第一外轮廓点用于指示所述待处理图像帧的第一人脸图像的轮廓，所述多个第二外轮廓点用于指示所述待处理图像帧的第二人脸图像的轮廓；在所述待处理图像帧中划分出第一替换区域和第二替换区域；其中，所述第一替换区域根据所述多个第一外轮廓点划分，所述第二替换区域根据所述多个第二外轮廓点划分；在复制帧中确定第一目标区域和第二目标区域；其中，所述第一目标区域根据所述多个第一外轮廓点确定，所述第二目标区域根据所述多个第二外轮廓点确定，所述第一目标区域的形状与所述第二替换区域的形状相同，所述第二目标区域的形状与所述第一替换区域的形状相同，所述复制帧通过复制所述待处理图像帧得到；将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧。可选的，所述在复制帧中根据所述多个第一外轮廓点确定所述第一目标区域，包括：对所述复制帧中的第一外轮廓点进行仿射变换，使所述复制帧的第一人脸图像与所述待处理图像帧的第二人脸图像对齐，得到对齐后的第一人脸图像；将所述待处理图像帧的第二替换区域，以垂直于所述待处理图像帧所在的平面的方向投影至所述对齐后的第一人脸图像，得到所述复制帧的第一目标区域；所述在复制帧中根据所述多个第二外轮廓点确定所述第二目标区域，包括：对所述复制帧中的第二外轮廓点进行仿射变换，使所述复制帧的第二人脸图像与所述待处理图像帧的第一人脸图像对齐，得到对齐后的第二人脸图像；将所述待处理图像帧的第一替换区域，以垂直于所述待处理图像帧所在的平面的方向投影至所述对齐后的第二人脸图像，得到所述复制帧的第二目标区域。可选的，所述获取待处理视频中的待处理图像帧之后，还包括：利用特征点检测算法确定出所述待处理图像帧的多个第一内轮廓点和多个第二内轮廓点；其中，所述多个第一内轮廓点用于指示所述第一人脸图像的面部器官的轮廓，所述多个第二内轮廓点用于指示所述第二人脸图像的面部器官的轮廓；所述将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧之前，还包括：根据所述多个第一内轮廓点和所述多个第二内轮廓点判断所述待处理图像帧的所述第一人脸图像和所述第二人脸图像内是否存在除所述面部器官以外的物体的图像；若所述第一人脸图像和所述第二人脸图像中，至少一个所述人脸图像内存在除所述面部器官以外的物体的图像，根据所述多个第一内轮廓点划分出所述待处理图像帧的多个第一子图像，并且根据所述多个第二内轮廓点划分出所述待处理图像帧的多个第二子图像；其中，所述第一人脸图像的每一个面部器官，均被包括在所述面部器官对应的第一子图像内，所述第二人脸图像的每一个面部器官，均被包括在所述面部器官对应的第二子图像内，并且，一种面部器官对应的第一子图像和第二子图像具有相同的形状；针对每一种面部器官，将包括所述面部器官的第一子图像的位置和包括所述面部器官的第二子图像的位置互换，得到换脸后的图像帧。可选的，所述将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧之前，还包括：计算所述第一人脸图像的姿态角和所述第二人脸图像的姿态角；判断所述第一人脸图像的姿态角是否小于或等于姿态角阈值，并且判断所述第二人脸图像的姿态角是否小于或等于姿态角阈值；若所述第一人脸图像的姿态角和所述第二人脸图像的姿态角中，至少一个所述姿态角大于所述姿态角阈值，获取预先保存的第一临界帧和第二临界帧；其中，所述第一临界帧的第一人脸图像的姿态角等于所述姿态角阈值，所述第二临界帧的第二人脸图像的姿态角等于所述姿态角阈值；根据所述第一临界帧的第一外轮廓点，确定第一临界目标区域，并且，根据所述第二临界帧的第二外轮廓点，确定第二临界目标区域；其中，所述第一临界目标区域的形状与所述待处理图像帧的第二替换区域的形状相同，所述第二临界目标区域的形状与所述待处理图像帧的第一替换区域的形状相同；将所述待处理图像帧的第一替换区域内的图像替换为所述第二临界帧的第二临界目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述第一临界帧的第一临界目标区域内的图像，得到换脸后的图像帧。可选的，所述在所述待处理图像帧中划分出第一替换区域和第二替换区域，包括：根据预设的权值移动所述多个第一外轮廓点和所述多个第二外轮廓点，得到多个移动后的第一外轮廓点和多个移动后的第二外轮廓点；连接所述多个移动后的第一外轮廓点得到第一替换区域，并且，连接所述多个移动后的第二外轮廓点得到第二替换区域。可选的，所述将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧，包括：将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到互换后的图像帧；利用预设的图像融合算法对所述互换后的图像帧进行图像融合，得到换脸后的图像帧。本专利技术第二方面公开了一种视频换脸装置，包括：获取单元，用于获取待处理视频中的待处理图像帧；其中，所述待处理图像帧指代所述待处理视频中，包括至少两个人脸图像的未换脸的图像帧；确定单元，用于利用特征点检测算法确定出所述待处理图像帧的多个第一外轮廓点，和多个第二外轮廓点；其中，所述多个第一外轮廓点用于指示所述待处理图像帧的第一人脸图像的轮廓，所述多个第二外轮廓点用于指示所述待处理图像帧的第二人脸图像的轮廓；划分单元，用于在所述待处理图像帧中划分出第一替换区域和第二替换区域；其中，所述第一替换区域根据所述多个第一外轮廓点划分，所述第二替换区域根据所述多个第二外轮廓点划分；所述划分单元，用于在复制帧中确定第一目标区域和第二目标区域；其中，所述第一目标区域根据所述多个第一外轮廓点确定，所述第二目标本文档来自技高网...

【技术保护点】
1.一种视频换脸方法，其特征在于，包括：获取待处理视频中的待处理图像帧；其中，所述待处理图像帧包括至少两个人脸图像；确定出所述待处理图像帧的多个第一外轮廓点，和多个第二外轮廓点；其中，所述多个第一外轮廓点用于指示所述待处理图像帧的第一人脸图像的轮廓，所述多个第二外轮廓点用于指示所述待处理图像帧的第二人脸图像的轮廓；在所述待处理图像帧中划分出第一替换区域和第二替换区域；其中，所述第一替换区域根据所述多个第一外轮廓点划分，所述第二替换区域根据所述多个第二外轮廓点划分；在复制帧中确定第一目标区域和第二目标区域；其中，所述第一目标区域根据所述多个第一外轮廓点确定，所述第二目标区域根据所述多个第二外轮廓点确定，所述第一目标区域的形状与所述第二替换区域的形状相同，所述第二目标区域的形状与所述第一替换区域的形状相同，所述复制帧通过复制所述待处理图像帧得到；将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧。

【技术特征摘要】
1.一种视频换脸方法，其特征在于，包括：获取待处理视频中的待处理图像帧；其中，所述待处理图像帧包括至少两个人脸图像；确定出所述待处理图像帧的多个第一外轮廓点，和多个第二外轮廓点；其中，所述多个第一外轮廓点用于指示所述待处理图像帧的第一人脸图像的轮廓，所述多个第二外轮廓点用于指示所述待处理图像帧的第二人脸图像的轮廓；在所述待处理图像帧中划分出第一替换区域和第二替换区域；其中，所述第一替换区域根据所述多个第一外轮廓点划分，所述第二替换区域根据所述多个第二外轮廓点划分；在复制帧中确定第一目标区域和第二目标区域；其中，所述第一目标区域根据所述多个第一外轮廓点确定，所述第二目标区域根据所述多个第二外轮廓点确定，所述第一目标区域的形状与所述第二替换区域的形状相同，所述第二目标区域的形状与所述第一替换区域的形状相同，所述复制帧通过复制所述待处理图像帧得到；将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧。2.根据权利要求1所述的方法，其特征在于，所述在复制帧中根据所述多个第一外轮廓点确定所述第一目标区域，包括：对所述复制帧中的第一外轮廓点进行仿射变换，使所述复制帧的第一人脸图像与所述待处理图像帧的第二人脸图像对齐，得到对齐后的第一人脸图像；将所述待处理图像帧的第二替换区域，以垂直于所述待处理图像帧所在的平面的方向投影至所述对齐后的第一人脸图像，得到所述复制帧的第一目标区域；所述在复制帧中根据所述多个第二外轮廓点确定所述第二目标区域，包括：对所述复制帧中的第二外轮廓点进行仿射变换，使所述复制帧的第二人脸图像与所述待处理图像帧的第一人脸图像对齐，得到对齐后的第二人脸图像；将所述待处理图像帧的第一替换区域，以垂直于所述待处理图像帧所在的平面的方向投影至所述对齐后的第二人脸图像，得到所述复制帧的第二目标区域。3.根据权利要求1所述的视频换脸方法，其特征在于，所述获取待处理视频中的待处理图像帧之后，还包括：利用特征点检测算法确定出所述待处理图像帧的多个第一内轮廓点和多个第二内轮廓点；其中，所述多个第一内轮廓点用于指示所述第一人脸图像的面部器官的轮廓，所述多个第二内轮廓点用于指示所述第二人脸图像的面部器官的轮廓；所述将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧之前，还包括：根据所述多个第一内轮廓点和所述多个第二内轮廓点判断所述待处理图像帧的所述第一人脸图像和所述第二人脸图像内是否存在除所述面部器官以外的物体的图像；若所述第一人脸图像和所述第二人脸图像中，至少一个所述人脸图像内存在除所述面部器官以外的物体的图像，根据所述多个第一内轮廓点划分出所述待处理图像帧的多个第一子图像，并且根据所述多个第二内轮廓点划分出所述待处理图像帧的多个第二子图像；其中，所述第一人脸图像的每一个面部器官，均被包括在所述面部器官对应的第一子图像内，所述第二人脸图像的每一个面部器官，均被包括在所述面部器官对应的第二子图像内，并且，一种面部器官对应的第一子图像和第二子图像具有相同的形状；针对每一种面部器官，将包括所述面部器官的第一子图像的位置和包括所述面部器官的第二子图像的位置互换，得到换脸后的图像帧。4.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像帧的第一替换区域内的图像替换为所述复制帧的第二目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述复制帧的第一目标区域内的图像，得到换脸后的图像帧之前，还包括：计算所述第一人脸图像的姿态角和所述第二人脸图像的姿态角；判断所述第一人脸图像的姿态角是否小于或等于姿态角阈值，并且判断所述第二人脸图像的姿态角是否小于或等于姿态角阈值；若所述第一人脸图像的姿态角和所述第二人脸图像的姿态角中，至少一个所述姿态角大于所述姿态角阈值，获取预先保存的第一临界帧和第二临界帧；其中，所述第一临界帧的第一人脸图像的姿态角等于所述姿态角阈值，所述第二临界帧的第二人脸图像的姿态角等于所述姿态角阈值；根据所述第一临界帧的第一外轮廓点，确定第一临界目标区域，并且，根据所述第二临界帧的第二外轮廓点，确定第二临界目标区域；其中，所述第一临界目标区域的形状与所述待处理图像帧的第二替换区域的形状相同，所述第二临界目标区域的形状与所述待处理图像帧的第一替换区域的形状相同；将所述待处理图像帧的第一替换区域内的图像替换为所述第二临界帧的第二临界目标区域内的图像，并且，将所述待处理图像帧的第二替换区域内的图像替换为所述第一临界帧的第一临界目标区域内的图像，得到换脸后的图像帧。5.根据权利要求1所述的方法，其特征在于，所述在所述待处理图像帧中划分出第一替换区域和第二替换区域，包括：根据预设的权值移动所述多个第一外轮廓点和所述多个第二外轮廓点，得到多个移动后的第一外轮廓点和多个移动后的第二外轮廓点；连接所述多个移动后的第...

【专利技术属性】
技术研发人员：赵芳，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京,11