视频图像处理方法及装置制造方法及图纸

本公开提出一种视频图像处理方法及装置，其中，视频图像处理方法包括：获取替换前的人脸视频图像；将人脸模板图像中的五官区域中的内容分别替换为，所述替换前的人脸视频图像的每帧人脸画面中的人脸图像中的所述五官区域中的内容，得到多张替换后的所述人脸图像，并将所述每帧人脸画面中的所述人脸图像替换为对应的所述替换后的所述人脸图像，得到多帧替换后的所述人脸画面；根据所述多帧替换后的所述人脸画面，生成替换后的所述人脸视频图像。本公开提出的视频图像处理方法及装置，使得替换后的人脸视频图像能够准确追踪用户的表情，提高了人脸视频图像中换脸效果的真实性，提升了用户体验。

【技术实现步骤摘要】
视频图像处理方法及装置
本公开涉及计算机
，尤其涉及一种视频图像处理方法及装置。
技术介绍
目前，在用户使用终端设备的过程中，用户可通过换脸软件将视频图像中自己的脸换成明星的脸，相关换脸软件通常是通过贴图的方式，直接将视频图像中每帧画面中用户的人脸替换为人脸模板(明星模板)中的人脸。由于视频中用户的脸部会发生变化，采用直接贴图方式容易造成不能准确追踪用户的表情，因此在播放换脸后的视频过程中，视频中不能准确表现出用户的表情，所呈现出的换脸效果不够真实，用户体验不理想。
技术实现思路
本公开提供一种视频图像处理方法及装置，能够解决视频图像中换脸效果不够真实、用户体验不理想的问题。本公开第一方面实施例提出了一种视频图像处理方法，包括：获取替换前的人脸视频图像；将人脸模板图像中的五官区域中的内容分别替换为，所述替换前的人脸视频图像的人脸画面中的人脸图像中的所述五官区域中的内容，得到多张替换后的所述人脸图像，并将所述每帧人脸画面中的所述人脸图像替换为对应的所述替换后的所述人脸图像，得到多帧替换后的所述人脸画面；根据所述多帧替换后的所述人脸画面，生成替换后的所述人脸视频图像。本公开实施例的视频图像处理方法，通过将人脸模板图像中的五官区域中的内容分别替换为，替换前的人脸视频图像的每帧人脸画面中的人脸图像中的五官区域中的内容，得到多张替换后的人脸图像，并将每帧人脸画面中的人脸图像替换为对应的替换后的人脸图像，得到多帧替换后的人脸画面，根据多帧替换后的人脸画面，生成替换后的人脸视频图像，从而将替换前的人脸视频图像的每帧人脸画面中的人脸图像替换为了替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，使得替换后的人脸视频图像能够准确追踪用户的表情，提高了人脸视频图像中换脸效果的真实性，提升了用户体验。本公开第二方面实施例提出了一种视频图像处理装置，包括：获取模块，用于获取替换前的人脸视频图像；替换模块，用于将人脸模板图像中的五官区域中的内容分别替换为，所述替换前的人脸视频图像的每帧人脸画面中的人脸图像中的所述五官区域中的内容，得到多张替换后的所述人脸图像，并将所述每帧人脸画面中的所述人脸图像替换为对应的所述替换后的所述人脸图像，得到多帧替换后的所述人脸画面；生成模块，用于根据所述多帧替换后的所述人脸画面，生成替换后的所述人脸视频图像。本公开实施例的视频图像处理装置，通过将人脸模板图像中的五官区域中的内容分别替换为，替换前的人脸视频图像的每帧人脸画面中的人脸图像中的五官区域中的内容，得到多张替换后的人脸图像，并将每帧人脸画面中的人脸图像替换为对应的替换后的人脸图像，得到多帧替换后的人脸画面，根据多帧替换后的人脸画面，生成替换后的人脸视频图像，从而将替换前的人脸视频图像的每帧人脸画面中的人脸图像替换为了替换后的人脸图像，且替换后的人脸图像既具有人脸模板图像的特征又具有替换前的人脸图像的特征，使得替换后的人脸视频图像能够准确追踪用户的表情，提高了人脸视频图像中换脸效果的真实性，提升了用户体验。本公开第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如本公开第一方面实施例所述的视频图像处理方法。本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现如本公开第一方面实施例所述的视频图像处理方法。本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。附图说明本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本公开实施例所提供的一种视频图像处理方法的流程示意图；图2为本公开实施例所提供的另一种视频图像处理方法的流程示意图；图3为本公开实施例所提供的另一种视频图像处理方法的流程示意图；图4为本公开实施例所提供的一种视频图像处理装置的结构示意图；图5为本公开实施例所提供的一种终端设备的结构示意图；图6为本公开实施例所提供的执行视频图像处理方法的电子设备的结构示意图。具体实施方式下面详细描述本公开的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。下面参考附图描述本公开实施例的视频图像处理方法及装置。图1为本公开实施例所提供的一种视频图像处理方法的流程示意图。本公开实施例的视频图像处理方法可以应用于各种终端设备(例如手机、平板电脑等)中。如图1所示，该视频图像处理方法包括以下步骤：S101，获取替换前的人脸视频图像。具体的，替换前的人脸视频图像即等待被替换的人脸视频图像，例如用户拍摄的自己或他人的人脸视频图像。S102，将人脸模板图像中的五官区域中的内容分别替换为，替换前的人脸视频图像的每帧人脸画面中的人脸图像中的五官区域中的内容，得到多张替换后的人脸图像，并将每帧人脸画面中的人脸图像替换为对应的替换后的人脸图像，得到多帧替换后的人脸画面。具体的，人脸模板图像即明星人脸图像，也即用户期望替换为的人脸图像。在实际应用中，人脸模板图像还可以是除明星人脸图像之外，用户期望替换为的人脸图像。由于直接将替换前的人脸视频图像的每帧人脸画面中的人脸图像即替换前的人脸图像，替换为人脸模板图像，人脸模板图像不具有替换前的人脸图像的任何特征，因此呈现出的换脸效果不够真实，用户体验较差。基于此，可以将替换前的人脸视频图像的每帧人脸画面中的人脸图像替换为，既具有人脸模板图像的特征，又具有替换前的人脸图像的特征的人脸图像。由于人脸图像中最能体现出人脸图像的特征的区域为五官区域，因此可以将替换前的人脸视频图像的每帧人脸画面中的人脸图像替换为，既具有人脸模板图像的特征，又具有替换前的人脸图像五官区域的特征的人脸图像。其中，五官区域包括以下区域中的任意一种或多种的组合：眉毛区域、眼睛区域、耳朵区域、鼻子区域和嘴巴区域。获取人脸模板图像，识别出人脸模板图像中的五官区域。识别出替换前的人脸视频图像的每帧人脸画面中的人脸图像中的五官区域。获取替换前的人脸视频图像的每帧人脸画面中的，人脸图像中的五官区域中的内容(即图像特征)，并将人脸模板图像中的五官区域中的内容分别替换为，替换前的人脸视频图像的每帧人脸画面中的人脸图像中的五官区域中的内容，得到多张替换后的人脸图像。多张替换后的人脸图像与多帧人脸画面一一对应。将替换前的人脸视频图像的每帧人脸画面中的人脸图像，替换为对应的替换后的人脸图像，得到多帧替换后的人脸画面。作为一种可行实施方式，可以将人脸模板图像中的五官区域中的内容分别直接替换为，替换前的人脸视频图像的每帧人脸画面中的人脸图像中的五官区域中的内容，得到多张替换后的人脸图像。多张替换后的人脸图像与多帧人脸画面一一对应。具体过程参见图2所示实施例中的相关描述。作为另一种可行实施方式，可以将人脸模板图像中的五官区域中的内容直接替换为，替换前的人脸视频图像的指定帧(例如第1帧)人脸画面中的人脸图像中的五官区域中的内容，得到指定帧(例如第1帧)人脸画面对本文档来自技高网...

【技术保护点】
1.一种视频图像处理方法，其特征在于，包括以下步骤：获取替换前的人脸视频图像；将人脸模板图像中的五官区域中的内容分别替换为，所述替换前的人脸视频图像的每帧人脸画面中的人脸图像中的所述五官区域中的内容，得到多张替换后的所述人脸图像，并将所述每帧人脸画面中的所述人脸图像替换为对应的所述替换后的所述人脸图像，得到多帧替换后的所述人脸画面；根据所述多帧替换后的所述人脸画面，生成替换后的所述人脸视频图像。

【技术特征摘要】
1.一种视频图像处理方法，其特征在于，包括以下步骤：获取替换前的人脸视频图像；将人脸模板图像中的五官区域中的内容分别替换为，所述替换前的人脸视频图像的每帧人脸画面中的人脸图像中的所述五官区域中的内容，得到多张替换后的所述人脸图像，并将所述每帧人脸画面中的所述人脸图像替换为对应的所述替换后的所述人脸图像，得到多帧替换后的所述人脸画面；根据所述多帧替换后的所述人脸画面，生成替换后的所述人脸视频图像。2.根据权利要求1所述的视频图像处理方法，其特征在于，所述将人脸模板图像中的五官区域中的内容分别替换为，所述替换前的人脸视频图像的每帧人脸画面中的人脸图像中的所述五官区域中的内容，得到多张替换后的所述人脸图像，并将所述每帧人脸画面中的所述人脸图像替换为对应的所述替换后的所述人脸图像，得到多帧替换后的所述人脸画面，包括：依次对所述替换前的人脸视频图像的每帧所述人脸画面进行如下操作：将所述人脸模板图像中的所述五官区域中的内容替换为，所述人脸画面中的人脸图像中的所述五官区域中的内容，得到所述替换后的所述人脸图像；将所述人脸画面中的所述人脸图像替换为所述替换后的所述人脸图像，得到替换后的所述人脸画面。3.根据权利要求2所述的视频图像处理方法，其特征在于，所述将所述人脸模板图像中的所述五官区域中的内容替换为，所述人脸画面中的人脸图像中的所述五官区域中的内容，得到所述替换后的所述人脸图像，包括：获取所述人脸画面中的所述人脸图像对应的人脸三维模型和所述人脸模板图像对应的人脸模板三维模型；将所述人脸三维模型中的所述五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中；根据填充后的所述人脸模板三维模型，生成所述替换后的所述人脸图像。4.根据权利要求1所述的视频图像处理方法，其特征在于，所述将人脸模板图像中的五官区域中的内容分别替换为，所述替换前的人脸视频图像的每帧人脸画面中的人脸图像中的所述五官区域中的内容，得到多张替换后的所述人脸图像，并将所述每帧人脸画面中的所述人脸图像替换为对应的所述替换后的所述人脸图像，得到多帧替换后的所述人脸画面，包括：对所述替换前的人脸视频图像的指定帧的所述人脸画面进行如下操作：将所述人脸模板图像中的所述五官区域中的内容替换为，所述指定帧的所述人脸画面中的人脸图像中的所述五官区域中的内容，得到所述指定帧的所述人脸画面对应的所述替换后的所述人脸图像；依次对所述替换前的人脸视频图像的除所述指定帧之外的每帧所述人脸画面进行如下操作：获取所述除所述指定帧之外的每帧所述人脸画面中的，所述人脸图像的所述五官区域的图像数据；根据所述五官区域的图像数据，对所述替换后的所述人脸图像中的所述五官区域的位置和形态进行调整，得到所述除所述指定帧之外的每帧所述人脸画面对应的所述替换后的所述人脸图像；将所述替换前的人脸视频图像的每帧所述人脸画面中的所述人脸图像替换为对应的所述替换后的所述人脸图像，得到所述多帧替换后的所述人脸画面。5.根据权利要求4所述的视频图像处理方法，其特征在于，所述将所述人脸模板图像中的所述五官区域中的内容替换为，所述指定帧的所述人脸画面中的人脸图像中的所述五官区域中的内容，得到所述指定帧的所述人脸画面对应的所述替换后的所述人脸图像，包括：获取所述指定帧的所述人脸画面中的所述人脸图像对应的人脸三维模型和所述人脸模板图像对应的人脸模板三维模型；将所述人脸三维模型中的所述五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中；根据所述指定帧填充后的所述人脸模板三维模型，生成所述指定帧的所述人脸画面对应的所述替换后的所述人脸图像。6.根据权利要求5所述的视频图像处理方法，其特征在于，所述根据所述五官区域的图像数据，对所述替换后的所述人脸图像中的所述五官区域的位置和形态进行调整，得到所述除所述指定帧之外的每帧所述人脸画面对应的所述替换后的所述人脸图像，包括：根据所述五官区域的图像数据，对所述指定帧填充后的所述人脸模板三维模型中的所述五官区域的位置和形态进行调整，得到调整后的所述指定帧填充后的所述人脸模板三维模型；根据所述调整后的所述指定帧填充后的所述人脸模板三维模型，生成所述除所述指定帧之外的每帧所述人脸画面对应的替换后的所述人脸图像。7.根据权利要求3或5所述的视频图像处理方法，其特征在于，所述将所述人脸三维模型中的所述五官区域中的内容，填充至所述人脸模板三维模型中的所述五官区域中，包括：识别出所述人脸三维模型中的所述五官区域的多个第一特征点和所述人脸模板三维模型中的所述五官区域的多个第二特征点，所述多个第二特征点与所述多个第一特征点一一对应；基于所述多个第一特征点，将所述人脸三维模型中的所述五官区域划分为多个第一三角区域；基于所述多个第二特征点，将所述人脸模板三维模型中的所述五官区域划分为多个第二三角区域，所述多个第二三角区域与所述多个第一三角区域一一对应；将所述第一三角区域中的内容填充至对应的所述第二三角区域中。8.根据权利要求7所述的视频图像处理方法，其特征在于，所述基于所述多个第一特征点，将所述人脸三维模型中的所述五官区域划分为多个第一三角区域，包括：基于所述多个第一特征点，采用三角剖分算法，将所述人脸三维模型中的所述五官区域划分为所述多个第一三角区域。9.根据权利要求7所述的视频图像处理方法，其特征在于，所述基于所述多个第二特征点，将所述人脸模板三维模型中的所述五官区域划分为多个第二三角区域，包括：基于所述多个第二特征点，采用三角剖分算法，将所述人脸模板三维模型中的所述五官区域划分为所述多个第二三角区域。10.根据权利要求7所述的视频图像处理方法，其特征在于，所述将所述第一三角区域中的内容填充至对应的所述第二三角区域中，包括：若所述第一三角区域小于对应的所述第二三角区域，则将所述第一三角区域中的内容进行扩大处理，以适应对应的所述第二三角区域；将扩大处理后的所述第一三角区域中的内容，填充至对应的所述第二三角区域中。11.根据权利要求7所述的视频图像处理方法，其特征在于，所述将所...

【专利技术属性】
技术研发人员：冯宇飞，李旭刚，
申请(专利权)人：北京微播视界科技有限公司，
类型：发明
国别省市：北京,11