一种视频人像替换方法及装置制造方法及图纸

本发明专利技术提供了一种视频人像替换方法及装置，该方法包括：经由摄像头采集包含了第一人脸图像的用户视频文件；获取包含了第二人脸图像的素材视频文件和预先处理得到的离线第二人脸数据；对用户视频文件解码获得用户视频纹理数据，并解析用户视频纹理数据获得3D的第一人脸关键点数据；解析离线第二人脸数据获得3D的第二人脸关键点数据；结合第一人脸关键点数据和第二人脸关键点数据，通过换脸算法生成将第二人脸图像替换为第一人脸图像的换脸纹理数据；将换脸纹理数据与素材视频文件结合生成换脸视频。基于本发明专利技术提供的方案，根据预先获取的离线第二人脸数据获取第二人脸关键点数据，可以减少读取第二人脸关键点占据的存储空间，保证系统的正常运行。

【技术实现步骤摘要】
一种视频人像替换方法及装置
本专利技术涉及计算机
，特别是涉及一种视频人像替换方法及装置。
技术介绍
随着大众娱乐社交性质的手机APP的不断增多，具有美颜类功能的APP收到广大用户的青睐，例如美图秀秀、抖音等APP，这些APP以图像或视频为载体，通过图像视频处理算法改变人的容貌(例如大眼，瘦脸)，添加有趣的元素或特效等，以达到唯美、复古等多种用户所需的效果，视频换脸也属于这一类的应用。当前，将视频中的人脸换成用户的人脸的做法一般都是直接采集视频中的图像的人脸关键点数据，通过摄像头采集用户的人脸关键点数据，进而将采集到的二者的关键点数据结合以生成换脸视频。这种方案的缺点在于，视频文件的体积一般都比较大，直接采集视频中的人脸关键点数据对于某些机型会有性能方面的影响，导致手机运行速度慢，卡顿。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的视频人像替换方法及装置，可以适应各种机型。根据本专利技术的一个方面，提供了一种视频人像替换方法，包括：经由摄像头采集包含了第一人脸图像的用户视频文件；获取包含了第二人脸图像的素材视频文件和预先处理得到的离线第二人脸数据；对所述用户视频文件解码获得用户视频纹理数据，并解析所述用户视频纹理数据获得3D的第一人脸关键点数据；解析所述离线第二人脸数据获得3D的第二人脸关键点数据；结合所述第一人脸关键点数据和第二人脸关键点数据，通过换脸算法生成将第二人脸图像替换为第一人脸图像的换脸纹理数据；将所述换脸纹理数据与所述素材视频文件结合生成换脸视频。可选地，所述获取预先处理得到的离线第二人脸数据，包括：解码所述素材视频文件获取视频纹理以及与视频纹理对应的时间戳；将所述视频纹理通过OpenGL接口转化为RGBA数据；通过所述时间戳获取对应的RGBA数据并将该RGBA数据转化为离线第二人脸数据。可选地，所述将所述换脸纹理数据与所述素材视频文件结合生成换脸视频，包括：利用所述换脸纹理数据替换所述素材视频文件中所述时间戳对应的视频纹理，通过编码器编码进而生成视频流；将所述视频流与预设的音频流结合生成换脸视频。可选地，所述预设的音频流包括：由麦克风预先采集PCM音频数据，将所述PCM音频数据转码为ACC音频流。可选地，所述预设的音频流还包括：将预存的原声PCM音频数据转码为ACC音频流。可选地，所述方法还包括：将所述换脸纹理数据输出到屏幕进而显示。根据本专利技术的另一个方面，还提供了一种视频人像替换装置，包括：采集模块，配置为经由摄像头采集包含了第一人脸图像的用户视频文件；获取模块，配置为获取包含了第二人脸图像的素材视频文件和预先处理得到的离线第二人脸数据；第一解析模块，配置为对所述用户视频文件解码获得用户视频纹理数据，并解析所述用户视频纹理数据获得3D的第一人脸关键点数据；第二解析模块，配置为解析所述离线第二人脸数据获得3D的第二人脸关键点数据；替换模块，配置为结合所述第一人脸关键点数据和第二人脸关键点数据，通过换脸算法生成将第二人脸图像替换为第一人脸图像的换脸纹理数据；生成模块，配置为将所述换脸纹理数据与所述素材视频文件结合生成换脸视频。可选地，所述获取模块还配置为：解码所述素材视频文件获取视频纹理以及与视频纹理对应的时间戳；将所述视频纹理通过OpenGL接口转化为RGBA数据；通过所述时间戳获取对应的RGBA数据并将该RGBA数据转化为离线第二人脸数据。可选地，所述生成模块还配置为：利用所述换脸纹理数据替换所述素材视频文件中所述时间戳对应的视频纹理，通过编码器编码进而生成视频流；将所述视频流与预设的音频流结合生成换脸视频。可选地，所述生成模块还配置为：由麦克风预先采集PCM音频数据，将所述PCM音频数据转码为ACC音频流。可选地，所述生成模块还配置为：将预存的原声PCM音频数据转码为ACC音频流。可选地，所述装置还包括：显示模块，配置为将所述换脸纹理数据输出到屏幕进而显示。根据本专利技术的再一个方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行上述任一项所述的视频人像替换方法。根据本专利技术的又一个方面，还提供了一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行上述任一项所述的视频人像替换方法。本专利技术提供了一种视频人像替换方法及装置，该方法包括：根据预先处理得到离线第二人脸数据获取3D的第二人脸关键点数据，并经由摄像头采集包含了第一人脸图像的用户视频文件获取3D的第一人脸关键点数据，进而根据第一人脸关键点数据和第二人脸关键点数据，通过换脸算法生成将第二人脸图像替换为第一人脸图像的换脸纹理数据，最后将换脸纹理数据和素材视频文件结合生成换脸视频。基于本专利技术提供的方案，根据预先获取的离线第二人脸数据获取3D的第二人脸关键点数据，可以减少读取视频中人脸关键点这一过程占据的存储空间，保证系统的正常运行。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。根据下文结合附图对本专利技术具体实施例的详细描述，本领域技术人员将会更加明了本专利技术的上述以及其他目的、优点和特征。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是根据本专利技术实施例的视频人像替换方法的流程示意图；图2是根据本专利技术实施例的视频人像替换装置的结构框图；图3是根据本专利技术一优选实施例的视频人像替换装置的结构框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的前提下本专利技术实施例及可选实施例中的技术特征可以相互结合。为了解决上述问题，本专利技术实施例提出了一种视频人像替换方法，图1是根据本专利技术实施例的视频人像替换方法的流程示意图，如图1所示，该方法包括：步骤S102：经由摄像头采集包含了第一人脸图像的用户视频文件；步骤S104：获取包含了第二人脸图像的素材视频文件和预先处理得到的离线第二人脸数据；...

【技术保护点】
1.一种视频人像替换方法，包括：/n经由摄像头采集包含了第一人脸图像的用户视频文件；/n获取包含了第二人脸图像的素材视频文件和预先处理得到的离线第二人脸数据；/n对所述用户视频文件解码获得用户视频纹理数据，并解析所述用户视频纹理数据获得3D的第一人脸关键点数据；/n解析所述离线第二人脸数据获得3D的第二人脸关键点数据；/n结合所述第一人脸关键点数据和第二人脸关键点数据，通过换脸算法生成将第二人脸图像替换为第一人脸图像的换脸纹理数据；/n将所述换脸纹理数据与所述素材视频文件结合生成换脸视频。/n

【技术特征摘要】
1.一种视频人像替换方法，包括：
经由摄像头采集包含了第一人脸图像的用户视频文件；
获取包含了第二人脸图像的素材视频文件和预先处理得到的离线第二人脸数据；
对所述用户视频文件解码获得用户视频纹理数据，并解析所述用户视频纹理数据获得3D的第一人脸关键点数据；
解析所述离线第二人脸数据获得3D的第二人脸关键点数据；
结合所述第一人脸关键点数据和第二人脸关键点数据，通过换脸算法生成将第二人脸图像替换为第一人脸图像的换脸纹理数据；
将所述换脸纹理数据与所述素材视频文件结合生成换脸视频。


2.根据权利要求1所述的方法，其中，所述获取预先处理得到的离线第二人脸数据，包括：
解码所述素材视频文件获取视频纹理以及与视频纹理对应的时间戳；
将所述视频纹理通过OpenGL接口转化为RGBA数据；
通过所述时间戳获取对应的RGBA数据并将该RGBA数据转化为离线第二人脸数据。


3.根据权利要求2所述的方法，其中，所述将所述换脸纹理数据与所述素材视频文件结合生成换脸视频，包括：
利用所述换脸纹理数据替换所述素材视频文件中所述时间戳对应的视频纹理，通过编码器编码进而生成视频流；
将所述视频流与预设的音频流结合生成换脸视频。


4.根据权利要求3所述的方法，其中，所述预设的音频流包括：由麦克风预先采集PCM音频数据，将所述PCM音频数据转码为ACC音频流。


5.根据权利要求3所述的方法，其中，所述预设的音频流还包括：将预存的原声PCM音频数据转码为ACC音频流。


6.根据权...

【专利技术属性】
技术研发人员：孙金波，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京;11