视频通话中视频图像的处理方法及装置制造方法及图纸

本公开揭示了一种视频通话中视频图像的处理方法及装置，属于互联网技术领域。所述方法包括：接收第二终端发送的第二视频通话数据，第二视频通话数据包括第二视频图像数据，以及从第二视频图像数据中提取出的第二人脸特征点位置数据，根据第二人脸特征点位置数据确定第二视频图像数据中的第二人脸特征点，以第二人脸特征点为轮廓提取第二视频图像数据中的第二人脸数据，获取第一视频通话图像中第一人脸的人脸区域，根据第二人脸数据，在第一视频通话图像中第一人脸的人脸区域绘制第二特征人脸，以便将第一视频通话图像中的第一人脸替换为第二特征人脸。上述视频通话中视频图像的处理方法及装置能够在视频通话过程中实现人脸的实时更换。

Video image processing method and device in video call

The present disclosure discloses a video image processing method and device in video calling, belonging to the Internet technology field. The method includes: receiving second video call data sent by second terminals, second video call data including second video image data, and second face feature point location data extracted from second video image data, and determining second in second video image data according to the second face feature point location data. Face feature points, take the second face feature point as the outline to extract the second face data in the second video image data, obtain the face area of the first face in the first video call image. According to the second face data, draw the second feature face in the first face face area in the first video call image, so as to make the first face the first face area. The first face in the video call image is replaced by the second characteristic face. The video image processing method and device in the video call can realize the real-time replacement of the face in the process of video call.

【技术实现步骤摘要】
视频通话中视频图像的处理方法及装置
本公开涉及互联网应用
，特别涉及一种视频通话中视频图像的处理方法及装置。
技术介绍
随着计算机应用技术的高速发展，视频换脸特效技术得到广泛的应用。通过在视频中进行脸部更换，从而增强视频观赏的乐趣。目前，在视频中实现换脸时，需要更换人脸的两个视频都位于同一个终端设备中，在经过人脸识别到视频中的人脸图像后，通过人脸替换等技术进行人脸更换。然而，由于对更换人脸的两个视频需都位于同一个终端设备中，提取出人脸图像后进行人脸更换。但在视频通话过程中，视频通话的双方处于不同的位置，各自并非采用同一个视频拍摄设备，若在接收发送端提取的人脸图像后进行人脸更换，更换后的人脸图像将无法与视频通话同步，因而无法在视频通话过程中实现人脸的实时更换。
技术实现思路
为了解决相关技术中在视频通话过程中无法实现人脸更换的技术问题，本公开提供了视频通话中视频图像的处理方法及装置。一种视频通话中视频图像的处理方法，其应用于参与视频通话的第一终端，参与所述视频通话的终端还包括第二终端，所述方法包括：接收第二终端发送的第二视频通话数据，所述第二视频通话数据包括第二视频图像数据，以及从所述第二视频图像数据中提取出的第二人脸特征点位置数据；根据所述第二人脸特征点位置数据确定所述第二视频图像数据中的第二人脸特征点；以所述第二人脸特征点为轮廓提取所述第二视频图像数据中的第二人脸数据；获取第一视频通话图像中第一人脸的人脸区域；根据所述第二人脸数据，在所述第一视频通话图像中第一人脸的人脸区域绘制第二特征人脸，以便将所述第一视频通话图像中的第一人脸替换为所述第二特征人脸。一种视频通话中视频图像的处理装置，其应用于参与视频通话的第一终端，参与所述视频通话的终端还包括第二终端，所述装置包括：第二通话数据接收模块，用于接收第二终端发送的第二视频通话数据，所述第二视频通话数据包括第二视频图像数据，以及从所述第二视频图像数据中提取出的第二人脸特征点位置数据；第二人脸特征点确定模块，用于根据所述第二人脸特征点位置数据确定所述第二视频图像数据中的第二人脸特征点；第二人脸数据提取模块，用于以所述第二人脸特征点为轮廓提取所述第二视频图像数据中的第二人脸数据；人脸区域获取模块，用于获取第一视频通话图像中第一人脸的人脸区域；第二特征人脸绘制模块，用于根据所述第二人脸数据，在所述第一视频通话图像中第一人脸的人脸区域绘制第二特征人脸，以便将所述第一视频通话图像中的第一人脸替换为所述第二特征人脸。一种视频通话中视频图像的处理方法，所述方法应用于服务器，所述服务器为参与视频通话的终端进行视频通话数据传输，所述方法包括：接收终端进行视频通话而发送的视频通话数据，所述视频通话数据包括第一终端和第二终端参与视频通话所发送的第一视频通话数据和第二视频通话数据；从所述第一视频通话数据和第二视频通话数据提取分别对应于第一视频通话图像数据和第二视频通话图像数据的人脸特征点位置数据；根据所述人脸特征点位置数据从所述第一视频通话图像数据和第二视频通话图像数据相应提取第一人脸数据和第二人脸数据；根据所述第一人脸数据和第二人脸数据使第一视频通话图像数据和第二视频通话图像数据中的人脸发生替换，得到二者之间发生人脸替换的第一视频通话图像数据和第二视频通话图像数据，并向相应终端返回。一种视频通话中视频图像的处理装置，所述装置应用于服务器，所述服务器为参与视频通话的终端进行视频通话数据传输，所述装置包括：终端数据接收模块，用于接收终端进行视频通话而发送的视频通话数据，所述视频通话数据包括第一终端和第二终端参与视频通话所发送的第一视频通话数据和第二视频通话数据；特征点位置提取模块，用于从所述第一视频通话数据和第二视频通话数据提取分别对应于第一视频通话图像数据和第二视频通话图像数据的人脸特征点位置数据；人脸数据提取模块，用于根据所述人脸特征点位置数据从所述第一视频通话图像数据和第二视频通话图像数据相应提取第一人脸数据和第二人脸数据；人脸对换模块，用于根据所述第一人脸数据和第二人脸数据使第一视频通话图像数据和第二视频通话图像数据中的人脸发生替换，得到二者之间发生人脸替换的第一视频通话图像数据和第二视频通话图像数据，并向相应终端返回。本公开的实施例提供的技术方案可以包括以下有益效果：在视频通话过程中，第一终端接收第二终端发送的第二视频通话数据，第二视频通话数据包括用于第二视频图像数据，以及从第二视频图像数据中提取出的第二人脸特征点位置数据，根据第二人脸特征点位置数据确定第二视频图像数据中的第二人脸特征点，以第二人脸特征点为轮廓提取第二视频图像数据中的第二人脸数据，根据第二人脸数据，在第一视频通话图像中第一人脸的人脸区域绘制第二特征人脸，以便将第一视频通话图像中的第一人脸替换为第二特征人脸。由于第二视频通话数据包括第二视频图像数据和第二人脸特征点位置数据，第一终端接收后根据第二人脸特征点位置数据进行第二人脸的提取，第一终端接收到从第二终端视频通话图像中提取出的第二人脸特征点位置数据，无需另外对人脸数据进行传输，减小了数据传输量，因而能够使更换的人脸与视频通话同步，实现视频通话过程中的实时换脸。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并于说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种实施环境中终端设备的示意图；图2是根据一示例性实施例示出的一种视频通话中视频图像的处理方法流程图；图3是根据一示例性实施例示出的进行人脸更换的示意图；图4是根据另一示例性实施例示出的一种视频通话中视频图像的处理方法流程图；图5是根据一示例性实施例示出的一种人脸识别获取人脸区域后提取人脸特征点位置数据的示意图；图6是根据另一示例性实施例示出的一种视频通话中视频图像的处理方法流程图；图7是根据一示例性实施例示出的视频通话中视频图像的处理方法中步骤S131的一种具体实现流程图；图8是根据另一示例性实施例示出的一种视频通话中视频图像的处理方法流程图；图9是根据一示例性实施例示出的一种视频通话中进行人脸更换的示意图；图10是根据另一示例性实施例示出的一种视频通话中视频图像的处理方法流程图；图11是据一示例性实施例示出的视频通话过程中数据传输架构图；图12是在图11示出的数据传输架构下进行视频通话中视频图像的处理方法示意图；图13是根据一示例性实施例示出的一种视频通话中视频图像的处理装置的框图；图14是根据另一示例性实施例示出的一种视频通话中视频图像的处理装置的框图；图15是根据另一示例性实施例示出的一种视频通话中视频图像的处理装置的框图；图16是根据一示例性实施例示出的视频通话中视频图像的处理装置中纹理映射子模块131的一种具体实现流程图；图17是根据另一示例性实施例示出的一种视频通话中视频图像的处理装置的框图；图18是根据另一示例性实施例示出的一种视频通话中视频图像的处理装置的框图。具体实施方式这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表本文档来自技高网...

【技术保护点】
1.一种视频通话中视频图像的处理方法，其应用于参与视频通话的第一终端，参与所述视频通话的终端还包括第二终端，其特征在于，所述方法包括：接收第二终端发送的第二视频通话数据，所述第二视频通话数据包括第二视频图像数据，以及从所述第二视频图像数据中提取出的第二人脸特征点位置数据；根据所述第二人脸特征点位置数据确定所述第二视频图像数据中的第二人脸特征点；以所述第二人脸特征点为轮廓提取所述第二视频图像数据中的第二人脸数据；获取第一视频通话图像中第一人脸的人脸区域；根据所述第二人脸数据，在所述第一视频通话图像中第一人脸的人脸区域绘制第二特征人脸，以便将所述第一视频通话图像中的第一人脸替换为所述第二特征人脸。

【技术特征摘要】
1.一种视频通话中视频图像的处理方法，其应用于参与视频通话的第一终端，参与所述视频通话的终端还包括第二终端，其特征在于，所述方法包括：接收第二终端发送的第二视频通话数据，所述第二视频通话数据包括第二视频图像数据，以及从所述第二视频图像数据中提取出的第二人脸特征点位置数据；根据所述第二人脸特征点位置数据确定所述第二视频图像数据中的第二人脸特征点；以所述第二人脸特征点为轮廓提取所述第二视频图像数据中的第二人脸数据；获取第一视频通话图像中第一人脸的人脸区域；根据所述第二人脸数据，在所述第一视频通话图像中第一人脸的人脸区域绘制第二特征人脸，以便将所述第一视频通话图像中的第一人脸替换为所述第二特征人脸。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取自身采集的第一视频图像数据，所述第一视频图像数据用于显示第一视频通话图像；对所述第一视频图像数据进行人脸识别，获取所述第一视频通话图像中第一人脸的人脸区域；在所述第一人脸的人脸区域中提取所述第一视频通话图像中的第一人脸特征点位置数据；通过所述第一视频图像数据和第一人脸特征点位置数据得到第一视频通话数据，并向所述第二终端发送所述第一视频通话数据。3.根据权利要求2所述的方法，其特征在于，所述在所述第一人脸的人脸区域中提取所述第一视频通话图像中的第一人脸特征点位置数据步骤之前，所述方法还包括：判断对应于所述第一视频通话图像的人脸数量是否大于一个，若为是，则获取各人脸的人脸区域面积；选取人脸区域面积最大的一个人脸作为第一人脸，所述第一人脸的人脸区域将作为所述第一视频通话图像中提取第一人脸特征点位置数据的人脸区域。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二人脸数据，在所述第一视频通话图像中第一人脸的人脸区域绘制第二特征人脸，以便将所述第一视频通话图像中的第一人脸替换为所述第二特征人脸，包括：根据所述第二人脸特征点位置数据和所述第一视频通话图像中的第一人脸特征点位置数据，进行所述第二人脸数据在所述第一视频通话图像中的纹理映射，得到在所述第一视频通话图像中第一人脸的人脸区域绘制的第二特征人脸。5.根据权利要求4所述的方法，其特征在于，所述根据所述第二人脸特征点位置数据和所述第一视频通话图像中的第一人脸特征点位置数据，进行所述第二人脸数据在所述第一视频通话图像中的纹理映射，得到在所述第一视频通话图像中第一人脸的人脸区域绘制的第二特征人脸，包括：根据所述第二人脸特征点位置数据和所述第一视频通话图像中的第一人脸特征点位置数据，分别将所述第二人脸数据对应第二人脸的人脸区域和所述第一视频通话图像中第一人脸的人脸区域相应地分割成多个三角形区域；按照所述第一人脸的人脸区域中的三角形区域，对所述第二人脸的人脸区域中相应的三角形区域进行变换，得到在所述第一视频通话图像中第一人脸的人脸区域绘制的第二特征人脸。6.根据权利要求1所述的方法，其特征在于，所述以所述第二人脸特征点为轮廓提取所述第二视频图像数据中的第二人脸数据步骤之后，所述方法还包括：根据所述第二人脸数据得到所述第二视频通话图像中第二人脸的人脸区域；根据所述第一视频通话图像中第一人脸的人脸区域对应的第一人脸数据，在所述第二视频通话图像中第二人脸的人脸区域绘制第一特征人脸，以便将所述第二视频通话图像中的第二人脸替换为所述第一特征人脸。7.一种视频通话中视频图像的处理方法，其特征在于，所述方法应用于服务器，所述服务器为参与视频通话的终端进行视频通话数据传输，所述方法包括：接收终端进行视频通话而发送的视频通话数据，所述视频通话数据包括第一终端和第二终端参与视频通话所发送的第一视频通话数据和第二视频通话数据；从所述第一视频通话数据和第二视频通话数据提取分别对应于第一视频通话图像数据和第二视频通话图像数据的人脸特征点位置数据；根据所述人脸特征点位置数据从所述第一视频通话图像数据和第二视频通话图像数据相应提取第一人脸数据和第二人脸数据；根据所述第一人脸数据和第二人脸数据使第一视频通话图像数据和第二视频通话图像数据中的人脸发生替换，得到二者之间发生人脸替换的第一视频通话图像数据和第二视频通话图像数据，并向相应终端返回。8.一种视频通话中视频图像...

【专利技术属性】
技术研发人员：李斌，易成，王新亮，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44