人脸重构方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种人脸重构方法、装置、计算机设备及存储介质。该方法包括：获取目标观众对直播视频流中主播人脸的人脸重构参数；根据人脸重构参数，生成与主播人脸匹配的重构人脸；将直播视频流中的主播人脸替换为重构人脸后，提供给目标观众进行显示。本发明专利技术实施例的技术方案，向观众提供了一种对直播视频流中的图像内容进行调整的新方式，丰富直播间的功能，使得观众可以根据自身的喜好调整正在观看的直播视频中的主播人脸，实现最大程度的提高观众在同一直播间内的驻留时间，减少观众的直播间切换率。

【技术实现步骤摘要】
人脸重构方法、装置、计算机设备及存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种人脸重构方法、装置、计算机设备及存储介质。
技术介绍
目前，随着视频直播技术的不断发展，越来越多的用户选择使用直播类软件观看主播端直播的视频内容。主播端可以通过摄像头采集或者录屏等方式，生成直播视频流，并通过服务器发送至直播间内的各个观众。现有技术中，直播间内的观众一般只能通过简单的图像叠加的方式，例如，加特效的方式，对直播视频流中的图像内容进行调整，上述调整过程由服务器实现，且一经调整，会在主播端和多个观众端同时生效。专利技术人在实现本专利技术的过程中发现：基于图像叠加的直播视频流图像调整方式，实现方式单一、作用范围广，无法满足人们日益增长的个性化的直播观看需求。
技术实现思路
本专利技术实施例提供一种人脸重构方法、装置、计算机设备及存储介质，以提供一种对直播视频流中的图像内容进行调整的新方式，丰富直播间的功能。第一方面，本专利技术实施例提供了一种人脸重构方法，包括：获取目标观众对直播视频流中主播人脸的人脸重构参数；根据人脸重构参数，生成与主播人脸匹配的重构人脸；将直播视频流中的主播人脸替换为重构人脸后，提供给目标观众进行显示。第二方面，本专利技术实施例还提供了一种人脸重构装置，包括：人脸重构参数获取模块，用于获取目标观众对直播视频流中主播人脸的人脸重构参数；重构人脸生成模块，用于根据人脸重构参数，生成与主播人脸匹配的重构人脸；替换显示模块，用于将直播视频流中的主播人脸替换为重构人脸后，提供给目标观众进行显示。第三方面，本专利技术实施例还提供了一种计算机设备，设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本专利技术任意实施例提供的人脸重构方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任意实施例提供的人脸重构方法。本专利技术实施例中，通过获取目标观众对直播视频流中主播人脸的人脸重构参数；根据人脸重构参数，生成与主播人脸匹配的重构人脸；将直播视频流中的主播人脸替换为重构人脸后，提供给目标观众进行显示，解决了现有技术中观众对直播内容只能被动接收，无法进行任何调整或者修改的问题，向观众提供了一种对直播视频流中的图像内容进行调整的新方式，使得观众可以根据自身的喜好调整正在观看的直播视频中的主播人脸，丰富了直播间的功能。附图说明图1a是本专利技术实施例一中的一种人脸重构方法的流程图；图1b是本专利技术实施例一中的一种人脸重构参数设置界面的示意图；图1c是本专利技术实施例一中的一种人脸重构过程的流程框图；图1d是本专利技术实施例一中的一种人脸编码器的结构示意图；图2a是本专利技术实施例二中的一种人脸重构方法的流程图；图2b是本专利技术实施例二中的一种人脸生成器的结构示意图；图3是本专利技术实施例三中的一种人脸重构装置的结构示意图；图4是本专利技术实施例四中的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1a是本专利技术实施例一中的一种人脸重构方法的流程图，本实施例可适用于对直播视频中的主播人脸进行特征调整的情况，该方法可以由人脸重构装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在提供图像处理服务的设备中，例如：观众端设备，或者与观众端设备直接相连的边缘节点中。如图1a所示，该方法包括：步骤110、获取目标观众对直播视频流中主播人脸的人脸重构参数。本实施例中，目标观众可以是正在观看直播视频的任一观众，人脸重构参数是目标观众为了让主播人脸变得更符合自身的审美而设置的，用于表示目标观众对主播人脸的面部特征做出的对应调整。可选的，获取目标观众对直播视频流中主播人脸的人脸重构参数，可以包括：响应于目标观众的主播人脸重构请求，将人脸重构参数设置界面提供给目标观众，人脸重构参数设置界面中包括至少一个人脸重构设置项；响应于目标观众针对各人脸重构设置项的输入设置，获取目标观众对直播视频流中主播人脸的人脸重构参数。本实施例中，如图1b所示，当目标观众对直播视频中的主播人脸不满意，点击直播页面上的人脸重构按钮时，响应于目标观众对人脸重构按钮的点击操作，向目标观众提供人脸重构参数设置页面，人脸重构参数设置页面中包括瘦脸、发型、男性化、女性化、变老等多个人脸重构设置项，当目标观众对各人脸重构设置项进行输入设置时，例如，选择新的发型和发色、改变人脸的男性化比例以及改变人脸的年轻化比例等，就可以获取目标观众对直播视频流中主播人脸的人脸重构参数，例如，发型A、发色B、男性化50％以及变年轻30％。可选的，在获取目标观众对直播视频流中主播人脸的人脸重构参数之前，还可以包括：获取主播端发送的混合数据流，混合数据流包括：原始视频流，以及与原始视频流中主播人脸对应的基础人脸特征集；根据混合数据流中的基础人脸特征集，生成主播基础人脸；将主播基础人脸与原始视频流中的主播人脸进行融合，生成基础融合视频流；将基础融合视频流作为直播视频流，提供给目标观众。本实施例中，如图1c所示，为了便于设备实现根据目标观众设置的人脸重构参数对主播人脸进行重构，在向目标观众提供直播视频流之前，先通过内容分发网络(ContentDeliveryNetwork，CDN)获取主播端发送的原始视频流以及与原始视频流中主播人脸对应的基础人脸特征集，其中，基础人脸特征集是指未被目标观众调整过的、真实的主播人脸的人脸特征集合，是对主播人脸上的至少一个人脸特征进行调整的基础，然后将基础人脸特征集输入到人脸生成器中，生成对应的主播基础人脸，并将主播基础人脸与原始视频流中的主播人脸进行融合，将生成的基础融合视频流作为直播视频流发送给目标观众。如图1c所示，主播端在对原始视频流进行视频编码的同时，会从原始视频流中获取对应的主播人脸区域，通过将主播人脸区域输入到人脸编码器中，获得与真实的主播人脸对应的基础人脸特征集。基础人脸特征集在编码融合阶段先做无损压缩处理，例如，哈夫曼编码，然后与编码后的原始视频流一起组成混合数据流，经过CDN网络分发到各个设备。本实施例中，人脸编码器通过神经网络从输入的人脸图片中提取基础人脸特征集，人脸编码器的结构示意图如图1d所示，其中，CNN代表卷积层，FC代表全连接层，x表示输入的人脸图片，z＝(z1…zN)包括N个向量，表示从输入的人脸图片中提取到的基础人脸特征集，基础人脸特征集隐含了输入人脸的身份以及发型、发色、表情、性别、背景等属性。步骤120、根据人脸重构参数，生成与主播人脸匹配的本文档来自技高网...

【技术保护点】
1.一种人脸重构方法，其特征在于，包括：/n获取目标观众对直播视频流中主播人脸的人脸重构参数；/n根据所述人脸重构参数，生成与所述主播人脸匹配的重构人脸；/n将所述直播视频流中的主播人脸替换为所述重构人脸后，提供给所述目标观众进行显示。/n

【技术特征摘要】
1.一种人脸重构方法，其特征在于，包括：
获取目标观众对直播视频流中主播人脸的人脸重构参数；
根据所述人脸重构参数，生成与所述主播人脸匹配的重构人脸；
将所述直播视频流中的主播人脸替换为所述重构人脸后，提供给所述目标观众进行显示。


2.根据权利要求1所述的方法，其特征在于，获取目标观众对直播视频流中主播人脸的人脸重构参数，包括：
响应于所述目标观众的主播人脸重构请求，将人脸重构参数设置界面提供给所述目标观众，所述人脸重构参数设置界面中包括至少一个人脸重构设置项；
响应于所述目标观众针对各所述人脸重构设置项的输入设置，获取目标观众对直播视频流中主播人脸的人脸重构参数。


3.根据权利要求1或2所述的方法，其特征在于，根据所述人脸重构参数，生成与所述主播人脸匹配的重构人脸，包括：
获取与所述直播视频流中主播人脸对应的基础人脸特征集；
根据所述人脸重构参数，对所述基础人脸特征集进行调整，生成重构人脸特征集；
根据所述重构人脸特征集，生成与所述主播人脸匹配的重构人脸。


4.根据权利要求3所述的方法，其特征在于，所述人脸重构参数设置界面中的每个所述人脸重构设置项，与所述基础人脸特征集中的一个或者多个人脸特征关联。


5.根据权利要求1所述的方法，其特征在于，将所述直播视频流中的主播人脸替换为所述重构人脸后，提供给所述目标观众进行显示，包括：
将所述重构人脸与所述直播视频流中的主播人脸进行融合，生成重构融合视频流；
将所述重构融合视频流提供给所述目标观众进行显示。


6.根据权利要求5所述的方法，其特征在于，在获取目标观众对直播视频流中主播人脸的人脸重构参数之前，还包括：
获取主播端发送的混合数据流，混合数据流包括：原始视频流，以及与原始视频流中主播人脸对应的基础人脸特征集；
根据所述混合数据流中的基础人脸特征集，生成主播基础人脸；
将所述主播基础人脸与所述原始视频流中的主播人脸进行融合，生成基础融合视频流；
将所述基...

【专利技术属性】
技术研发人员：王文斓，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：广东;44