【技术实现步骤摘要】
一种人脸重构、直播方法、装置、设备及存储介质
本专利技术实施例涉及图像处理技术,尤其涉及一种人脸重构、直播方法、装置、设备及存储介质。
技术介绍
在生活的多个场景中,用户会经常拍照、录像,针对图像数据中人物形象的五官进行调整,例如,调整鼻子的高低、调整眼睛的大小、调整嘴巴的大小,等等。以直播的场景为例,主播用户在主持节目时,通常对自己的人脸形象进行调整,在认为满意的情况下再向观众用户开放节目。目前,人物形象的五官进行调整的主要方式是在图像数据对人物形象的五官数据进行拉伸、缩放等变形,再通过模糊处理将变形之后的五官数据与附近的数据进行融合。但是,局部对五官数据进行变形,改变了人物形象的比例结构,即便进行模糊处理,五官数据与周围的数据依然存在比例结构失调的情况,失真较为明显。并且,用户可能同时对多种五官进行调整,一方面,每种调整对人物形象的比例结构都产生影响,调整次序的不同,产生的影响也不相同,造成失真的现象更为明显;另一方面,由于每种调整方式均独立开发,开发的成本较高。专利技术内 ...
【技术保护点】
1.一种人脸重构方法,其特征在于,包括:/n从图像数据提取原始人脸数据的特征,作为原始人脸特征;/n确定参考五官特征,所述参考五官特征用于表示五官数据在指定的维度下的特征;/n在所述原始人脸特征的基础上添加所述参考五官特征,获得目标人脸特征;/n使用所述目标人脸特征重构目标人脸数据,以使所述目标人脸数据具有在所述维度下调整之后的五官数据。/n
【技术特征摘要】
1.一种人脸重构方法,其特征在于,包括:
从图像数据提取原始人脸数据的特征,作为原始人脸特征;
确定参考五官特征,所述参考五官特征用于表示五官数据在指定的维度下的特征;
在所述原始人脸特征的基础上添加所述参考五官特征,获得目标人脸特征;
使用所述目标人脸特征重构目标人脸数据,以使所述目标人脸数据具有在所述维度下调整之后的五官数据。
2.根据权利要求1所述的方法,其特征在于,所述从图像数据提取原始人脸数据的特征,作为原始人脸特征,包括:
确定人脸编码器,所述人脸编码器包括卷积层与全连接层;
将图像数据中的原始人脸数据输入所述卷积层进行卷积处理,输出中间人脸图像;
将所述中间人脸图像输入所述全连接层进行映射处理,输出原始人脸特征。
3.根据权利要求1所述的方法,其特征在于,所述确定参考五官特征,包括:
获取第一样本人脸数据、第二样本人脸数据,其中,所述第一样本人脸数据的五官数据与所述第二样本人脸数据的五官数据在指定的维度下存在差异;
从所述第一样本人脸数据中提取特征,作为第一样本人脸特征;
从所述第二样本人脸数据中提取特征,作为第二样本人脸特征;
将所述第一样本人脸特征减去所述第二样本人脸特征,获得所述五官数据在所述维度下表达的特征,作为参考五官特征。
4.根据权利要求3所述的方法,其特征在于,所述获取第一样本人脸数据、第二样本人脸数据,包括:
获取第一样本人脸数据;
在指定的维度下,对所述第一样本人脸数据中的五官数据进行调整,获得第二样本人脸数据。
5.根据权利要求3所述的方法,其特征在于,
所述从所述第一样本人脸数据中提取特征,作为第一样本人脸特征,包括:
确定人脸生成器,所述人脸生成器用于根据人脸特征重构人脸图像数据;
将所述第一样本人脸数据输入所述人脸生成器中进行反向传播,从而输出人脸特征,作为第一样本人脸特征;
所述从所述第二样本人脸数据中提取特征,作为第二样本人脸特征,包括:
确定人脸生成器,所述人脸生成器用于根据人脸特征重构人脸图像数据;
将所述第二样本人脸数据输入所述人脸生成器中进行反向传播,从而输出人脸特征,作为第二样本人脸特征。
6.根据权利要求1所述的方法,其特征在于,所述在所述原始人脸特征的基础上添加所述参考五官特征,获得目标人脸特征,包括:
对所述参考五官特征配置权重;
在所述原始人脸特征的基础上加上已配置权重的所述参考五官特征,获得目标人脸特征。
7.根据权利要求6所述的方法,其特征在于,所述在所述原始人脸特征的基础上添加所述参考五官特征,获得目标人脸特征,包括:
确定候选人脸数据的原始人脸特征;
将所述候选人脸数据的原始人脸特征部分或全部替换所述原始人脸数据的原始人脸特征。
8.根据权利要求1-7任一所述的方法,其特征在于,所述目标人脸特征具有N个向量;
所述使用所述目标人脸特征重构目标人脸数据,以使所述目标人脸数据具有在所述维度下调整之后的五官数据,包括:
确定人脸生成器,所述人脸生成器具有N+1个卷积层、N个全连接层;
在当前的卷积层中,接收第一特征人脸数据,其中,所述第一特征人脸数据初...
【专利技术属性】
技术研发人员:王文斓,刘炉,
申请(专利权)人:广州虎牙科技有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。