一种基于深度学习的虚拟表情图像生成方法、装置及介质制造方法及图纸

技术编号:40637363 阅读:24 留言:0更新日期:2024-03-13 21:20
本发明专利技术提出一种基于深度学习的虚拟表情图像生成方法、装置及介质。该方法包括:获取含有人脸的视频;对获得的视频进行人脸检测,获得视频中所有不同人脸的人脸图像序列;对每个人脸图像序列进行人脸图像质量筛选,获得最佳人脸序列;对最佳人脸序列进行人脸分类,保留预设集合内的人脸图像;对保留的人脸图像数量进行判断,确定最终人脸图像,并匹配目标三维虚拟模型;通过人脸关键点定位模型对最终人脸图像进行处理,获得人脸关键点二维坐标;通过卷积神经网络对最终人脸图像进行AU识别,获得AU参数;将人脸关键点二维坐标和AU参数转化驱动参数;通过融合Blendshape和二维关键点的虚拟人脸表情生成方法,生成与真实人脸表情相似的虚拟表情图像。

【技术实现步骤摘要】

本专利技术属于图像处理,具体涉及一种基于深度学习的虚拟表情图像生成方法、装置及介质


技术介绍

1、从真实人脸中获取其表情信息和头部姿态信息,驱动目标三维虚拟模型生成相似表情的技术是当前虚拟表情生成领域中重要的研究课题之一,在虚拟现实、数字娱乐等领域具有极高的应用价值。

2、目前,相关技术中虚拟表情生成方法,或需要高昂的面部表情捕捉设备、或需要高性能的计算机、或需要复杂的前后期的人工处理,或者牺牲一定的人脸表情信息获取的精度。

3、综上,如何通过普通单目摄像头获取视频图像,全程无人工干预地驱动目标三维表情模型快速生成高精度的虚拟表情的问题亟待解决。


技术实现思路

1、有鉴于此,本专利技术提供一种基于深度学习的虚拟表情图像生成方法、装置及介质。

2、本专利技术一方面提供了一种基于深度学习的虚拟表情图像生成方法,包括:

3、通过单目视频相机获取含有人脸的视频;

4、对所述含有人脸的视频逐帧进行人脸检测,获得视频中所有不同人脸的人脸图像序列,其中一个人脸图本文档来自技高网...

【技术保护点】

1.一种基于深度学习的虚拟表情图像生成方法,其特征在于,包括:

2.根据权利要求1所述的人脸图像质量筛选方法,其特征在于,包括:

3.根据权利要求2所述的人脸分类模型,其特征在于,包括:

4.一种使用基于深度可分离的卷积神经网络结构的人脸关键点定位模型,其特征在于,包括:采用MobileNetV3网络的基本模块构建一个端到端的类VGG的网络模型。网络模型输入设置为224*224*1,对人脸的68个关键点进行定位,输出68个关键点的二维坐标。

5.根据权力5所述的网络结构采用改进的倒残差模块,其特征在于,包括:

>6.根据权力1所述...

【技术特征摘要】

1.一种基于深度学习的虚拟表情图像生成方法,其特征在于,包括:

2.根据权利要求1所述的人脸图像质量筛选方法,其特征在于,包括:

3.根据权利要求2所述的人脸分类模型,其特征在于,包括:

4.一种使用基于深度可分离的卷积神经网络结构的人脸关键点定位模型,其特征在于,包括:采用mobilenetv3网络的基本模块构建一个端到端的类vgg的网络模型。网络模型输入设置为224*224*1,对人脸的68个关键点进行定位,输出68个关键点的二维坐标。...

【专利技术属性】
技术研发人员:王全玉王雪晴康智慧杜慧茜
申请(专利权)人:北京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1