基于真实人脸图像的虚拟面部建模方法技术

本发明专利技术公开了一种基于真实人脸图像的虚拟面部建模方法，包括步骤：一)制作头部模型；二)制作面部表情动作贴图集；三)在Unity 3D中，使用Unity 3D自带的帧动画机将获得的各种表情动作贴图集制作成相应的表情动画；四)制作表情动画控制器；五)给3D头部模型装饰上头发配饰，对面部进行修饰；六)编写脚本控制除面部以外的3D头部模型的位移，使其跟随面部位移做相对应的移动；本发明专利技术采用真实人的面部表情图像修饰所建立的3D虚拟头模的面部，使得所建立的虚拟人物头部模型的面部与真人的面部相识度极高；且建模过程不需要像现有采用3D软件建模时那样进行复杂的空间设计，建模耗时更短，成本更低。

Virtual Face Modeling Based on Real Face Image

【技术实现步骤摘要】
基于真实人脸图像的虚拟面部建模方法
本专利技术涉及三维建模
，特别涉及一种基于真实人脸图像的虚拟面部建模方法。
技术介绍
随着科技的不断发展，人们对于生活质量有着更高的追求，交流型机器人的出现让人们眼前一亮。而VR技术的兴起，则使其更具体验感与科技感，体验者在佩戴VR设备后，能够在计算机生成的模拟环境中，与虚拟机器人亲切互动。虚拟机器人的未来市场已经开始向主持行业，迎宾行业等渗透，预计在不久的将来，虚拟机器人将广泛的应用于各类服务业当中。Unity3D是使用最为广泛的支撑虚拟交互的平台，为了使交互更真实，导入Unity3D中的人物模型的仿人性能也成为人们关注的一个重点。而其中最关键的则是面部建模，只有3D模型对真实人物面部的还原度高，辨识度高，才能使体验者在虚拟交互过程中具有沉溺感和满足感。目前，各类3D人物模型的面部建模都是通过3DsMax,Zbrush等建模软件完成，所建立人物模型的面部与真人的面部相差度较高，并且建模存在耗用时间长，成本高等问题。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于真实人脸图像的虚拟面部建模方法，以解决现有技术中采用3D软件建立虚拟人物头部模型的面部，存在所建虚拟面部与真人的面部相差度较高、建模耗时长等技术问题。本专利技术基于真实人脸图像的虚拟面部建模方法，包括以下步骤：一)制作头部模型，其又包括如下步骤：a)采集真人面部的正面照片，利用Insight3D将真人面部的正面照片转换为3D头部模型；b)在Insight3D中将3D头部模型的人面部分与3D头部模型的其余部分分离，并将分离出的人面部分进行平滑化，做成椭球面；二)制作面部表情动作贴图集，具体操作步骤如下：1)拍摄与虚拟人物所需面部表情相应的真人面部表情动作视频；2)利用视频编辑软件，对表情动作视频进行逐帧截取，获取表情图片；3)在Insight3D中对步骤b)中分离出来的椭球面进行展UV操作，将三维面部模型转换为平面图片；4)将步骤3)中获取的面部UV展开图导入到PhotoShop软件中，再将步骤2)中获取的某种表情动作视频的所有表情图片逐张贴合在面部UV展开图上，然后导出贴图，得到一种表情动作贴图集；5)重复步骤4)得到虚拟人物所需面部表情的所有表情动作贴图集；三)在Unity3D中，使用Unity3D自带的帧动画机将获得的各种表情动作贴图集制作成相应的表情动画；四)制作表情动画控制器，具体步骤如下：a)将步骤一)中制得的人面部分与其余部分相分离的3D头部模型导入到Unity3D中，选中分离出来的椭球面状的面部模型，选择Create添加AnimatorController动画控制器；b)在动画控制器中选择CreateState中的子选项FromNewBlendTree创建状态树，将状态树的状态BlendType改为2DFreeformDirectional，并将其Parameters改为X和Y；c)在BlendTree的Motion中选择添加与制作好的表情动画数量相等的Motion，并逐个导入表情动画；其中X,Y为每个表情动画的坐标位置。五)给3D头部模型装饰上头发配饰，对面部进行修饰。六)编写脚本控制除面部以外的3D头部模型的位移，使其跟随面部位移做相对应的移动，具体步骤如下：a)确定每个表情动画中各帧图片面部动作的大致角度，包括面部绕X轴的上下旋转角θk和面部绕Y轴的左右旋转角b)编写脚本，在脚本中定义两个容器，分别用于存放各帧图片面部动作的大致角度θk和c)编写脚本控制除面部以外的3D头部模型旋转，使其旋转角度与表情动画中各帧图片面部动作角度θk和保持一致。本专利技术的有益效果：本专利技术基于真实人脸图像的虚拟面部建模方法，其采用真实人的面部表情图像修饰所建立的3D虚拟头模的面部，使得所建立的虚拟人物头部模型的面部与真人的面部相识度极高；且建模过程不需要像现有采用3D软件建模时那样进行复杂的空间设计，建模耗时更短，成本更低。附图说明图1为表情状态BlendTree结构图；图2为3D头部模型以及将人面部分从3D头部模型中分离出来的示意图；图3为椭球面状的人面部分其UV展开图；图4为表情动作的连续帧贴图效果。具体实施方式下面结合附图和实施例对本专利技术作进一步描述。本实施例基于真实人脸图像的虚拟面部建模方法，包括以下步骤：一)制作头部模型，其又包括如下步骤：a)采集真人面部的正面照片，利用Insight3D将真人面部的正面照片转换为3D头部模型；b)在Insight3D中将3D头部模型的人面部分与3D头部模型的其余部分分离，并将分离出的人面部分进行平滑化，做成椭球面；本步骤在Insight3D中的具体操作过程为：先选中头部模型，将模型转换为可编辑多边形，再选中头模面部部分，在编辑几何体的选项中选择分离选项，至此面部便于与头模其余部分分离；然后再选中面部部分，同样转换为可编辑多边形，并将其平滑化为椭球面状。二)制作面部表情动作贴图集，具体操作步骤如下：1)拍摄与虚拟人物所需面部表情相应的真人面部表情动作视频，如惊讶表情动作视频，大笑表情动作视频，说话表情动作视频等；2)利用视频编辑软件，对表情动作视频进行逐帧截取，获取表情图片；本实施例中具体采用AdobePremiere视频编辑软件获取表情图片，当然在不同实施例中还可采用其它现有的视频编辑软件；3)在Insight3D中对步骤b)中分离出来的椭球面进行展UV操作，将三维面部模型转换为平面图片；本步骤在Insight3D中的具体操作过程为：选中面部模型，将其转换为可编辑多边形，然后在修改器列表中选择UVW展开；然后在“剥”选项中选择毛皮贴图，进而选择毛皮UV，开始松弛，直到将其松弛为平面图形,得到UV展开图并保存；4)将步骤3)中获取的面部UV展开图导入到PhotoShop软件中，再将步骤2)中获取的某种表情动作视频的所有表情图片逐张贴合在面部UV展开图上，然后导出贴图，得到一种表情动作贴图集；5)重复步骤4)得到虚拟人物所需面部表情的所有表情动作贴图集。三)在Unity3D中，使用Unity3D自带的帧动画机将获得的各种表情动作贴图集制作成相应的表情动画。四)制作表情动画控制器，具体步骤如下：a)将步骤一)中制得的人面部分与其余部分相分离的3D头部模型导入到Unity3D中，选中分离出来的椭球面状的面部模型，选择Create添加AnimatorController动画控制器；b)在动画控制器中选择CreateState中的子选项FromNewBlendTree创建状态树，将状态树的状态BlendType改为2DFreeformDirectional，并将其Parameters改为X和Y；c)在BlendTree的Motion中选择添加与制作好的表情动画数量相等的Motion，并逐个导入表情动画；其中X,Y为每个表情动画的坐标位置。例如，伤心表情动画坐标位置为(0,0)，大笑表情动画为(0,1)，当表情动画的坐标位置由(0,0)向(0,1)移动时，人物模型表情就会由伤心逐渐转变为大笑。五)给3D头部模型装饰上头发配饰，对面部进行修饰。六)编写脚本控制除面部以外的3D头部模型的位移，使其跟随面部位移做相对应的移动，具体步骤如下：a)确定每个表情动画中各帧图片面部本文档来自技高网...

【技术保护点】
1.基于真实人脸图像的虚拟面部建模方法，其特征在于：包括以下步骤：一)制作头部模型，其又包括如下步骤：a)采集真人面部的正面照片，利用Insight3D将真人面部的正面照片转换为3D头部模型；b)在Insight3D中将3D头部模型的人面部分与3D头部模型的其余部分分离，并将分离出的人面部分进行平滑化，做成椭球面；二)制作面部表情动作贴图集，具体操作步骤如下：1)拍摄与虚拟人物所需面部表情相应的真人面部表情动作视频；2)利用视频编辑软件，对表情动作视频进行逐帧截取，获取表情图片；3)在Insight3D中对步骤b)中分离出来的椭球面进行展UV操作，将三维面部模型转换为平面图片；4)将步骤3)中获取的面部UV展开图导入到PhotoShop软件中，再将步骤2)中获取的某种表情动作视频的所有表情图片逐张贴合在面部UV展开图上.然后导出贴图，得到一种表情动作贴图集；5)重复步骤4)得到虚拟人物所需面部表情的所有表情动作贴图集；三)在Unity3D中，使用Unity3D自带的帧动画机将获得的各种表情动作贴图集制作成相应的表情动画；四)制作表情动画控制器，具体步骤如下：a)将步骤一)中制得的人面部分与其余部分相分离的3D头部模型导入到Unity3D中，选中分离出来的椭球面状的面部模型，选择Create添加Animator Controller动画控制器；b)在动画控制器中选择Create State中的子选项From New Blend Tree创建状态树，将状态树的状态Blend Type改为2D Freeform Directional，并将其Parameters改为X和Y；c)在Blend Tree的Motion中选择添加与制作好的表情动画数量相等的Motion，并逐个导入表情动画；其中X,Y为每个表情动画的坐标位置；五)给3D头部模型装饰上头发配饰，对面部进行修饰；六)编写脚本控制除面部以外的3D头部模型的位移，使其跟随面部位移做相对应的移动，具体步骤如下：a)确定每个表情动画中各帧图片面部动作的大致角度，包括面部绕X轴的上下旋转角θk和面部绕Y轴的左右旋转角...

【技术特征摘要】
1.基于真实人脸图像的虚拟面部建模方法，其特征在于：包括以下步骤：一)制作头部模型，其又包括如下步骤：a)采集真人面部的正面照片，利用Insight3D将真人面部的正面照片转换为3D头部模型；b)在Insight3D中将3D头部模型的人面部分与3D头部模型的其余部分分离，并将分离出的人面部分进行平滑化，做成椭球面；二)制作面部表情动作贴图集，具体操作步骤如下：1)拍摄与虚拟人物所需面部表情相应的真人面部表情动作视频；2)利用视频编辑软件，对表情动作视频进行逐帧截取，获取表情图片；3)在Insight3D中对步骤b)中分离出来的椭球面进行展UV操作，将三维面部模型转换为平面图片；4)将步骤3)中获取的面部UV展开图导入到PhotoShop软件中，再将步骤2)中获取的某种表情动作视频的所有表情图片逐张贴合在面部UV展开图上.然后导出贴图，得到一种表情动作贴图集；5)重复步骤4)得到虚拟人物所需面部表情的所有表情动作贴图集；三)在Unity3D中，使用Unity3D自带的帧动画机将获得的各种表情动作贴图集制作成相应的表情动画；四)制作表情动画控制器，具体步骤如下：a)...

【专利技术属性】
技术研发人员：宋永端，沈志熙，刘鹏，曾海林，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50