【技术实现步骤摘要】
本专利技术涉及计算机视觉和深度学习技术，特别是涉及一种人体3d重建的人脸优化方法。
技术介绍
1、随着算力水平的不断提高和技术的不断发展，视觉逐渐从2d，2.5d，固定场景3d(例如影院)向着实时3d发展，虚拟现实，元宇宙等概念逐渐兴起，同时vr设备也逐渐解决了体积重，续航短等问题，走向普通人家。
2、3d重建是3d视觉的基础，是人类观察和理解的基础也是下游任务例如人脸识别，行人reid，物体检测的基础。而在所有的3d重建中，人体是人类着重关注并且要求精度较高的，而人脸重建又是人体重建中人眼很重视的部分。
3、目前的3d人体重建一般是通过多角度的rgbd图像进行重建，目前最主流的方法是使用神经网络，通过对训练数据的学习，从rgbd图像中学习到重建所需要的特征，并通过分类器来输出重建结果，通常是一个网络输出整个人体的重建结果。
4、而目前其存在以下几个问题：
5、一、没有对人脸进行特别的处理或关注，可能导致人脸细节比较难以学习，精确度偏低。
6、二、将重建之后的结果输出到下游任务...
【技术保护点】
1.一种人体3D重建的人脸优化方法，其特征在于，包括如下步骤：
2.如权利要求1所述的人体3D重建的人脸优化方法，其特征在于，所述3D人体重建网络的重建损失函数为MSEloss：
3.如权利要求2所述的人体3D重建的人脸优化方法，其特征在于，所述3D人脸识别网络的损失函数为Triplet loss：
4.如权利要求1至3任一项所述的人体3D重建的人脸优化方法，其特征在于，步骤S3中，通过损失函数计算误差并反向传播对所述3D人体重建网络的参数进行调整。
5.如权利要求1至4任一项所述的人体3D重建的人脸优化方法，其特征在于...
【技术特征摘要】
1.一种人体3d重建的人脸优化方法，其特征在于，包括如下步骤：
2.如权利要求1所述的人体3d重建的人脸优化方法，其特征在于，所述3d人体重建网络的重建损失函数为mseloss：
3.如权利要求2所述的人体3d重建的人脸优化方法，其特征在于，所述3d人脸识别网络的损失函数为triplet loss：
4.如权利要求1至3任一项所述的人体3d重建的人脸优化方法，其特征在于，步骤s3中，通过损失函数计算误差并反向传播对所述3d人体重建网络的参数进行调整。
5.如权利要求1至4任一项所述的人体3d重建的人脸优化方法，其特征在于，所述3d人体重建网络包为端到端的深度神经网络，包括几何重建网络和纹理重建网络，其中深度图像输入所述几何重建网络，用于重建几何结构，多角度rgbd图像输入所述纹理重建网络，用于重建表面纹理。
6.如权利要求5所述的人体3d重建的人脸优化方法，其特征在于，不同视角的深度图像输入所述几何重建网络，其中，通过编码器encoder提取出不同的特征，分别经过一个mlp分类网络得到不同视角的特征，通过均值average操作对其进行融合以生成...
【专利技术属性】
技术研发人员：李志德，董宇涵，张凯，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。