【技术实现步骤摘要】
三维重建方法及装置、电子设备和存储介质
[0001]本公开涉及计算机
，尤其涉及一种三维重建方法及装置、电子设备和存储介质。
技术介绍
[0002]三维重建(3D Reconstruction)是指对三维物体建立适合计算机表示和处理的数学模型，三维重建技术作为在计算机中建立表达客观世界的虚拟现实的关键技术，其在医疗美容、自动驾驶、虚拟现实、行为分析、动画制作和社交娱乐等多个领域产生广泛影响。
[0003]在进行目标对象的三维重建任务中，例如针对人脸的三维重建，可基于参考表情基，通过回归系数得到正确的人脸模型；也可以通过回归稠密点云得到人脸模型；并且关于三维重建的方式存在进一步的探索，例如，可通过生成对抗网络直接生成三维隐式表达方程式。尽管关于三维重建的方式在逐渐扩展，但是，相关技术中仅着重于回归正面人脸位姿和正面人脸形状、表情的准确性。
技术实现思路
[0004]本公开提出了一种三维重建技术方案。
[0005]根据本公开的一方面，提供了一种三维重建方法，包括：获取待处理的二维图像；将所述...
【技术保护点】
【技术特征摘要】
1.一种三维重建方法，其特征在于，所述方法包括：获取待处理的二维图像；将所述待处理的二维图像输入三维重建网络中处理，得到所述待处理的二维图像的三维重建结果，所述三维重建结果包括所述待处理的二维图像对应的携带位姿信息的三维点云；所述三维重建网络通过训练数据集训练得到，所述训练数据集包括目标对象正面和背面的样本数据，所述样本数据包括目标对象的二维样本图像以及所述二维样本图像对应的三维点云，其中，正面表示目标对象的面部朝向拍摄设备，背面表示目标对象的面部背对拍摄设备。2.根据权利要求1所述的方法，其特征在于，所述样本数据包括目标对象正面和背面的第一样本数据、目标对象背面的第二样本数据、目标对象正面且带有表情的第三样本数据中的至少两种，所述第一样本数据、所述第二样本数据及所述第三样本数据中图像的至少部分拍摄场景不同。3.根据权利要求2所述的方法，其特征在于，所述三维重建网络的训练过程包括：将所述第一样本数据、所述第二样本数据和所述第三样本数据按照预设比例输入所述三维重建网络，训练所述三维重建网络。4.根据权利要求3所述的方法，其特征在于，所述第三样本数据在所述预设比例中占比最大。5.根据权利要求2所述的方法，其特征在于，所述第一样本数据包括：通过深度相机采集的第一样本图像和第一三维点云，和/或，通过单目相机采集的第一样本图像和第二三维点云；其中，所述通过深度相机采集的第一样本图像包括三个颜色通道信息和一个深度通道信息，所述第一三维点云根据所述通过深度相机采集的第一样本图像生成；所述通过单目相机采集的第一样本图像包括三个颜色通道信息，所述第二三维点云基于所述通过单目相机采集的第一样本图像中关键点的标注信息生成。6.根据权利要求2所述的方法，其特征在于，所述第二样本数据包括：带有标定参数的相机阵列采集的目标对象背面的第二样本图像，以及所述第二样本图像对应的三维点云。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述三维重建网络训练过程中使用的损失函数包括以下至少一种：指示所述三维重建网络输出的预测三维点云重建误差的第一损失函数、指示所述三维重建网络输出的所述预测三维点云平滑度的第二损失函数、指示所述三维重建网络输出的所述预测三维点云稳定度的第三损失函数、指示所述三维重建网络输出的所述预测三维点云表情准确度的第四损失函数；其中，所述第一损失函数为基于所述预测三维点云与所述训练数据集中所述三维点云来确定的；所述第二损失函数为基...
【专利技术属性】
技术研发人员：王坤，林纯泽，
申请(专利权)人：北京大甜绵白糖科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。