一种三维动态跟踪方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种三维动态跟踪方法、装置、电子设备和存储介质，跟踪方法包括：获取人脸微笑数据、三维牙数据以及人脸模板数据；将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据；将初始深度点云数据进行融合获取等值面，并获取等值面对应的目标深度点云数据；将目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；根据目标深度点云数据优化初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；将目标人脸模板点云数据与初始纹理数据识别的牙齿区域与初始三维牙数据在拟合区域拟合，提高三维牙齿跟踪的准确性。高三维牙齿跟踪的准确性。高三维牙齿跟踪的准确性。

【技术实现步骤摘要】
一种三维动态跟踪方法、装置、电子设备和存储介质


[0001]本公开涉及三维形变
，尤其涉及一种三维动态跟踪方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，数据采集技术和三维重建技术的快速发展使得物理模型的高精度数字化成为可能。在齿科数字化领域，通过扫描和3D重建可以得到三维牙颌数字化模型，从而实现齿科产品的后续加工和定制化生产。通过三维重建技术，用户在牙齿矫正之前，可通过三维牙齿模型看到自己的牙齿被矫正之后的效果。
[0003]现有技术中一般采用2D脸+2D牙，即根据拍摄的2D图片，手动调节牙齿模型以获取矫正后的牙齿，或者2D脸+3D牙，即根据拍摄的2D图片，将3D牙模投影到图片上的对应牙齿区域。由于2D的图片下颌露出一般都较少，且只有在保持露牙较多的姿势下才能实现对下颌跟踪，因此跟踪效果较差。此外，采用2D进行牙齿跟踪时没有人脸尺度信息，视觉效果一般。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种三维动态跟踪方法、装置、电子设备和存储介质，提高三维牙本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维动态跟踪方法，其特征在于，包括：获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，所述人脸微笑数据包括纹理数据和深度数据；将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，所述初始点云数据包括初始深度点云数据、初始三维牙点云数据和初始人脸模板点云数据；将所述初始深度点云数据进行融合获取等值面，并获取所述等值面对应的目标深度点云数据；将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；根据所述目标深度点云数据优化所述初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合。2.根据权利要求1所述的方法，其特征在于，所述将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据包括：获取人脸微笑数据、三维牙数据以及人脸模板数据的源点云数据；确定迭代最近点算法中的旋转参数、平移参数以及误差阈值；根据旋转参数、平移参数以及误差阈值将源点云数据注册到预设坐标系下得到初始点云数据。3.根据权利要求1所述的方法，其特征在于，所述将所述初始深度点云数据进行融合获取等值面，根据所述等值面确定目标深度点云数据，包括：采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值；根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面；根据所述等值面对应的点云数据确定目标深度点云数据。4.根据权利要求3所述的方法，其特征在于，所述采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值，包括：建立初始点云数据对应的长方形体包围盒；将初始点云数据对应的长方形体包围盒体素化；采用TSDF算法计算各体素化中初始深度点云数据对应的TSDF值以及权重值。5.根据权利要求4所述的方法，其特征在于，所述根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面，包括：将截断符号距离函数值和权重值进行预处理并读入特定的数组中；获取不同体素化对应的单元体的位置信息；根据各所述单元体位置信息确定各所述单元体对应的状态表；根据各所述单元体的状态表，获取与等值面相交的各所述单元体棱边，...

【专利技术属性】
技术研发人员：华昀峰，田彦，江腾飞，许威威，段子恒，陶泓羽，
申请(专利权)人：先临三维科技股份有限公司，
类型：发明
国别省市：