一种头戴设备及其三维重建方法、装置、系统及介质制造方法及图纸

本发明专利技术公开了一种头戴设备及其三维重建方法、装置及系统，该方法包括：根据预先建立的RGB图像数据库及当前采集的RGB图像建立预测三维模型；根据当前采集的TOF深度散点图建立点云模型；根据点云模型对预测三维模型进行修正优化，得到优化后的预测三维模型；本发明专利技术中在进行三维重建时，可以根据预先建立的RGB图像数据库及当前采集的RGB图像建立预测三维模型，然后再根据当前采集的TOF深度散点图建立点云模型，并通过点云模型和对预测三维模型进行修正优化，从而得到优化后的预测三维模型，能够使最终得到的三维模型更加精确，分辨率更高，有利于提升用户使用体验。有利于提升用户使用体验。有利于提升用户使用体验。

【技术实现步骤摘要】
一种头戴设备及其三维重建方法、装置、系统及介质


[0001]本专利技术涉及头戴设备
，特别是涉及一种头戴设备及其三维重建方法、装置、系统及介质。

技术介绍

[0002]AR(Augmented Reality，增强现实)三维重建可用于自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等领域。现有技术中，有直接利用RGB(Red
‑
Green
‑
Blue，红
‑
绿
‑
蓝)相机进行三维重建的，该方法存在精度低、环境干扰大实时性差等缺点。还有采用TOF(time
‑
of
‑
flight，飞行时间)深度相机获取整个场景深度信息的，但是采用TOF深度相机获取的场景深度信息仍存在噪声多、分辨率和精度上较低等问题。
[0003]为了实现AR头戴设备更好的体验感，三维重建是最重要的一步，如何改善之前三维重建方案分辨率和精度低的现象，是本领域技术人员需要解决的问题。

技术实现思路

[0004]本专利技术实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头戴设备的三维重建方法，其特征在于，包括：根据预先建立的RGB图像数据库及当前采集的RGB图像建立预测三维模型；根据当前采集的TOF深度散点图建立点云模型；根据所述点云模型对所述预测三维模型进行修正优化，得到优化后的预测三维模型。2.根据权利要求1所述的头戴设备的三维重建方法，其特征在于，所述根据预先建立的RGB图像数据库及当前采集的RGB图像建立预测三维模型的过程为：采用深度学习算法及预先建立的RGB图像数据库对当前采集的RGB图像进行训练建模，得到预测三维模型。3.根据权利要求1所述的头戴设备的三维重建方法，其特征在于，所述根据所述点云模型对所述预测三维模型进行修正优化，得到优化后的预测三维模型的过程为：根据所述预测三维模型生成多个不同视点的预测三维模型投影深度图；根据所述点云模型生成与每个所述预测三维模型投影深度图一一对应的TOF模型投影深度图；根据每个所述预测三维模型投影深度图及各个所述TOF模型投影深度图，得到偏差信息；根据所述偏差信息对所述预测三维模型进行修正优化，得到优化后的预测三维模型。4.根据权利要求3所述的头戴设备的三维重建方法，其特征在于，所述根据每个所述预测三维模型投影深度图及各个所述TOF模型投影深度图，得到偏差信息的过程为：针对每个所述预测三维模型投影深度图，将所述预测三维模型投影深度图与对应的TOF模型投影深度图进行误差计算，得到对应的误差；将所述误差作为与所述预测三模型投影深度图对应的偏差信息，以得到多个偏差信息。5.根据...

【专利技术属性】
技术研发人员：姜俊霞，付强，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：