一种基于增强现实的通话方法及终端技术

本发明专利技术提供一种基于增强现实的通话方法及终端，涉及通信技术领域，其中，所述方法包括：接收第二终端发送的标注信息，所述标注信息为用户针对所述第二终端显示的视频画面添加获得，所述视频画面基于所述第一终端的摄像头拍摄获得；将所述标注信息转换为三维坐标信息；获取所述视频画面对应的稀疏点云数据，基于所述三维坐标信息从所述稀疏点云数据中确定目标特征点；基于所述三维坐标信息及所述目标特征点生成增强现实画面，所述增强现实画面包括所述视频画面对应的真实场景画面，及与所述三维坐标信息对应的虚拟标注图形。本发明专利技术实施例能够降低对用户端侧的算力要求。施例能够降低对用户端侧的算力要求。施例能够降低对用户端侧的算力要求。

【技术实现步骤摘要】
一种基于增强现实的通话方法及终端


[0001]本专利技术涉及通信
，尤其涉及一种基于增强现实的通话方法及终端。

技术介绍

[0002]在工业巡检、产品运维或培训指导等场景中，用户遇到无法解决的问题或故障，而专家又无法亲临现场指导，可通过视频通话请求专家协助，专家可通过在实时视频画面进行增强现实(Augmented Reality，AR)标注，远程指导用户排除故障。目前，可采用基于同时定位与地图构建(simultaneous localization and mapping，SLAM)的空间标注方法实现AR标注。通过SLAM技术对空间场景三维建模，将专家标注的二维屏幕标注放置到其对应的三维虚拟空间中，通过借助AR眼镜将整个三维虚拟空间中的内容渲染，并将成像效果与真实场景叠加，实现标注信息与空间场景的融合。然而，基于SLAM的空间标注方法，要求对用户侧场景实时三维建模，空间建模计算量大，对用户端侧的算力要求较高。

技术实现思路

[0003]本专利技术实施例提供一种基于增强现实的通话方法及终端，以解决现有基于SLAM的空间标注方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的通话方法，应用于第一终端，其特征在于，所述方法包括：接收第二终端发送的标注信息，所述标注信息为用户针对所述第二终端显示的视频画面添加获得，所述视频画面基于所述第一终端的摄像头拍摄获得；将所述标注信息转换为三维坐标信息；获取所述视频画面对应的稀疏点云数据，基于所述三维坐标信息从所述稀疏点云数据中确定目标特征点；基于所述三维坐标信息及所述目标特征点生成增强现实画面，所述增强现实画面包括所述视频画面对应的真实场景画面，及与所述三维坐标信息对应的虚拟标注图形。2.根据权利要求1所述的方法，其特征在于，所述基于所述三维坐标信息及所述目标特征点生成增强现实画面，包括：基于所述三维坐标信息及所述目标特征点确定所述标注信息的第一坐标信息；基于所述第一坐标信息及所述视频画面对应的稀疏点云数据生成目标视频数据；对所述目标视频数据进行渲染生成增强现实画面。3.根据权利要求2所述的方法，其特征在于，所述基于所述三维坐标信息及所述目标特征点确定所述标注信息的第一坐标信息，包括：以所述目标特征点为参考点，基于模型矩阵对所述三维坐标信息进行坐标转换处理，得到所述标注信息的第一坐标信息。4.根据权利要求1所述的方法，其特征在于，所述将所述标注信息转换为三维坐标信息，包括：基于投影矩阵的逆矩阵对所述标注信息进行坐标转换处理，得到观察空间坐标信息；基于观察矩阵的逆矩阵对所述观察空间坐标信息进行坐标转换处理，得到三维坐标信息。5.根据权利要求4所述的方法，其特征在于，所述基于投影矩阵的逆矩阵对所述标注信息进行坐标转换处理，得到观察空间坐标信息，包括：基于预设剪裁空间对所述标注信息进行坐标转换处理，得到剪裁空间坐标信息；采用所述投影矩阵的逆矩阵对所述剪裁空间坐标信息进行坐标转换处理，得到观察空间坐标信息。6.根据权利要求5所述的方法，其特征在于，所述基于预设剪裁空间对所述标注信息进行坐标转换处理，得到剪裁空间坐...

【专利技术属性】
技术研发人员：许珈艺，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：