一种实时AR可视化方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种实时AR可视化方法、装置、设备及存储介质。该方法包括：获取目标摄像机采集的图像帧，并利用同步定位与建图模块确定出图像帧内目标特征点在预设三维坐标系上的三维坐标；对三维坐标进行平面检测以确定出三维叠加平面，并根据待叠加三维物体对应的叠加位置条件约束关系，在三维叠加平面上确定出待叠加三维物体对应的平面定位点；基于所述待叠加三维物体和所述平面定位点，结合同步定位与建图模块获取的所述目标摄像机的实时位姿，对图像帧进行视频渲染，以实现实时AR可视化。通过对图像特征点对应的三维点进行平面检测，根据实时位姿对定位点跟踪并进行三维物体叠加，能够实时进行AR效果的叠加，且适用于室外变化大的场景。变化大的场景。变化大的场景。

【技术实现步骤摘要】
一种实时AR可视化方法、装置、设备及存储介质


[0001]本专利技术涉及增强现实
，特别涉及一种实时AR可视化方法、装置、设备及存储介质。

技术介绍

[0002]增强现实技术（Augmented Reality，AR），是一种在影像（一般为视频）上有目的地叠加显示文字、图形、图像或三维模型等信息的技术，这种技术能够把虚拟事物套在现实世界的表象上进行显示、甚至交互。目前，针对室内的应用场景，基于穿戴设备、智能终端或固定平台的摄像机等设备，已经有比较成熟实用的增强现实技术应用案例，例如：倒车影像辅助线、直播间或短视频里可互动的虚拟饰物、体育赛事直播的国别图标和虚拟吉祥物，以及增强现实的交互游戏等。但是现有的增强现实技术，在室外变化的大场景下的实时应用还不够成熟，例如在无人机搭载摄像机拍摄地面的应用环境。
[0003]现有技术中，通过放置模板（Marker）确定现实场景中的平面，并通过模板上的特征点确定世界坐标系，然后利用每帧特征点检测计算摄像机参数，从而进行AR三维叠加；但是该方案确定AR三维叠加的平面以及世界坐标系都需要通过在现实场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时AR可视化方法，其特征在于，包括：获取目标摄像机采集的图像帧，并利用同步定位与建图模块确定出所述图像帧内目标特征点在预设三维坐标系上的三维坐标；对所述三维坐标进行平面检测以确定出三维叠加平面，并根据待叠加三维物体对应的叠加位置条件约束关系，在所述三维叠加平面上确定出所述待叠加三维物体对应的平面定位点；基于所述待叠加三维物体和所述平面定位点，结合所述同步定位与建图模块获取的所述目标摄像机的实时位姿，对所述图像帧进行视频渲染，以实现实时AR可视化。2.根据权利要求1所述的实时AR可视化方法，其特征在于，所述获取目标摄像机采集的图像帧之前，还包括：以所述目标摄像机的初始位姿构建世界坐标系；以所述目标摄像机为中心定义三维坐标系，以得到所述预设三维坐标系。3.根据权利要求1所述的实时AR可视化方法，其特征在于，所述对所述三维坐标进行平面检测以确定出三维叠加平面，包括：基于所述三维坐标生成目标矩阵；通过对所述目标矩阵进行奇异值分解得到对应的解向量，将所述解向量作为法向量，然后确定所述法向量对应的平面，并将所述平面作为所述三维叠加平面。4.根据权利要求3所述的实时AR可视化方法，其特征在于，所述基于所述三维坐标生成目标矩阵，通过对所述目标矩阵进行奇异值分解得到对应的解向量，包括：利用随机抽样一致算法按照预设次数，每次从所有所述三维坐标中抽取预设数量三维坐标作为目标三维坐标点；基于每次抽取的所述目标三维坐标点生成所述目标矩阵，以得到与所述预设次数的数量相同的所述目标矩阵，对所述目标矩阵进行奇异值分解获取相应的解向量；相应的，所述将所述解向量作为法向量，包括：计算所述三维坐标中除所述目标三维坐标点外的其余三维坐标点在所述解向量上的投影距离，得到每个解向量对应的投影距离；根据所述投影距离确定出所述随机抽样一致算法的目标函数；根据所述目标函数从所有所述解向量中确定出目标解向量，并利用所述随机抽样一致算法确定出所述目标解向量对应的内点集；对基于所述内点集生成的矩阵进行奇异值分解，以获取所述矩阵对应的解向量，并将该解向量作为所述法向量。5.根据权利要求4所述的实时AR可视化方法，其特征在于，所述根据所述投影距离确定出所述随机抽样一致算法的目标函数，包括：根据所有所述投影距离得到累计投影距离，并将所述累计投影距离作为所述随机抽样一致算法的目标函数；或，根据预设P分位数从所有所述投影距离中筛选出目标投影距离，并将所述目标投影距离作为所述随机抽样一致算法的目标函数。6.根据权利要求1所述的实时AR可视化方法，其特征在于，所述根据待叠加三维物体对应的叠加位置条件约束关系，在所述三维叠加平面上确定出所述待...

【专利技术属性】
技术研发人员：刘雪丹，
申请(专利权)人：成都纵横自动化技术股份有限公司，
类型：发明
国别省市：