基于多目相机的增强现实方法、装置及系统制造方法及图纸

技术编号:20365706 阅读:23 留言:0更新日期:2019-02-16 17:48
本发明专利技术属于增强现实技术领域,具体提供了一种基于多目相机的增强现实方法、装置和系统,旨在解决现有技术无法在环境条件较差的场景下实现增强现实显示的技术问题。为此目的,本发明专利技术提供了一种基于多目相机的增强现实方法,包括根据预设的多目相机当前获取的场景图像信息构建场景地图;基于场景图像信息获取多目相机中每个相机的位姿信息;基于每个相机的位姿信息将待显示的目标物体叠加到场景地图的对应位置。基于上述步骤,本发明专利技术提供的基于多目相机的增强现实方法具有能够简化增强现实显示的处理流程,加快计算速度并且能够很好地应用于弱纹理环境中的有益效果。

【技术实现步骤摘要】
基于多目相机的增强现实方法、装置及系统
本专利技术属于增强现实
,具体涉及一种基于多目相机的增强现实方法、装置和系统。
技术介绍
SLAM(simultaneouslocalizationandmapping,即时定位与地图构建)在无人驾驶、增强现实显示领域得到广泛的应用。SLAM技术主要包括场景定位和地图重建两个任务,即在建立环境地图的同时对当前相机的位姿信息进行定位。传统的SLAM技术主要是基于单目相机进行场景定位和稀疏地图重建,基于单目相机的SLAM解决方案虽然运行较快,但是得不到稠密的深度地图信息,在缺乏纹理特征的环境中难以运行,并且得不到实际场景的尺度信息,传统的稀疏SLAM技术难以直接应用在如增强现实显示等领域。随着技术的发展,除了传统的SLAM技术外,现有技术还包括基于深度相机的SLAM系统、基于半稠密的SLAM系统以及基于激光雷达的SLAM系统等等,现有的这些系统虽然都可以产生带有尺度信息的相对稠密的地图信息,但是均各自存在着一些缺点。基于深度相机的SLAM系统和基于激光雷达的SLAM系统虽然都可以得到稠密的深度信息,但是深度相机和激光雷达本身受环境和距离的限制非常大,难以应用到例如内窥镜等近距离的场景中;基于半稠密的SLAM系统只能在纹理丰富的场景中获取深度信息,难以应用于增强现实显示任务。现有的SLAM系统均受设备本身的限制,对环境条件要求较高,无法在环境条件较差的场景下生成稠密的深度地图信息。因此,如何提出一种在环境条件较差的情况下实现增强现实显示的方案是本领域技术人员目前需要解决的问题。
技术实现思路
为了解决现有技术中的上述问题,即为了解决现有技术无法在环境条件较差的场景下实现增强现实显示的问题,本专利技术的第一方面提供了一种基于多目相机的增强现实方法,包括:根据预设的多目相机当前获取的场景图像信息构建场景地图;基于所述场景图像信息获取所述多目相机中每个相机的位姿信息;基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置。在上述方法的优选技术方案中,“根据预设的多目相机当前获取的场景图像信息构建场景地图”的步骤包括:根据预设的多目相机当前获取的所述场景图像信息按照下式所示的方法构建代价矩阵:其中,C(x,d)表示所述代价矩阵,Nb表示用以构建当前代价矩阵的图像帧数,Λ表示光度差衡量函数,dci(d)表示第ci个相机根据EPI约束获取的当前场景的深度信息;根据所述代价矩阵获取场景的深度信息,基于所述深度信息构建场景地图。在上述方法的优选技术方案中,在“根据所述代价矩阵获取场景的深度信息”的步骤之后,所述方法还包括:根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化。在上述方法的优选技术方案中,“根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化”的步骤包括:按照下式所示的方法对当前获取的场景的深度信息进行优化:其中,E(d)表示深度信息优化能量函数,wx表示所述当前场景的图像梯度的权重信息,Δd表示所述当前场景的深度信息的梯度,λ表示平衡平滑项和数据项的权重,表示平滑项,C(x,d)表示数据项。在上述方法的优选技术方案中,“基于所述场景图像信息获取所述多目相机中每个相机的位姿信息”的步骤包括:基于所述多目相机当前获取的场景图像信息构建位姿能量函数,根据所述位姿能量函数获取所述中每个相机的位姿信息。在上述方法的优选技术方案中,“基于所述多目相机当前获取的场景图像信息构建位姿能量函数,根据所述位姿能量函数获取所述中每个相机的位姿信息”的步骤包括:按照下式所述的方法获取所述每个相机的位姿信息:其中,E表示位姿能量函数,Ω表示所述多目相机当前采集的场景的图像,Cam表示所述多目相机中相机所处的坐标系,表示误差的核函数,Ir(x)表示基于历史关键帧对应的参考相机坐标系下采集的图像,r表示历史关键帧对应的参考坐标系,x表示当前场景图像的二维像素点,π(·)表示投影函数,Tr2ci表示从历史关键帧对应的参考坐标系到ci相机坐标系的转换矩阵,d表示点x在当前场景图像中对应的深度值,Ici(·)表示ci相机坐标系下采集的图像,Tr2ci=Tr2oTo2ci,To2ci表示当前相机的参考相机坐标系到ci相机坐标系的转换矩阵,Tr2o表示当前相机的位姿信息。在上述方法的优选技术方案中,在“基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置”的步骤之前,所述方法还包括:将所述场景地图中所述待显示的目标物体对应的位置与所述待显示的目标物体按照下式所示的方法进行配准:其中,E表示配准能量函数,pref表示参考三维点,Ωc表示所述场景地图的图像,nref表示点pref的法向量,Tr2t表示参考三维点的坐标系到参考相机坐标系的转换矩阵,ptar表示当前场景中的三维点。本专利技术的第二方面提供了一种控制装置,包括处理器和存储设备;所述存储设备,适于存储多条程序;所述程序适于由所述处理器加载以执行上述任一项所述的基于多目相机的增强现实方法。本专利技术的第三方面提供了一种基于多目相机的增强现实系统,包括多目相机和上述所述的控制装置。与最接近的现有技术相比,上述技术方案至少具有如下有益效果:1、本专利技术提供的基于多目相机的增强现实方法,基于预设的多目相机可以预先获取多目相机中每个相机的位姿关系,并且可以测量出每个相机的实际间隔,可以通过多目相机获取当前场景图像的实际尺度信息,简化了增强现实显示的处理流程并且加快了计算速度;2、本专利技术提供的基于多目相机的增强现实方法,通过多目相机可以获取当前场景丰富的图像信息,可以很好地应用于弱纹理的环境中,且不受环境距离的限制;3、本专利技术提供的基于多目相机的增强现实方法,可以通过多目相机获取的场景的图像信息对构建场景地图需要的深度信息进行优化,减少构建场景地图需要的计算量,进而可以实时构建场景地图。附图说明图1为本专利技术一种实施例的基于多目相机的增强现实方法的主要步骤示意图;图2为本专利技术一种实施例的多目相机的结构示意图;图3为本专利技术一种实施例的多目相机获取的场景图像以及与场景图像对应的深度图像;图4为本专利技术一种实施例的目标物体叠加在场景地图与实际物体在真实场景的示意图;图5为本专利技术方法的运行结果与PTAM方法的运行结果的比较图;图6为本专利技术基于多目相机的增强现实系统的主要结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围下面参照附图来描述本专利技术的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本专利技术的技术原理,并非旨在限制本专利技术的保护范围。参阅附图1,图1示例性的给出了本实施例中基于多目相机的增强现实方法的主要步骤。如图1所示,本实施例中基于多目相机的增强现实方法包括下述步骤:步骤S101:多目相机获取当前场景的图像信息,根据当前场景的本文档来自技高网...

【技术保护点】
1.一种基于多目相机的增强现实方法,其特征在于包括:根据预设的多目相机当前获取的场景图像信息构建场景地图;基于所述场景图像信息获取所述多目相机中每个相机的位姿信息;基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置。

【技术特征摘要】
1.一种基于多目相机的增强现实方法,其特征在于包括:根据预设的多目相机当前获取的场景图像信息构建场景地图;基于所述场景图像信息获取所述多目相机中每个相机的位姿信息;基于所述每个相机的位姿信息将待显示的目标物体叠加到所述场景地图的对应位置。2.根据权利要求1所述的基于多目相机的增强现实方法,其特征在于,“根据预设的多目相机当前获取的场景图像信息构建场景地图”的步骤包括:根据预设的多目相机当前获取的所述场景图像信息按照下式所示的方法构建代价矩阵:其中,C(x,d)表示所述代价矩阵,Nb表示用以构建当前代价矩阵的图像帧数,Λ表示光度差衡量函数,dci(d)表示第ci个相机根据EPI约束获取的当前场景的深度信息;根据所述代价矩阵获取场景的深度信息,基于所述深度信息构建场景地图。3.根据权利要求2所述的基于多目相机的增强现实方法,其特征在于,在“根据所述代价矩阵获取场景的深度信息”的步骤之后,所述方法还包括:根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化。4.根据权利要求3所述的基于多目相机的增强现实方法,其特征在于,“根据所述多目相机当前获取的所述场景的图像信息以及预先构建的深度信息优化能量函数对当前获取的场景的深度信息进行优化”的步骤包括:按照下式所示的方法对当前获取的场景的深度信息进行优化:其中,E(d)表示深度信息优化能量函数,wx表示所述当前场景的图像梯度的权重信息,Δd表示所述当前场景的深度信息的梯度,λ表示平衡平滑项和数据项的权重,表示平滑项,C(x,d)表示数据项。5.根据权利要求1所述的基于多目相机的增强现实方法,其特征在于,“基于所述场景图像信息获取所述多目相机中每个相机的位姿信息”的步骤包括:基于所述多目相机当前获取的场景图像信息构建位姿能量函数,根据所述位姿能...

【专利技术属性】
技术研发人员:孟祥冰张梅张赵行王蓉
申请(专利权)人:中国科学院自动化研究所青岛智能产业技术研究院
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1