视觉地图更新方法、装置、电子设备及介质制造方法及图纸

本公开提供了一种在增强现实场景中更新视觉地图的方法、装置、电子设备及介质，涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、增强现实等技术领域。实现方案为：确定移动终端在第一场景中拍摄的多个参考图像，其中，第一场景具有对应的视觉地图；响应于确定多个参考图像中的至少一个参考图像与视觉地图不匹配，确定移动终端在拍摄至少一个参考图像时的位姿信息；以及至少基于至少一个参考图像和至少一个参考图像所对应的位姿信息，更新视觉地图。地图。地图。

【技术实现步骤摘要】
视觉地图更新方法、装置、电子设备及介质


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、图像处理、增强现实等
，具体涉及一种基于增强现实的视觉地图更新方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术的发展，增强现实(Augmented Reality，AR)技术在影视、游戏、地图等诸多领域得到了广泛的应用。通过增强现实技术，真实世界信息和虚拟世界信息相互交融，从而实现超越现实的感官体验。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]本公开提供了一种在增强现实场景中更新视觉地图的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0005]根据本公开的一方面，提供了一种基于增强现实的视觉地图更新方法，包括：确定移动终端在第一场景中拍摄的多个参考图像，其中，第一场景具有对应的视觉地图；响应于确定多个参考图像中的至少一个参考图像与视觉地图不匹配，确定移动终端在拍摄至少一个参考图像时的位姿信息；以及至少基于至少一个参考图像和至少一个参考图像所对应的位姿信息，更新视觉地图。
[0006]根据本公开的另一方面，提供了一种基于增强现实的视觉地图更新装置，包括：第一确定单元，被配置用于确定移动终端在第一场景中拍摄的多个参考图像，其中，第一场景具有对应的视觉地图；第二确定单元，被配置用于响应于确定多个参考图像中的至少一个参考图像与视觉地图不匹配，确定移动终端在拍摄至少一个参考图像时的位姿信息；以及更新单元，被配置用于至少基于至少一个参考图像和至少一个参考图像所对应的位姿信息，更新视觉地图。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述的方法。
[0010]根据本公开的一个或多个实施例，能够提升视觉地图的更新效率。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0013]图1示出了在室内场景中进行AR导航的示意图；
[0014]图2示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0015]图3示出了根据本公开的实施例的基于增强现实的视觉地图更新方法的流程图；
[0016]图4示出了根据本公开示例性实施例的一种通过惯性测量系统确定移动终端的位姿信息的示意图；
[0017]图5示出了根据本公开示例性实施例的基于增强现实的视觉地图更新装置的结构框图；以及
[0018]图6示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0021]在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0022]当前借助于增强现实(Augmented Reality，AR)技术的AR导航已经得到了广泛地应用。尤其在室内场景中，由于卫星信号的衰减，卫星导航定位难以实现，基于视觉定位的AR导航的优势尤其凸显。
[0023]在AR导航中，预先通过人工采集而获取场景中的多个场景图片，利用多个场景图片构建该场景所对应的视觉地图。视觉地图中包括该场景中的多个可以用于定位的物点以及这多个物点中的每一个物点在世界坐标系中的三维坐标。
[0024]用户在输入目的地后，通过移动终端在场景中拍摄参考图像。利用参考图像中的特征点与视觉地图中的物点之间的对应关系，可以确定终端设备在拍摄该参考图像时的位姿信息，例如，6DoF位姿，实现对用户的视觉定位。其中，该位姿信息不仅包括移动终端在世界坐标系下的三维位置坐标，还包括移动终端在世界坐标系下的三维空间朝向。如此，就可
以根据目的地和用户定位来规划路线，并将用于导航的标识符添加在参考图像中，指示用户通往目的地的线路。
[0025]例如，如图1所示为用户在室内场景中进行AR导航的示意图。用户在输入目的地后，通过手机在室内场景中拍摄参考图像，基于参考图像中的特征点与视觉地图的物点的对应关系实现对用户的视觉定位，即确定终端设备在拍摄该参考图像时的位姿信息，进而规划出从用户当前位置到目的地的行动线路，通过在参考图像上的电梯处显示向上的箭头，引导用户通过电梯上楼以抵达目的地。
[0026]然而，由于施工或者其他原因可能导致场景中的局部区域发生变化，如果用户在该区域拍摄参考图像，将无法定位或者解算出错误的定位结果。只有及时更新场景所对应的视觉地图，保证视觉地图与当前场景的一致性，才能够使用户成功实现AR导航。
[0027]相关技术中，在用户无法正常执行AR导航时，会通过人工采集的方式重新在该场景中采集场景图片，用以构建新的视觉地图。这种方式不但会耗费额外的人工成本，而且会导致地图的更新速度严重滞后于场景的变化速度。换言之，每当场景中的局部区域发生变化，必须等待人工重新采集场景图片，再重新生成视觉地图后，才能够恢复正常AR导航。在此之前，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的视觉地图更新方法，包括：确定移动终端在第一场景中拍摄的多个参考图像，其中，所述第一场景具有对应的视觉地图；响应于确定所述多个参考图像中的至少一个参考图像与所述视觉地图不匹配，确定所述移动终端在拍摄所述至少一个参考图像时的位姿信息；以及至少基于所述至少一个参考图像和所述至少一个参考图像所对应的位姿信息，更新所述视觉地图。2.根据权利要求1所述的方法，其中，所述移动终端包括惯性测量系统，并且所述移动终端在拍摄所述至少一个参考图像时的位姿信息通过所述惯性测量系统而得到。3.根据权利要求2所述的方法，其中，所述确定移动终端在第一场景中拍摄的多个参考图像包括：接收所述移动终端在第一场景中拍摄的多个候选图像，以及所述移动终端在拍摄所述多个候选图像的过程中的运动信息，其中，所述运动信息为通过所述惯性测量系统而得到；以及响应于确定所述运动信息指示所述移动终端处于运动状态，将所述多个候选图像确定为所述多个参考图像。4.根据权利要求3所述的方法，其中，所述运动信息包括位移信息和旋转信息中的至少一者。5.根据权利要求1至4中任一项所述的方法，其中，所述确定移动终端在第一场景中拍摄的多个参考图像还包括：接收所述移动终端在第一场景中拍摄的多个候选图像，以及所述移动终端在拍摄所述多个候选图像的过程中与地面的夹角信息；以及响应于确定所述夹角信息指示所述移动终端在拍摄所述多个候选图像的过程中与地面的夹角均大于第一预设阈值，将所述多个候选图像确定为所述多个参考图像。6.根据权利要求1至5中任一项所述的方法，其中，所述至少一个参考图像为所述移动终端连续拍摄得到的两个以上的参考图像，所述方法还包括：在确定所述移动终端在拍摄所述至少一个参考图像时的位姿信息之前，通过以下操作确定所述至少一个参考图像与所述视觉地图是否匹配：确定所述至少一个参考图像中的每一者与所述视觉地图的匹配度；以及响应于在所述至少一个参考图像中，匹配度满足预设条件的参考图像的占比小于第二预设阈值，确定所述至少一个参考图像与所述视觉地图不匹配。7.根据权利要求6所述的方法，其中，所述匹配度满足预设条件包括所述匹配度大于第三预设阈值。8.根据权利要求6或7所述的方法，其中，所述视觉地图基于在所述第一场景中预先采集的多个场景图片而构建，并且其中，所述确定所述至少一个参考图像中的每一者与所述视觉地图的匹配度包括：针对所述至少一个参考图像中的每一者，确定该参考图像与所述多个场景图片中最相似的第一数量的场景图片中的每一者的相似度；以及将该参考图像与所述第一数量的场景图片中的每一者的相似度的均值确定为该参考
图像与所述视觉地图的匹配度。9.根据权利要求8所述的方法，其中，所述确定该参考图像与所述多个场景图片中最相似的第一数量的场景图片中的每一者的相似度包括：提取所述参考图像的特征信息和所述第一数量的场景图片中的每一者的特征信息；以及基于所述参考图像的特征信息和所述第一数量的场景图片中的每一者的特征信息，确定该参考图像与所述第一数量的场景图片中的每一者的相似度。10.根据权利要求1至9中的任一项所述的方法，其中，所述至少基于所述至少一个参考图像和所述至少一个参考图像所对应的位姿信息，更新所述视觉地图包括：针对所述至少一个参考图像中的第一参考图像，响应于确定所述第一参考图像中的第一特征点与所述多个参考图像中除所述第一参考图像之外的第二参考图像中的第二特征点两者来自于所述第一场景中的同一物点，基于所述第一特征点在所述第一参考图像中的坐标、所述第二特征点在所述第二参考图像中的坐标、所述第一参考图像所对应的位姿信息，以及所述第二参考图像所对应的位姿信息，更新所述视觉地图。11.根据权利要求10所述的方法，其中，所述基于所述第一特征点在所述第一参考图像中的坐标、所述第二特征点在所述第二参考图像中的坐标、所述第一参考图像所对应的位姿信息，以及所述第二参考图像所对应的位姿信息，更新所述视觉地图包括：基于所述第一特征点在所述第一参考图像中的坐标、所述第二特征点在所述第二参考图像中的坐标、所述第一参考图像所对应的位姿信息，以及所述第二参考图像所对应的位姿信息，确定所述第一特征点和所述第二特征点两者所对应的物点在世界坐标系中的坐标；以及基于所述物点在世界坐标系中的坐标，更新所述视觉地...

【专利技术属性】
技术研发人员：王星博，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：