相机辅助的地图和导航的方法和系统技术方案

本发明专利技术公开涉及相机辅助的地图和导航的方法和系统。本公开提供了一种用于在设施中导航时使用的计算机实现的方法和计算机系统。例如，该计算机实现的方法包括：从相机接收至少一个图像；由处理器基于该至少一个图像和设施的模型数据来估计相机在设施中的当前位置；由处理器使用设施的模型数据生成从相机的当前位置到设施中的目的地位置的虚拟路径；以及根据虚拟路径生成并输出到目的地位置的导航信息。

【技术实现步骤摘要】
相机辅助的地图和导航的方法和系统
本主题公开一般而言涉及相机辅助的地图和导航，并且具体而言涉及用于在设施中导航时使用的方法和系统。
技术介绍
通常，人们发现难以在设施内部导航，因此需要特殊的帮助。例如，旅行者需要地图、标示牌、客户服务、其它同伴旅行者、室内地图等的帮助。当前的基础设施和已知系统尚未解决这些问题。用于室内引导的已知系统使用全球定位系统(GPS)和其它技术(诸如蓝牙、红外、Wi-Fi、RFID等)的组合，以向用户提供详细且准确的位置信息。例如，在US9539164B2中公开了这类系统的代表。但是，由于需要附加硬件来提供位置信息，因此此类系统是不切实际的。此外，设施中无法访问GPS服务，因为它是基于卫星的，并且GPS服务需要在卫星的视线内。本公开解决了这些缺点，并提出了一种用于在设施中导航时使用的方法和系统，其不需要使用附加的硬件，并且也不依赖于GPS服务的可访问性。
技术实现思路
本主题公开的第一方面提供了一种用于在设施中导航时使用的计算机实现的方法，包括：从相机接收至少一个图像；由处理器基于该至少一个图像和设施的模型数据来估计相机在设施中的当前位置；由处理器使用设施的模型数据生成从相机的当前位置到设施中的目的地位置的虚拟路径；以及根据虚拟路径生成并输出到目的地位置的导航信息。在一些示例中，设施的模型数据包括多个图像的图像数据，每个图像的图像数据包括与从其获取图像的设施中的位置对应的位置信息；与图像中的设施的对象对应的对象信息；与对象和位置之间的距离对应的距离信息；指定从图像的一个对象导航到另一个对象的距离和相对方向作为第一关系的第一关系信息；以及指定从从其获取图像的位置导航到从其获取另一个图像的位置的距离和相对方向作为第二关系的第二关系信息。在一些示例中，估计当前位置包括：由处理器将至少一个图像划分为一个或多个图像块；由处理器在一个或多个图像块中基于来自设施的模型数据的对象信息，检测与设施的对象对应的对象候选；由处理器基于来自设施的模型数据的对应对象的对象信息和距离信息，确定到检测到的对象候选的距离值；由处理器基于距离值确定对象候选之间的距离；以及由处理器基于来自设施的模型数据的位置信息和到检测到的对象候选的距离值，估计相机的当前位置。在一些示例中，估计当前位置还包括：由处理器基于距离值和距离相对于图像的对象候选执行对象分类，以检测设施的对象。在一些示例中，该计算机实现的方法还包括：经由输入设备接收关于相机将被导航到的设施中的目的地对象的信息；由处理器在模型数据中搜索图像的至少一个图像块，设施的模型数据中的对象信息与关于目的地对象的信息对应；由处理器基于包括目的地对象的图像的图像数据，将目的地对象的位置估计为目的地位置。在一些示例中，生成虚拟路径包括：由处理器基于设施的模型数据中的第一关系信息和第二关系信息，确定图像的图像块中的对象候选与目的地对象之间的关系；以及由处理器基于确定的关系导出虚拟路径。在一些示例中，输出导航信息包括在显示器上显示至少一个图像和导航信息。在一些示例中，计算机实现的方法还包括由处理器生成设施的模型数据。所述生成包括：由相机从设施内的多个位置获取一个或多个图像。所述生成还包括以下步骤：对于多个图像中的每个图像，由处理器基于由相机提供的图像和图像信息来确定深度信息；由处理器基于从其获取图像的位置生成位置信息；由处理器将图像划分为一个或多个图像块；由处理器检测一个或多个图像块中的设施的对象，并生成定义检测到的对象的特征的对象信息，该对象信息包括指示图像的图像块的信息；由处理器使用深度信息确定一个或多个图像块中检测到的对象与位置之间的距离，并生成与图像块中检测到的对象对应的距离信息；由处理器计算一个或多个图像块中检测到的对象之间的距离和描述如何从第一图像块中的一个对象导航到第二图像块中的另一个对象的相对方向，并基于该距离和相对方向生成第一关系信息，第一关系信息包括指示图像的第一图像块和第二图像块的信息；由处理器基于该图像和另一个图像的位置信息确定从其获取图像的位置和从其获取另一个图像的另一个位置之间的距离以及描述如何从该位置导航到另一个位置的相对方向，并基于该距离和相对方向生成第二关系信息，第二关系信息包括指示图像和另一个图像的信息；以及由处理器生成图像的图像数据，包括位置信息、对象信息、第一关系信息和第二关系信息。在一些示例中，该计算机实现的方法还包括：由处理器存储至少一个图像；以及由处理器使用至少一个图像和设施的模型数据执行机器学习操作，以生成设施的更新模型数据。本公开的第二方面提供了一种用于在设施中导航时使用的计算系统，包括：处理器；相机设备；以及处理器可访问的至少一个存储器设备。该存储器设备包含程序指令的主体，该程序指令的主体在由处理器执行时使计算系统实现一种方法，包括：从相机接收至少一个图像；基于该至少一个图像和设施的模型数据来估计相机在设施中的当前位置；使用设施的模型数据生成从相机的当前位置到设施中的目的地位置的虚拟路径；以及根据虚拟路径生成并输出到目的地位置的导航信息。在一些示例中，该系统还被布置为执行根据本公开的第一方面的示例的方法。根据第三方面，提供了一种计算机程序产品。该计算机程序产品包括指令，该指令在由计算机执行时使计算机执行根据第一方面及其示例的方法。上述方面和示例给出了简化的
技术实现思路
，以便提供对本文讨论的方法和计算系统的一些方面的基本理解。该
技术实现思路
不是本文讨论的方法和计算系统的广泛概述。它并不旨在识别关键/重要元素或描绘此类方法和计算系统的范围。其唯一目的是以简化的形式给出一些概念，作为稍后给出的更详细描述的前序。附图说明附图图示了本主题公开的各种示例，并且与上文给出的一般描述以及下文给出的示例的详细描述一起用于解释本主题公开的示例。在附图中，在各个视图中，相同的参考标号用于指示相同的部分。图1描绘了图示用于在设施中导航时使用的计算系统的一般组件的概述。图2描绘了结合图1的计算系统的示例性系统。图3描绘了根据一个示例的用于在设施中导航时使用的方法。图4A描绘了根据图3的方法的方框330来估计相机的当前位置的示例。图4B描绘了根据图3的方法的方框340来生成虚拟路径的示例。图4C描绘了根据图3的方法的方框310来生成模型数据的示例。图5描绘了将图像划分为一个或多个图像块的示例。图6A描绘了在图3的方法的方框320处从相机接收到的示例性图像。图6B描绘了划分为图像块的图6A的示例性图像。图6C描绘了具有检测到的对象候选的图6A的示例性图像的图像块。图6D描绘了在图6A的示例性图像的图像块中到对象候选的距离值的检测。图6E描绘了图6A的示例性图像的图像块中的对象候选的分类。图6F描绘了导出图6A的示例性图像的图像块中的对象之间的关系。图6G描绘了具有标记为适合于路径的图像块的图6A的示例性图像。图6H描绘了具有标记为虚拟路径本文档来自技高网...

【技术保护点】
1.一种用于在设施中导航时使用的计算机实现的方法，包括：/n-从相机接收至少一个图像；/n-由处理器基于所述至少一个图像和设施的模型数据来估计相机在设施中的当前位置；/n-由所述处理器使用设施的模型数据生成从相机的当前位置到设施中的目的地位置的虚拟路径；以及/n-根据所述虚拟路径生成并输出到所述目的地位置的导航信息。/n

【技术特征摘要】
20200214 FR 20014651.一种用于在设施中导航时使用的计算机实现的方法，包括：
-从相机接收至少一个图像；
-由处理器基于所述至少一个图像和设施的模型数据来估计相机在设施中的当前位置；
-由所述处理器使用设施的模型数据生成从相机的当前位置到设施中的目的地位置的虚拟路径；以及
-根据所述虚拟路径生成并输出到所述目的地位置的导航信息。


2.如权利要求1所述的计算机实现的方法，其中设施的模型数据包括多个图像的图像数据，每个图像的图像数据包括与从其获取图像的设施中的位置对应的位置信息；与图像中的设施的对象对应的对象信息；与所述对象和所述位置之间的距离对应的距离信息；指定从图像的一个对象导航到另一个对象的距离和相对方向作为第一关系的第一关系信息；以及指定从从其获取图像的位置导航到从其获取另一个图像的位置的距离和相对方向作为第二关系的第二关系信息。


3.如权利要求2所述的计算机实现的方法，其中估计当前位置包括：
-由所述处理器将所述至少一个图像划分为一个或多个图像块；
-由所述处理器在所述一个或多个图像块中基于来自设施的模型数据的对象信息，检测与设施的对象对应的对象候选；
-由所述处理器基于来自设施的模型数据的对应对象的对象信息和距离信息，确定到检测到的对象候选的距离值；
-由所述处理器基于距离值确定对象候选之间的距离；以及
-由所述处理器基于来自设施的模型数据的位置信息和到检测到的对象候选的距离值，估计相机的当前位置。


4.如权利要求3所述的计算机实现的方法，其中估计当前位置还包括：
-由所述处理器基于距离值和所述距离相对于图像的对象候选执行对象分类，以检测设施的对象。


5.如权利要求3和4中的任一项所述的计算机实现的方法，还包括：
-经由输入设备接收关于相机将被导航到的设施中的目的地对象的信息；
-由所述处理器在模型数据中搜索图像的至少一个图像块，设施的模型数据中的对象信息与关于目的地对象的信息对应；
-由所述处理器基于包括目的地对象的图像的图像数据，将目的地对象的位置估计为目的地位置。


6.如权利要求3至5中的任一项所述的计算机实现的方法，其中生成虚拟路径包括：
-由所述处理器基于设施的模型数据中的第一关系信息和第二关系信息，确定图像的图像块中的对象候选与目的地对象之间的关系；以及
-由所述处理器基于确定的关系导出虚拟路径。


7.如权利要求1至6中的任一项所述的计算机实现的方...

【专利技术属性】
技术研发人员：S·帕里达，R·K·萨斯德哈润，R·鲁德莱什，
申请(专利权)人：艾玛迪斯简易股份公司，
类型：发明
国别省市：法国;FR