用于确定物体尺寸的导航系统和方法技术方案

提供了用于车辆导航的系统和方法。在一种实施中，主控交通工具的导航系统可包括至少一个处理器。处理器可被编程为从主控交通工具上的相机接收表示主控交通工具的环境的多个捕获图像。处理器可以向目标物体分析模块提供多个被捕获图像中的每一个，该目标对象分析模块包括至少一个被训练的模型，该被训练的模型被配置为针对多个被捕获图像中的每一个生成输出。处理器可以从目标物体分析模块接收生成的输出。处理器可以进一步基于目标物体分析模块生成的输出来确定主控交通工具将采取的至少一个导航动作。处理器可以导致主控交通工具采取至少一种导航动作。取至少一种导航动作。取至少一种导航动作。

【技术实现步骤摘要】
【国外来华专利技术】用于确定物体尺寸的导航系统和方法
相关申请的交叉引用
[0001]本申请要求于2020年1月3日提交的美国临时申请第62/956979号的优先权。上述申请通过引用整体并入本文。

技术介绍


[0002]本公开一般涉及自主交通工具导航。
技术介绍

[0003]随着技术继续进步，能够在道路上导航的完全自主交通工具的目标即将实现。自主交通工具可能需要考虑各种因素，并且基于这些因素做出适当的决定，以安全地并且准确地到达预期目的地。例如，自主交通工具可能需要处理和解释视觉信息(例如，从相机捕获的信息)，并且还可能使用从其他来源(例如，从GPS设备、速度传感器、加速计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主交通工具可能还需要标识其在特定道路内的位置(例如，多车道道路内的特定车道)，在其他交通工具旁边导航，避开障碍物和行人，观察交通信号和标志，以及在适当的交叉口或立体交叉道路处从一条道路行驶到另一条道路。对在自主交通工具向其目的地行驶时由该交通工具收集的大量信息进行利用和解释造成了许多设计挑战。自主交通工具可能需要分析、访问和/或存储的绝对数量数据(例如，捕获的图像数据、地图数据、GPS数据、传感器数据等)造成了事实上可能会限制甚至不利地影响自主导航的挑战。此外，如果自主交通工具依靠传统的地图技术进行导航，那么存储和更新地图所需要的绝对数据量就造成了令人生畏的挑战。

技术实现思路

[0004]与本公开一致的实施例提供了用于自主交通工具导航的系统和方法。所公开的实施例可以使用相机来提供自主交通工具导航特征。例如，与所公开的实施例一致，所公开的系统可以包括监视交通工具环境的一个、两个或更多个相机。所公开的系统可以基于，例如，由一个或多个相机捕获的图像的分析来提供导航响应。
[0005]在一个实施例中，主控交通工具的导航系统可以包括至少一个处理器。处理器可被编程为从主控交通工具上的相机接收表示主控交通工具的环境的多个被捕获的图像。处理器可以进一步被编程为向目标物体分析模块提供多个被捕获的图像中的每一个，目标物体分析模块包括至少一个被训练模型，该被训练模型被配置为针对多个被捕获的图像的每一个生成输出，其中，对于多个被捕获的图像的每一个的生成的输出包括目标物体相对于主控交通工具的位置的至少一个指示。处理器可以进一步被编程为从目标物体分析模块接收生成的输出，包括目标物体相对于主交通工具的位置的指示。处理器之后可以基于目标物体相对于主控交通工具的位置的指示来确定主控交通工具要采取的至少一个导航动作；并导致该至少一个导航动作被主控交通工具采取。
[0006]在一个实施例中，用于交通工具导航的方法可以包括从主控交通工具上的相机接收表示主控交通工具的环境的多个被捕获的图像；将该多个被捕获的图像的每一个提供给目标物体分析模块，该目标物体分析模块包括至少一个被训练的模型，该被训练的模型被配置为针对多个被捕获的图像的每一个生成输出，其中，为多个被捕获的图像的每一个生成的输出包括目标物体相对于主控交通工具的位置的至少一个指示；从目标物体分析模块接收生成的输出，包括目标物体相对于主控交通工具的位置的指示；基于目标物体相对于主控交通工具的位置的指示，确定要被主控交通工具采取的至少一个导航动作；以及使得该至少一个导航动作被交通工具采取。
[0007]与其他公开的实施例相一致的，非瞬态计算机可读存储介质可以存储程序指令，该程序指令由至少一个处理设备执行，并执行本文描述的方法的任何一个。
[0008]上述一般说明和以下详细说明仅为示例性和解释性的，并且不是权利要求的限制。
附图说明
[0009]并入本公开并构成本公开一部分的所附附图示出了各种公开的实施例。在附图中：
[0010]图1是符合所公开的实施例的示例性系统的图解表示。
[0011]图2A是包括符合所公开的实施例的系统的示例性交通工具的图解侧视图表示；
[0012]图2B是符合所公开的实施例的图2A中所示的交通工具和系统的图解俯视图表示；
[0013]图2C是包括符合所公开的实施例的系统的交通工具的另一实施例的图解俯视图表示；
[0014]图2D是包括符合所公开的实施例的系统的交通工具的又一实施例的图解俯视图表示；
[0015]图2E是包括符合所公开的实施例的系统的交通工具的又一实施例的图解俯视图表示；
[0016]图2F是符合所公开的实施例的示例性交通工具控制系统的图解表示。
[0017]图3A是符合所公开的实施例的包括后视镜和用于交通工具成像系统的用户接口的交通工具的内部的图解表示；
[0018]图3B是符合所公开的实施例的被配置为定位在后视镜后面并紧靠交通工具挡风玻璃的相机支架示例的图示。
[0019]图3C是符合所公开的实施例的图3B中所示的相机支架从不同角度的图示。
[0020]图3D是符合所公开的实施例的被配置为定位在后视镜后面并紧靠交通工具挡风玻璃的相机支架示例的图示。
[0021]图4是符合所公开的实施例的被配置为存储用于执行一个或多个操作的指令的存储器的示例性框图。
[0022]图5A是示出了符合所公开的实施例的基于单目图像产生一个或多个导航响应的过程的流程图。
[0023]图5B是示出了符合所公开的实施例的用于在一组图像中检测一个或多个交通工具和/或行人的示例性过程的流程图。
[0024]图5C是示出了符合所公开的实施例的用于检测一组图像中的道路标记和/或车道几何形状信息的示例性过程的流程图。
[0025]图5D是示出了符合所公开的实施例的用于在一组图像中检测交通信号灯的示例性过程的流程图。
[0026]图5E是示出了符合所公开的实施例的用于基于交通工具路径导致一个或多个导航响应的示例性过程的流程图。
[0027]图5F是示出了符合所公开的实施例的用于确定在前的交通工具是否正在改变车道的示例性过程的流程图。
[0028]图6是示出了符合所公开的实施例的用于基于立体图像分析导致一个或多个导航响应的示例性过程的流程图。
[0029]图7是示出了符合所公开的实施例的用于基于三组图像的分析来导致一个或多个导航响应的示例性过程的流程图。
[0030]图8示出了符合所公开的实施例的用于提供自主交通工具导航的稀疏地图。
[0031]图9A示出了符合所公开的实施例的路段的部分的多项式表示。
[0032]图9B示出了符合所公开的实施例的表示稀疏地图中所包括的特定路段的交通工具的目标轨迹的三维曲线图。
[0033]图10示出了符合所公开的实施例的可能包括在稀疏地图中的示例地标。
[0034]图11A示出了符合所公开的实施例的轨迹的多项式表示。
[0035]图11B和11C示出了符合所公开的实施例的沿多车道道路的目标轨迹。
[0036]图11D示出了符合所公开的实施例的示例的道路标志概况。
[0037]图12是符合所公开的实施例的使用从多个交通本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于主控交通工具的导航系统，所述系统包括：至少一个处理器，所述至少一个处理器被编程为：从所述主控交通工具上的相机接收表示所述主控交通工具的环境的多个被捕获的图像；将所述多个被捕获的图像中的每一个提供给目标物体分析模块，所述目标物体分析模块包括至少一个被训练的模型，所述被训练的模型被配置为针对所述多个被捕获的图像中的每一个生成输出，其中，所述多个被捕获的图像中的每一个的所生成的输出至少包括所述目标物体相对于所述主控交通工具的位置的指示；从所述目标物体分析模块接收所生成的输出，包括所述目标物体相对于所述主控交通工具的所述位置的所述指示；基于所述目标物体相对于所述主控交通工具的所述位置的所述指示，确定所述主控交通工具将采取的至少一个导航动作；以及导致所述至少一个导航动作被所述主控交通工具采取。2.如权利要求1所述的导航系统，其中所述目标物体相对于所述主控交通工具的所述位置的所述指示包括与所述主控交通工具相关联的参考点和与所述目标物体相关联的目标点之间的距离。3.如权利要求2所述的导航系统，其中与所述主控交通工具相关联的所述参考点包括与所述主控交通工具的所述相机相关联的位置。4.如权利要求2所述的导航系统，其中所述目标点包括所述目标物体最靠近与所述主控交通工具相关联的所述参考点的部分的位置，所述目标物体被表示在所述多个被捕获的图像中的一个中。5.如权利要求1所述的导航系统，其中所述至少一个处理器进一步被编程为基于所生成的输出中的两个或更多个以及进一步基于来自与所述主控交通工具相关联的至少一个自我运动传感器的接收到的输出来确定所述目标物体的速度。6.如权利要求5所述的导航系统，其中所述自我运动传感器包括速度计、加速计或GPS接收机中的至少一个。7.如权利要求1所述的导航系统，其中所述至少一个被训练的模型被配置为基于训练数据分析所述多个被捕获的图像中的每一个，所述训练数据包括先前被捕获的图像或先前被获取的LIDAR深度信息中的一个或多个。8.如权利要求7所述的导航系统，其中所述至少一个被训练的模型包括神经网络。9.如权利要求7所述的导航系统，其中所述训练数据包括在所述先前被捕获的图像中表示的多个参考物体的位置信息。10.如权利要求1所述的导航系统，其中所述目标物体分析模块被配置为针对所述多个被捕获的图像中的特定一个输出所述目标物体相对于所述主控交通工具的所述位置的所述指示，其中所述目标物体的至少一个表面在所述多个被捕获的图像中的特定一个中被至少部分地遮掩。11.如权利要求10所述的导航系统，其中所述目标物体是所述主控交通工具的环境中的目标交通工具，并且所述至少一个表面与所述目标交通工具的后部相关联。12.如权利要求1所述的导航系统，其中，所述目标物体分析模块被配置为针对所述多
个被捕获的图像中的特定一个输出所述目标物体相对于所述主控交通工具的所述位置的所述指示，其中所述目标物体的至少两个表面在所述多个被捕获的图像中的特定一个中被至少部分地遮掩。13.如权利要求12所述的导航系统，其中所述目标物体是所述主控交通工具的环境中的目标交通工具，并且所述至少两个表面与所述目标交通工具的后部以及所述目标交通工具的一侧相关联。14.如权利要求1所述的导航系统，其中所述目标物体包括位于所述主控交通工具的环境中的交通工具。15.如权利要求1所述的导航系统，其中所述目标物体包括行人。16.如权利要求1所述的导航系统，其中所述目标物体包括道路表面上的静态物体。17.如权利要求1所述的导航系统，其中所述多个被捕获的图像中的每一个包括所述目标物体的至少部分的表示。18.如权利要求1所述的导航系统，其中所述至少一个处理器进一步被编程为从所述目标物体分析模块接收指示所述目标物体的类型的信息。19.如权利要求18所述的导航系统，其中所述目标物体的所述类型指示交通工具或交通工具等级大小中的至少一个。20.如权利要求18所述的导航系统，其中所述目标物体的所述类型指示行人。21.如权利要求18所述的导航系统，其中所述目标物体的所述类型指示所述主控交通工具的环境中的道路中的障碍物。22.如权利要求1所述的导航系统，其中所述多个被捕获的图像中的一个或多个包括至少部分遮蔽所述目标物体的遮挡。23.如权利要求22所述的导航系统，其中所述遮挡包括另一交通工具的表示。24.如权利要求22所述的导航系统，其中所述遮挡包括标志的表示。25.如权利要求22所述的导航系统，其中所述遮挡包括行人的表示。26.如权利要求22所述的导航系统，其中所述遮挡是由于所述目标物体的至少部分延伸到与所述多个被捕获的图像中的...

【专利技术属性】
技术研发人员：Y，
申请(专利权)人：移动眼视觉科技有限公司，
类型：发明
国别省市：