关于行人和确定交通工具自由空间的交通工具导航制造技术

针对交通工具导航提供了系统和方法。在一个实现中，一种用于主交通工具的导航系统可以包括至少一个处理器，所述至少一个处理器被编程为：从所述主交通工具上的摄像机接收表示所述交通工具的环境的至少一个所捕获图像；检测在所述至少一个所捕获图像中表示的行人；分析所述至少一个所捕获图像以确定与在所述至少一个所捕获图像中表示的所述行人的头部相关联的角旋转指示符和倾斜角指示符；以及基于与行人的所述头部相关联的所述角旋转指示符和所述倾斜角指示符来引起所述主交通工具的至少一个导航动作。少一个导航动作。少一个导航动作。

【技术实现步骤摘要】
【国外来华专利技术】关于行人和确定交通工具自由空间的交通工具导航
[0001]相关申请的交叉引用本申请要求美国临时申请No. 62/956,964（于2020年1月3日提交）；美国临时申请No. 62/956,970（于2020年1月3日提交）；美国临时申请No. 62/957,014（于2020年1月3日提交）；以及美国临时申请No. 62/957,524（于2020年1月6日提交）的优先权的权益。前述申请通过引用以其整体而被结合在本文中。


[0002]本公开一般涉及自主交通工具导航。

技术介绍

[0003]随着技术不断进步，能够在道路上导航的全自主交通工具的目标即将实现。自主交通工具可能需要考虑多种因素，并且基于那些因素做出适当判定，以安全且准确地到达预计目的地。例如，自主交通工具可能需要处理和解释视觉信息（例如从摄像机所捕获的信息），并且还可能使用从其它来源（例如从GPS装置、速度传感器、加速计、悬架传感器等）所获得的信息。同时，为了导航到目的地，自主交通工具还可能需要标识它在特定道路内的位置（例如多车道道路内的特定车道），与其它交通工具并排导航，避开障碍物和行人，观察交通信号和标志，并且在适当十字路口或立交桥从一个道路行驶到另一个道路。利用和解释由自主交通工具在交通工具行驶到其目的地时所收集的大量信息造成许多设计挑战。自主交通工具可能需要分析、访问和/或存储的大量数据（例如所捕获的图像数据、地图数据、GPS数据、传感器数据等）造成实际上可能限制或者甚至不利地影响自主导航的挑战。此外，如果自主交通工具依靠传统绘图技术进行导航，则存储和更新地图所需的大量数据造成巨大挑战。

技术实现思路

[0004]根据本公开的实施例提供了用于自主交通工具导航的系统和方法。所公开的实施例可以使用摄像机来提供自主交通工具导航特征。例如，根据所公开的实施例，所公开的系统可以包括监测交通工具的环境的一个、两个或更多个摄像机。所公开的系统可以基于例如对由摄像机中的一个或多个摄像机所捕获的图像的分析来提供导航响应。
[0005]在一个实施例中，一种用于主交通工具的导航系统可以包括至少一个处理器。所述至少一个处理器可被编程为从所述主交通工具上的摄像机接收所捕获图像，所述所捕获图像包括所述主交通工具的环境中的被遮蔽的行人的表示。所述所捕获图像可能缺少所述被遮蔽的行人接触地表面的区域的表示。所述至少一个处理器还可被编程为将所述所捕获图像提供给分析模块，所述分析模块被配置成针对所述所捕获图像来生成输出。所生成的输出包括所述被遮蔽的行人与所述地表面的接触位置的指示符。所述至少一个处理器还可被编程为从所述分析模块接收所生成的输出，包括所述被遮蔽的行人与所述地表面的所述接触位置的所述指示符。所述至少一个处理器还可被编程为基于所述被遮蔽的行人与所述
地表面的所述接触位置的所述指示符来引起所述主交通工具的至少一个导航动作。
[0006]在一个实施例中，一种用于主交通工具的导航系统可以包括至少一个处理器。所述至少一个处理器可被编程为从所述主交通工具上的摄像机接收表示所述交通工具的环境的至少一个所捕获图像。所述至少一个处理器还可被编程为检测在所述至少一个所捕获图像中表示的行人。所述至少一个处理器还可被编程为分析所述至少一个所捕获图像以确定与在所述至少一个所捕获图像中表示的所述行人的头部相关联的角旋转指示符和倾斜角指示符。所述至少一个处理器还可被编程为基于与行人的所述头部相关联的所述角旋转指示符和所述倾斜角指示符来引起所述主交通工具的至少一个导航动作。
[0007]在一个实施例中，一种用于导航主交通工具的方法可以包括：从所述主交通工具上的摄像机接收表示所述交通工具的环境的至少一个所捕获图像；检测在所述至少一个所捕获图像中表示的行人；分析所述至少一个所捕获图像以确定与在所述至少一个所捕获图像中表示的所述行人的头部相关联的角旋转指示符和倾斜角指示符；以及基于与行人的所述头部相关联的所述角旋转指示符和所述倾斜角指示符来引起所述主交通工具的至少一个导航动作。
[0008]在一个实施例中，公开了一种用于相对于主交通工具来检测自由空间并用于相对于检测到的自由空间来导航所述主交通工具的系统。所述系统可以包括至少一个处理器。所述至少一个处理器可被编程为从与所述主交通工具相关联的一个或多个摄像机接收多个图像。所述多个图像可表示在所述主交通工具的前方、后方、和侧面的区域。所述至少一个处理器还可被编程为使所述多个图像相关以提供所述主交通工具周围的环境的不间断360度视图。所述至少一个处理器还可被编程为分析所相关的多个图像以标识所述主交通工具周围的所述环境中的自由空间区域。所述至少一个处理器还可被编程为使得所述主交通工具在所标识的自由空间区域内导航，同时避免在所标识的自由空间区域外部的区域内导航。
[0009]在一个实施例中，公开了一种用于相对于主交通工具来检测自由空间并用于相对于检测到的自由空间来导航所述主交通工具的计算机实现的方法。所述方法可以包括从与所述主交通工具相关联的一个或多个摄像机接收多个图像。所述多个图像可表示在所述主交通工具的前方、后方、和侧面的区域。所述方法还可以包括使所述多个图像相关以提供所述主交通工具周围的环境的不间断360度视图。所述方法还可以包括分析所相关的多个图像以标识所述主交通工具周围的所述环境中的自由空间区域。所述方法还可以包括使得所述主交通工具在所标识的自由空间区域内导航，同时避免在所标识的自由空间区域外部的区域内导航。
[0010]根据其它所公开的实施例，非瞬态计算机可读存储介质可以存储程序指令，所述程序指令由至少一个处理装置执行并且执行本文描述的方法中的任一项。
[0011]前面的一般描述和下面的详细描述仅是示例性和解释性的，并不是限制权利要求。
附图说明
[0012]结合在本公开中并且构成本公开的一部分的附图示出各个所公开实施例。在附图中：
图1是按照所公开实施例的示例性系统的图解表示。
[0013]图2A是包括按照所公开实施例的系统的示例性交通工具的图解侧视图表示。
[0014]图2B是按照所公开实施例、图2所示的交通工具和系统的图解顶视图表示。
[0015]图2C是包括按照所公开实施例的系统的交通工具的另一个实施例的图解顶视图表示。
[0016]图2D是包括按照所公开实施例的系统的交通工具的又一个实施例的图解顶视图表示。
[0017]图2E是包括按照所公开实施例的系统的交通工具的又一个实施例的图解顶视图表示。
[0018]图2F是按照所公开实施例的示例性交通工具控制系统的图解表示。
[0019]图3A是按照所公开实施例、包括后视镜以及用于交通工具成像系统的用户接口的交通工具内部的图解表示。
[0020]图3B是按照所公开实施例、配置成在后视镜后面并倚靠交通工具挡风玻璃所定位的摄像机支架的示例的图示。
[0021]图3C是按照所公开实施例、从不同角度的图3B所示摄像机支架的图示。
[0022]图3D是按照所公本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于主交通工具的导航系统，所述导航系统包括：至少一个处理器，所述至少一个处理器被编程为：从所述主交通工具上的摄像机接收所捕获图像，所述所捕获图像包括所述主交通工具的环境中的被遮蔽的行人的表示，其中所述所捕获图像缺少所述被遮蔽的行人接触地表面的区域的表示；将所述所捕获图像提供给分析模块，所述分析模块被配置成针对所述所捕获图像来生成输出，其中，所生成的输出包括所述被遮蔽的行人与所述地表面的接触位置的指示符；从所述分析模块接收所生成的输出，包括所述被遮蔽的行人与所述地表面的所述接触位置的所述指示符；以及基于所述被遮蔽的行人与所述地表面的所述接触位置的所述指示符来引起所述主交通工具的至少一个导航动作。2.根据权利要求1所述的导航系统，其中所述分析模块包括基于训练数据所训练的至少一个经训练模型，包括：多个图像，每个图像包括至少一个训练行人的表示，以及对应于所述多个图像的LIDAR深度信息。3.根据权利要求2所述的导航系统，其中所述至少一个经训练模型包括神经网络。4.根据权利要求1所述的导航系统，其中所述分析模块包括基于训练数据所训练的至少一个经训练模型，所述训练数据包括多个图像，每个图像包括：至少一个训练行人的表示，以及所述训练行人接触地表面的区域。5.根据权利要求4所述的导航系统，其中所述训练数据还包括所述多个图像，每个图像被修改以遮蔽所述训练行人接触地表面的所述区域。6.根据权利要求4所述的导航系统，其中所述至少一个经训练模型包括神经网络。7.根据权利要求1所述的导航系统，其中所述被遮蔽的行人与所述地表面的所述接触位置的所述指示符包括边界框。8.根据权利要求7所述的导航系统，其中所述边界框用于确定距所述主交通工具与所述行人之间的碰撞的估计时间。9.根据权利要求7所述的导航系统，其中所述边界框用于确定所述行人与所述主交通工具的至少一部分之间的估计距离。10.根据权利要求7所述的导航系统，其中所述边界框包围所述所捕获图像中的所述至少一个被遮蔽的行人的所述表示，并且如果在所述所捕获图像中已表示了所述被遮蔽的行人接触地表面的所述区域，则被定大小为包围这样的区域。11.根据权利要求7所述的导航系统，其中所述边界框由相对于与所述所捕获图像相关联的参考像素的至少两个像素尺寸来限定。12.根据权利要求7所述的导航系统，其中所述边界框由至少两个现实世界尺寸来限定。13.根据权利要求7所述的导航系统，其中所述被遮蔽的行人接触所述地表面的所述区域被所述主交通工具的至少一部分从所述所捕获图像中的视图遮蔽，并且其中所述边界框包括所述所捕获图像的区域，所述区域包括所述主交通工具的所述至少一部分的表示。
14.根据权利要求13所述的导航系统，其中所述主交通工具的所述至少一部分包括所述主交通工具的发动机罩的至少一部分。15.根据权利要求1所述的导航系统，其中所述地表面包括以下项中的至少一项：道路表面或人行道表面。16.根据权利要求1所述的导航系统，其中所述至少一个导航动作包括以下项中的至少一项：加速、制动、或转动所述主交通工具。17.根据权利要求1所述的导航系统，其中所述至少一个处理器被进一步编程为：维持包括在所述所捕获图像之前获取的多个图像的缓冲器，其中所述多个图像中的一个或多个图像包括所述所捕获图像的所述被遮蔽的行人的表示。18.根据权利要求17所述的导航系统，其中所述多个图像中的一个或多个图像包括所述被遮蔽的行人接触所述地表面的所述区域的表示。19.根据权利要求17所述的导航系统，其中所述多个图像包括上至20个所获取图像帧。20.根据权利要求17所述的导航系统，其中所述至少一个处理器被编程为将所述多个图像中的一个或多个图像提供给所述分析模块，并且其中至少部分基于所述多个图像中的所述一个或多个图像来确定所述被遮蔽的行人与所述地表面的所述接触位置的所述指示符。21.一种用于主交通工具的导航系统，所述导航系统包括：至少一个处理器，所述至少一个处理器被编程为：从所述主交通工具上的摄像机接收表示所述交通工具的环境的至少一个所捕获图像；检测在所述至少一个所捕获图像中表示的行人；分析所述至少一个所捕获图像以确定与在所述至少一个所捕获图像中表示的所述行人的头部相关联的角旋转指示符和倾斜角指示符；以及基于与行人的所述头部相关联的所述角旋转指示符和所述倾斜角指示符来引起所述主交通工具的至少一个导航动作。22.根据权利要求21所述的导航系统，其中引起所述至少一个导航动作与基于所述角旋转指示符和所述倾斜角指示符所确定的所述行人的注视方向相关联。23.根据权利要求22所述的导航系统，其中所述行人的所述注视方向指示所述行人正朝所述主交通工具注视。24.根据权利要求22所述的导航系统，其中所述行人的所述注视方向指示所述行人正远离所述主交通工具注视。25.根据权利要求22所述的导航系统，其中所述行人的所述注视方向指示所述行人正朝所述主交通工具的所述环境中的目标交通工具注视。26.根据权利要求22所述的导航系统，其中，所述行人的所述注视方向指示：所述行人正朝所述主交通工具注视；所述行人正远离所述主交通工具注视；或所述行人正朝所述主交通工具的所述环境中的目标交通工具注视，并且其中，将由所述主交通工具采取的所引起的所述至少一个导航动作取决于所述注视方
向指示所述行人正朝所述主交通工具注视、正远离所述主交通工具注视、还是朝目标交通工具注视。27.根据权利要求26所述的导航系统，其中所述至少一个导航动作包括如果确定所述行人正远离所述主交通工具注视，则减慢所述主交通工具。28.根据权利要求26所述的导航系统，其中所述至少一个导航动作包括如果确定所述行人正朝所述主交通工具注视，则维持所述主交通工具的速度和航向方向。29.根据权利要求26所述的导航系统，其中所述至少一个导航动作包括如果确定所述行人正朝在所述主交通工具的前方并在相同方向上行驶的目标交通工具注视，则维持所述主交通工具的速度和航向方向。30.根据权利要求26所述的导航系统，其中所述至少一个导航动作包括如果确定所述行人正朝位于所述主交通工具前方的目标交通工具注视，但是在与所...

【专利技术属性】
技术研发人员：雅各布，
申请(专利权)人：御眼视觉技术有限公司，
类型：发明
国别省市：