通过摄像机进行交通工具环境建模制造技术

用于对场景建模的各种系统和方法。一种用于对场景建模的装置包括硬件接口，所述硬件接口用于获得表示场景的按时间排序的图像序列，所述按时间排序的序列包括多个图像，图像的所述序列中的一个是当前图像，所述场景由单目成像系统捕获；以及处理电路，所述处理电路用于：向人工神经网络（ANN）提供数据集合以产生场景的三维结构，所述数据集合包括：图像序列的一部分，图像的所述序列的所述部分包括当前图像；以及捕获图像序列的传感器的运动；以及使用场景的三维结构对场景建模，其中针对场景中的移动和固定对象两者确定三维结构。的移动和固定对象两者确定三维结构。的移动和固定对象两者确定三维结构。

【技术实现步骤摘要】
【国外来华专利技术】通过摄像机进行交通工具环境建模
[0001]相关事项本专利申请在35 U.S.C.
§
119下要求对标题为“VEHICLE ENVIRONMENT MODELING WITH CAMERAS”并且在2019年5月30日提交的序列号为62/854,818的美国临时申请的优先权的益处，其整体通过引用特此结合在本文中。


[0002]本文描述的实施例一般涉及计算机视觉技术，并且更具体地，涉及通过摄像机进行交通工具环境建模。

技术介绍

[0003]在汽车中通常称为“自动驾驶”或“辅助驾驶”操作的自主或半自主汽车技术正在商用和消费级交通工具中经历快速发展和部署。这些系统使用传感器阵列来连续观察交通工具的运动和周围环境。可以使用各种传感器技术来观察交通工具的周围环境，例如，道路表面和边界、其它交通工具、行人、对象和危险、标志和道路标记、以及其它相关项。
[0004]通过一个或多个摄像机实现的图像捕获传感器对于对象检测和识别以及读取标志和道路标记特别有用。基于摄像机的系统已应用于测量三维结构，例如道路的竖直轮廓、车道标记、和路缘，并用于检测对象或危险。期望实用的传感器系统在变化的天气和道路条件下可靠地运行。这些期望趋向于在处理输入时引入无数挑战。在夜间来自阴影或灯光的输入噪声可能会干扰道路表面检测。潮湿的道路或其它反射性表面通常会引入与道路表面模型相反的明显的运动。此外，考虑到这些道路表面检测困难，在对道路表面进行建模以实现自主驾驶或辅助驾驶时对危险进行快速(例如，实时)检测的需要给硬件施加了负担。
附图说明
[0005]在不一定按比例绘制的附图中，相似数字可以在不同的视图中描述相似组件。具有不同字母后缀的相似数字可以表示相似组件的不同实例。在附图的图中，通过示例而不是限制的方式示出了一些实施例，在附图中：图1是交通工具环境的示例的框图；图2是根据实施例的用于通过图像传感器进行交通工具环境建模的系统的示例的框图；图3示出了根据实施例的当前图像和先前图像；图4示出了根据实施例的用于产生道路表面的伽马(gamma)模型的神经网络的示例；图5示出了根据实施例的基于机器学习(ML)的竖直轮廓引擎的示例深度神经网络(DNN)；图6是根据实施例的详述DNN的示例架构的表格；图7
‑
8是根据实施例的详述DNN的更复杂示例架构的表格；
图9示出了根据实施例的DNN训练系统的示例；图10示出了根据实施例的多模态损失函数应用引擎的示例；图11是示出根据实施例的用于训练神经网络的方法的示例的流程图；图12示出了来自经由本文描述的单目和环绕摄像机训练的两个神经网络的不同输出；图13是示出根据实施例的用于操作竖直轮廓检测引擎的方法的示例的流程图；图14示出了根据实施例的用于与自动交通工具控制系统一起使用的用于对道路进行轮廓分析的基于摄像机的车载系统；图15示出根据实施例的交通工具上的多摄像机阵列；图16示出了根据实施例的可由多摄像机阵列捕获的视场的示例；图17是示出根据实施例的竖直轮廓检测引擎的示例的框图；图18示出了根据实施例的预处理器引擎的示例；图19示出了根据实施例的用于通过摄像机进行交通工具环境建模的方法的示例的流程图；图20是示出可以在其上实现一个或多个实施例的机器的示例的框图；图21是示出根据实施例的计算裝置的示例硬件和软件架构的图示；图22是示出根据实施例的可以使用的处理裝置的框图；以及图23是示出根据实施例的中央处理单元的示例组件的框图。
具体实施方式
[0006]各种交通工具环境建模技术可以与各种传感器配置一起使用。当使用摄像机(例如，可见光谱、红外(IR)等)时，传感器产生由像素组成的图像。像素的各个方面可用于建模，例如颜色或亮度。一般而言，为对动态环境建模，使用了图像序列。这种类型的建模跟踪像素在连续图像之间的移动，以推断环境的各方面，例如，交通工具如何移动，其它交通工具如何移动，对象(例如，人、动物、球等)如何移动，道路上的障碍物等。
[0007]将图像转换为归一化状态(例如，以校正摄像机镜头畸变)、在图像之间按顺序对齐像素(例如，通过单应性(homography)使较早的图像变形以在很大程度上匹配较晚的图像)、以及测量剩余像素运动(例如，残余运动)的迭代过程可用于对环境进行建模。
[0008]但是，使用直接像素匹配存在一些困难。例如，可能投射到道路表面上的许多事物并不代表道路表面，例如，阴影或反射斑块(例如水坑)。尽管可以使用滤波技术来减少这种噪声，但是更好的解决方案涉及经过训练以直接从图像序列中计算伽马的人工智能(例如，机器学习系统、人工神经网络(ANN)、深度ANN(DNN)、卷积ANN(CNN)等)。这需要对道路表面成像中的常见噪声问题的稳健解决方案。此外，这样的系统还可以接受传感器运动或核点信息以进一步增强其伽马结果。根据伽马，可以确定道路平面上方的像素的高度以及到该像素的距离。
[0009]道路表面建模对于例如避免坑洼或调整用于减速带的悬架可能是有用的。直接从传感器数据确定伽马(例如，通过ANN)可能优于其它技术(像如，使用二维(2D)光流来确定残余流，或者使用ANN来确定在平面上方的高度和到传感器的距离)，因为它强化了核点约束。此外，一个伽马可用于对齐(例如，变形)该点的所有图像。
[0010]尽管可以训练ANN来直接确定点的深度或高度，但是伽马提供了一些好处。例如，伽马计算比深度更稳定，因为距平面的高度方面的明显变化可能会导致距摄像机的深度方面的小的相对变化。同样，在给定H和参考平面的情况下，可能计算深度Z，并然后计算残余流，但这会增加复杂性，因为ANN为相同结果处理更多数据。这也是通过平面模型对图像进行预变形并提供自我运动(ego
‑
motion，EM)(例如，传感器或交通工具的运动，例如，核点和)作为输入的原因。
[0011]在示例中，可以使用类似的技术来训练网络以计算Z或H而不是伽马。在该示例中，可以将单应性平面输入参数提供给ANN。例如，该平面可以被定义为水平线(例如，平面的消失线)和到该平面的距离。该线可以被提供为一对距离图像，并且到平面的距离可以被提供为恒定图像。这与上面的提供核点和T
Z
作为输入的方式类似。在示例中，对齐输入图像以仅考虑旋转(例如，使用单应性，该单应性使用在无限远处的平面)并计算Z。
[0012]在示例中，代替针对整个图像计算伽马并然后仅使用沿特定路径的伽马(例如，用于悬架控制)，可以训练ANN仅沿着指定路径产生伽马。例如，如果输出仅用于适用于交通工具轮胎的事项(例如悬架控制)，这可能会更有计算效率，因为去卷积运算可能在计算上很昂贵。可以以多种方式实现路径辨别(例如，仅为该路径产生伽马)。例如，可以在ANN的推断阶段给出路径作为输入，将ANN训练为仅输出沿该路径的值。在示例中，可以如上所述训练完整的ANN以产生伽马。在推断期间，当给出路径时，做出关于在针对该路径的扩展阶段中需要哪些(去)卷积的确定并且仅应用那些(去)卷积。例如，为确定输出的完整本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1. 一种用于对场景建模的装置，所述装置包括：硬件接口，所述硬件接口用于获得表示场景的图像的按时间排序的序列，所述按时间排序的序列包括多个图像，图像的所述序列中的一个图像是当前图像，所述场景由单目成像系统捕获；以及处理电路，所述处理电路用于：向人工神经网络（ANN）提供数据集合以产生所述场景的三维结构，所述数据集合包括：图像的所述序列的一部分，图像的所述序列的所述部分包括所述当前图像；以及捕获了图像的所述序列的传感器的运动；以及使用所述场景的所述三维结构来对所述场景建模，其中针对所述场景中的移动对象和固定对象两者来确定所述三维结构。2.如权利要求1所述的装置，其中，从捕获了图像的所述序列的所述传感器的所述运动导出核点，并且其中所述核点作为具有与所述当前图像相同的维度的梯度图像而被提供，并且所述梯度图像中的像素的值表示距所述当前图像中的像素的所述核点的距离。3.如权利要求2所述的装置，其中，所述梯度图像仅表示距所述核点的水平距离，并且其中第二梯度图像被提供给所述ANN以表示距所述核点的竖直距离。4.如权利要求1所述的装置，其中，从捕获了图像的所述序列的所述传感器的所述运动导出核点，并且其中所述核点作为梯度图像而被提供给所述ANN的层，并且其中所述核点的维度匹配所述ANN的所述层。5.如权利要求1所述的装置，其中，所述传感器的所述运动作为具有与所述当前图像相同的维度的恒定值图像而被提供。6.如权利要求5所述的装置，其中，所述恒定值是所述传感器的前向运动与所述传感器距所述平面的高度的比率。7.如权利要求1所述的装置，其中，所述传感器的所述运动作为恒定值图像而被提供给所述ANN的层，并且其中所述恒定值图像的维度匹配所述ANN的所述层。8.如权利要求1所述的装置，其中，所述处理电路配置成使用所述三维结构来调用第二ANN以确定对象在所述场景内是移动的还是不移动的。9.如权利要求1所述的装置，其中，所述ANN通过无监督训练技术来训练，在所述无监督训练技术中，通过测量当前图像的模型与所述当前图像之间的差异来确定误差，所述当前图像的所述模型经由与所述当前图像同时捕获的图像的伽马变形而产生。10.如权利要求9所述的装置，其中，所述当前图像的所述模型基于由立体成像系统捕获的多个图像，所述立体成像系统独立于所述单目成像系统。11.如权利要求10所述的装置，其中，所述立体成像系统包括第一图像传感器和第二图像传感器，所述第一图像传感器和所述第二图像传感器具有彼此重叠的视场。12.如权利要求11所述的装置，其中，所述第一图像传感器和所述第二图像传感器实现滚动快门。13.如权利要求1所述的装置，其中，所述单目成像系统使用滚动快门摄像机。14.一种用于对场景建模的方法，所述方法包括：获得表示场景的图像的按时间排序的序列，所述按时间排序的序列包括...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：御眼视觉技术有限公司，
类型：发明
国别省市：