用于计算机视觉的设备、方法和计算机程序技术

一种设备，包括被配置为将从多个不同或相似类型的传感器获得的运动信息传递到共同表示的电路。

【技术实现步骤摘要】
【国外来华专利技术】用于计算机视觉的设备、方法和计算机程序
本公开总体上涉及计算机视觉的领域，具体而言涉及基于相机和雷达的测量系统。这样的技术可例如用于自动驾驶的应用中。
技术介绍
在自主驾驶和高级驾驶员辅助系统领域中，周围的风景通常被描述为少量未伸展的接触，每个接触都由至少具有表示运动的2d位置和2d速度的状态描述。在设计自主驾驶汽车时，许多传感器，诸如相机、雷达和LiDAR，用于提供无需直接接触即可进行自动驾驶所需的信息。例如，现代自动驾驶汽车依靠诸如立体相机、多普勒雷达和/或LiDAR(光检测和测距)之类的技术来估计运动。立体相机可提供高分辨率信息，并且它们可看到颜色，这使它们在对象分类和纹理解释方面非常有效。立体相机也可有效地用于运动估计。估计场景的密集非刚性三维运动场称为场景流估计(sceneflowestimation)。场景流估计(简称“场景流”)显示了两个帧之间每个表面点的三维位移矢量。但是，场景流估计通常提供的运动信息在径向方向上的准确性要比在角度方向上提供的准确性低。多普勒雷达是一种使用无线电波确定对象的速度、范围和角度的传感器系统。雷达技术在运动测量中非常有效。雷达速度测量在径向方向上提供了良好的准确度，但在角度方向上提供了很少甚至没有的准确度。因此，基于相机和雷达的测量系统以互补的精度和非常不同的数据表示形式提供有关环境中运动的信息。已经存在用于不直接接触的远距离对象的运动测量的现有技术和方法，但是它们都存在不确定性并且彼此之间缺乏相似性。
技术实现思路
>根据第一方面，本公开内容提供了一种设备，该设备包括配置成将从多个不同或相似类型的传感器获得的运动信息传递到共同表示的电路。根据另一方面，本公开提供了一种方法，该方法包括将从多个不同或相似类型的传感器获得的运动信息传递到共同表示。根据又一方面，本公开内容提供了一种计算机程序，其包括指令，当在处理器上执行时，使得所述处理器将从多个不同或相似类型的传感器获得的运动信息传递到共同表示。在从属权利要求、以下描述和附图中阐述了其他方面。附图说明参照附图通过实例的方式说明实施方式，其中：图1示意性地描述了通过融合多普勒雷达的数据和基于立体相机的图像从场景流估计获得的数据来生成融合的运动图；图2更详细地示出了来自多普勒雷达的处理后数据的对齐，以产生运动图；图3更详细地示出了来自立体相机的处理后的数据的对齐，以生成运动图；图4更详细地示出了融合从多普勒雷达的数据获得的运动图和从立体相机的数据获得的运动图以便获得融合的运动图的处理；图5a示意性地示出了通过场景流分析(立体相机)看到的单次速度测量的不确定性；图5b示意性地示出了由多普勒雷达看到的单次速度测量的不确定性；图5c示出了通过融合多普勒雷达和立体相机的对齐数据而产生的融合运动图中的减小的速度测量不确定性；图6示出了从多普勒雷达测量值导出的运动图的实例；图7示出了基于立体相机捕获的图像从场景流测量值导出的运动图的实例；图8示出了融合的运动图的实例，该融合运动图将多普勒雷达测量值导出的运动图与基于立体相机捕获的图像而从场景流测量值导出的运动图进行组合；图9是表示车辆控制系统的示意配置的实例的框图；和图10是辅助说明车外信息检测部和成像部的安装位置的实例的示图。具体实施方式在参考图1对实施方式进行详细描述之前，进行一些一般性的解释。以下描述的实施方式公开了一种设备，该设备包括被配置为将从多个不同或相似类型的传感器获得的运动信息传递到共同表示的电路。多个传感器可以是不同类型或相似类型。该设备例如可包括集成控制单元，该集成控制单元根据各种程序来控制车辆控制系统内的一般操作。集成控制单元可包括微计算机、通用目的通信I/F、专用通信、定位部、信标接收部、车载装置、声音/图像输出部、车载网络I/F、存储部等。该设备例如可用在车辆控制系统、高级驾驶员辅助系统、用于自主驾驶的控制器等中。例如，该设备可被应用为诸如汽车、摩托车、卡车等的机动车辆中的车辆控制系统或高级驾驶员辅助系统。可替代地，该设备还可被应用为电动车辆或混合动力车辆中的车辆控制系统或高级驾驶员辅助系统。该设备在其他场景还可应用为例如，用于自主机器人或无人机产品的控制器，或者通常用于任何可移动设备的控制器。具体而言，在将所公开的技术应用于自动系统的情况下，非常需要在对象的测量中获得位置和速度信息的准确性的增加。电路可包括处理器、存储器(RAM、ROM等)、存储设备、输入装置(鼠标、键盘、相机等)、输出装置(显示器(例如液晶(有机)发光二极管)等)、扬声器等、(无线)接口等)，这对于电子装置(计算机、智能手机等)通常是众所周知的。此外，它可包括传感器，用于感测静止图像或视频图像数据(图像传感器、相机传感器、视频传感器等)，用于感测指纹，用于感测环境参数(例如雷达、湿度、光、温度)等。不同类型的传感器可例如是以下类型中的任何一种：立体相机、超声传感器、雷达装置或LiDAR装置(光检测和测距装置或激光成像检测和测距装置)。该电路还可被配置为将从多个类似类型的传感器获得的运动信息传递到共同表示。例如，该电路可被配置为融合来自(例如由于视角不同)彼此互补的类似类型的几个相机或雷达的信息。从多个传感器获得的运动信息被传送到的共同表示可例如是运动图。运动图也可被视为“动态占用图”。运动图可例如是2d数据阵列，以“鸟瞰图”的角度表示数据。运动图可例如是运动数据的2d网格表示。运动图的网格表示可基于规则或不规则网格，即，单元不一定必须是正方形，而是还可更改其尺寸、形状等。在实施方式中，网格的单元覆盖了整个图域(wholemapdomain)。运动图可例如根据通用的x，z坐标存储速度数据。可通过将数据分配给运动图的单元来给出数据关联。每个单元可由特定的x，z坐标对来定义。该电路可被配置为将多普勒雷达和立体相机的数据融合为共同表示。但是，该设备不仅可应用于多普勒雷达和场景流(立体相机)的组合，而且可应用于超声或LiDAR传感器和立体相机，或者其他组合，如果它们可配置为提供环境的运动信息的话。该电路可被配置为将从多普勒雷达获得的运动信息传递到共同表示。从多普勒雷达获得的运动信息可包括在极坐标空间中的单元的极坐标以及归因于该单元的速度的角和径向分量。该电路可被配置为将通过立体相机捕获的图像上的场景流估计所获得的运动信息传递到共同表示。从场景流估计获得的运动信息可包括图像位置、视差数据和位移数据。该电路可被配置为从传感器数据重建位置和速度以获得传感器数据的运动图。该电路可被配置为在处理后的数据上施加用于运动的误差模型以获得传感器数据的运动图。误差模型可例如确定传感器测量值的平均值和协方差。所述电路可例如被配置为表示由x，z表示的运动图，其中，x，z是所述运动图中的2d笛卡尔坐标，是描述速度估计本文档来自技高网...

【技术保护点】
1.一种设备，包括被配置为将从不同类型或者相似类型的多个传感器获得的运动信息传递至共同表示的电路。/n

【技术特征摘要】
【国外来华专利技术】20170602 EP 17174267.91.一种设备，包括被配置为将从不同类型或者相似类型的多个传感器获得的运动信息传递至共同表示的电路。


2.根据权利要求1所述的设备，其中，所述共同表示是运动图。


3.根据权利要求2所述的设备，其中，通过将数据分配给所述运动图的单元来给出数据关联。


4.根据权利要求1所述的设备，其中，所述电路被配置为将多普勒雷达的数据和立体相机的数据融合为共同表示。


5.根据权利要求1所述的设备，其中，所述电路被配置为将从多普勒雷达获得的运动信息传递至所述共同表示。


6.根据权利要求4所述的设备，其中，从所述多普勒雷达获得的所述运动信息包括：极坐标空间中的单元的极坐标以及归因于所述单元的速度的角度分量和径向分量。


7.根据权利要求1所述的设备，其中，所述电路被配置为将通过对立体相机捕获的图像的场景流估计而获得的运动信息传递至所述共同表示。


8.根据权利要求4所述的设备，其中，从场景流估计获得的所述运动信息包括图像位置、视差数据和位移数据。


9.根据权利要求1所述的设备，其中，所述电路被配置为从传感器数据重构位置和速度以获得所述传感器数据的运动图。


10.根据权利要求1所述的设备，其中，所述电路被配置为对处理后的数据应用针对运动的误差模型以获得传感器数据的运动图。


11.根据权利要求1所述的设备，其中，所述电路被配置为表示由x，z表示的所述运动图，其中，x，z是所述运动图中的2d笛卡尔坐标，是描述速度估计(vx，vz)，的正态分布的平均值，并且是表示...

【专利技术属性】
技术研发人员：弗洛里安·贝克，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP