利用交叉传感器特征点参考生成环境模型并定位的方法和系统技术方案

一种生成用于定位的环境参考模型的方法，包括接收表示扫描的环境的多个数据集。数据还包括关于所用传感器类型的信息和关于用于确定由数据表示的对象或特征的绝对位置的数据的信息。从数据集中的每一个提取一个或多个特征点，并确定特征点在参考坐标系中的位置。生成扫描的环境的三维矢量表示，三维矢量表示与参考坐标系对齐，并且特征点被表示在三维矢量表示中相应的位置。利用至少一种类型的传感器在三维矢量模型中的特征点之间创建链接，通过使用该传感器，特征点可以在环境中被检测到，并且三维矢量模型表示和链接以可检索的方式被存储。响应于包括可用于创建环境的局部表示的至少一种类型的传感器的相应请求，从三维矢量模型创建第一参考帧并将其传输到请求实体，该参考帧至少包括那些与至少一种类型的传感器存在链接的特征点。器存在链接的特征点。器存在链接的特征点。

【技术实现步骤摘要】
利用交叉传感器特征点参考生成环境模型并定位的方法和系统
[0001]本申请是申请日为2016年11月29日，题为“利用交叉传感器特征点参考生成环境模型并定位的方法和系统”，申请号为201680091159.6的专利申请的分案申请。


[0002]本专利技术涉及环境的映射或扫描以及确定所述环境中的位置。

技术介绍

[0003]高级驾驶辅助系统和自动驾驶汽车需要高精度的道路和其他车辆可以行驶的区域的地图。使用传统的卫星导航系统，例如全球定位系统(GPS)、伽利略系统(Galileo)、全球导航卫星系统(GLONASS)或诸如三角测量等其他已知的定位技术，不能实现以几厘米的精度来确定车辆在道路上的位置或者甚至在道路的车道内的位置。然而，特别是当自动驾驶车辆在具有多车道的道路上行驶时，它需要精确地确定其在车道内的横向位置和纵向位置。
[0004]一种以高精度确定车辆位置的已知方法包括一次或多次用相机捕获道路标记的图像，并将捕获的图像中的道路标记或沿道路的对象的独特特征与从数据库获得的相应参考图像进行比较，在该参考图像中提供了道路标记或对象的相应位置。这种确定位置的方法仅在数据库以图像提供高度精确的位置数据时和在数据库定期或以适当的时间间隔更新时才提供足够精确的结果。道路标记可以由在行驶时捕获道路图像的特殊用途车辆捕获和登记，或者可以从航空照片或卫星图像中提取。后一种变型可以被认为是有利的，因为垂直视图或俯视图图像在基本平坦的表面上示出的道路标记和其他特征很少失真。然而，航空照片和卫星图像可能无法提供足够的细节来生成高度精确的道路标记和其他道路特征的地图。此外，航空照片和卫星图像不太适合提供最好从地面角度观察的对象和道路特征的细节。
[0005]当今使用的例如同步定位与地图构建(SLAM)和其他机器视觉算法等大多数定位系统生成并使用特征点。特征点可以是由例如相机的2D传感器生成的二维图像中的显著点或显著区域，或者是由扫描传感器生成的环境的二维表示中的显著点或显著区域。这些显著点或区域可以携带一些关于第三维的信息，但是通常被定义并用作为二维表示，因为机器视觉或机器人视觉通常使用提供二维信息的相机来实现。
[0006]一组特征点可用于确定特定范围内的位置，例如沿着一段道路。在基于图像的定位中，或者通常在基于环境的某种表示形式的定位中，环境的特定部分的特征点被提供于环境该部分的所谓关键图像、关键帧或参考帧中。为了清楚起见，当引用环境的一部分的参考表示时，在本文中将始终使用“参考帧”这一表述。
[0007]参考帧可以是二维图片，其中标识有图片平面和一个或多个特征点。特征点可以通过用滤波器或其他光学处理算法处理相机图像来识别，以便找到可以用作特征点的合适的图像内容。可用于特征点的图像内容可能与图像中的对象和标记相关，但这不是强制性
要求。对于使用的特定图像处理算法，图像中符合特征点的显著点或显著区域例如通过其形状、对比度、颜色等基本上从图像中的其他区域或点突出。特征点可以独立于图像中对象的形状或外观，也可以彼此独立，还可以对应于可识别的对象。因此，在这种情况下，显著性不仅仅指对于人类观察者来说将显而易见的结构或结构的轮廓、颜色等。相反，显著性可以指特定算法“看见”或识别的场景的一部分的任何属性，特定算法被应用于由特定类型的传感器捕获的场景的表示，该属性使得该部分与场景的表示的其他部分足够不同。
[0008]各自包含一个或多个特征点的一组参考帧可以理解为可用于机器定向的地图。例如，机器人或自主车辆可以使用该地图来了解其环境，通过组合几次扫描通过的结果来改善结果，以及通过使用参考帧来在该环境中定位它自己。
[0009]不同类型的传感器生成不同类型的场景表示。摄像相机生成的图像与雷达传感器、超声波传感器阵列或扫描激光传感器生成的图像截然不同。环境中可见的对象或特征可能以不同的分辨率出现，也具有不同的形状，这取决于传感器“看到”或捕获对象或特征的方式。另外，一个相机图像可以生成彩色图像，而雷达传感器、超声波传感器阵列、扫描激光器甚至另一个相机则不能生成彩色图像。此外，不同的相机可以具有不同的分辨率、焦距、镜头光圈等，从而也可以导致每个相机具有不同的特征点。
[0010]此外，用于识别特征点的不同算法可以应用于由不同类型的传感器生成的场景的不同表示。每个算法可以针对由特定类型的传感器生成的特定表示进行优化。
[0011]因此，作为不同传感器类型及其特定处理的结果，在各个参考帧中找到的特征点可以是传感器特定的和/或算法特定的。受机器视觉方法的影响，不同类型的传感器生成的场景或环境的表示可以在一个表示中产生在另一个表示中找不到的特征点，并且还可以产生不同数量的特征点，这些特征点可用于在源自不同传感器的表示中进行定位。
[0012]需要确定其定位或位置的机器或车辆可能没有配备所有可能类型的传感器，并且即使配备了传感器，不同的传感器也可能具有不适合某些环境条件的成像特性。例如，雷达传感器在有雾或下雨的时候可以不受阻碍地工作，而相机在这种环境条件下可能不会产生有用的结果，但水下机器人可以用声纳“看得更清楚”。在这种情况下，提供有用特征点的场景或环境的表示的数量可能很少，并且确定位置可能需要更长的时间、可能不太准确或不可能。

技术实现思路

[0013]本专利技术的一个目的是使用不同类型的传感器来改进定位。本专利技术提供的改进可以在于为大量传感器类型中的任何给定位置提供大量特征点，还在于在定位过程中加速不同表示中特征点的识别。该目的及其变型和改进是通过所附权利要求中要求保护的方法和系统来实现的。不同类型的传感器包括在本专利技术的
技术介绍
的讨论中进一步提到的上述传感器类型。
[0014]在第一方面，本专利技术通过生成环境的一般描述或环境参考模型来解决上述问题，该描述或模型包括大范围传感器类型和/或环境条件的特征点。一般描述可以被解释为环境的高级描述，其可以用作导出各种传感器类型和/或环境条件的参考帧的基础。在第二方面，环境的一般描述或模型被用作数据源，用于向在环境中移动的装置(例如车辆或机器人)提供这种参考帧，以定向和定位该装置。参考帧包括可以在源自不同类型的传感器的环
境的表示中找到的那些特征点，不同类型的传感器均可用于该装置。在下文中，在环境中移动的装置被称为移动实体。
[0015]根据本专利技术，环境的高级描述是包含3D特征点的三维矢量模型。3D特征点可以与三维矢量模型中的三维对象相关，或者可以与其链接。由于那些3D特征点是真正的3D点，与它们相关联的信息比与今天通常使用的2D特征点相关联的信息多，即更详细的空间描述，所以3D特征点可以用作由不同类型的传感器生成的各种表示的参考点。换句话说，每个参考点可以携带针对一种传感器类型的已知特征点的属性，以及针对不同传感器类型及其各自处理，表征该参考点的附加属性。
[0016]如上面进一步讨论的，对于同一场景，突出的特征点可能不同，这取决于传感器和所用的处理。这可能会使单独的特征点对一个传感器表示有用，但对另一个传感器表示不可用。对象可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定在环境中的位置的装置，包括：存储器，其存储指令；以及至少一个处理器，其通信地耦合到所述存储器并且被配置为执行所述指令以进行以下操作：从第一类型传感器接收表示被扫描的环境的扫描数据；确定在所述环境中的初始位置；基于在所述环境中的所述初始位置来发送针对参考帧的请求，所述请求标识所述第一类型传感器；响应于所述请求，接收所述参考帧，所述参考帧包括能够被所述第一类型传感器检测到的第一多个特征点；以及基于所述扫描数据和所述第一多个特征点来确定在所述环境中的所述位置。2.根据权利要求1所述的装置，其中，所述至少一个处理器被配置为执行所述指令以进行以下操作：基于所述扫描数据来确定第二多个特征点；生成数据集，所述数据集包括标识所述第一类型传感器和所述第二多个特征点的信息；以及基于所述数据集和所述第一多个特征点来确定在所述环境中的所述位置。3.根据权利要求2所述的装置，其中，所述至少一个处理器被配置为执行所述指令以发送所述数据集，用于生成所述环境的三维矢量表示。4.根据权利要求1所述的装置，其中，所述参考帧包括关于在所述环境中的能够被所述第一类型传感器检测到的至少一个对象的信息，其中，所述至少一个处理器被配置为执行所述指令以进行以下操作：从所述参考帧提取关于由所述第一类型传感器能够检测的所述至少一个对象的所述信息；在所述扫描数据内检测所述至少一个对象；以及基于在所述扫描数据内检测到的所述至少一个对象来确定在所述环境中的所述位置。5.根据权利要求4所述的装置，其中，所述参考帧包括用于在搜索区域内找到并且识别所述至少一个对象的信息，并且其中，所述至少一个处理器被配置为执行所述指令以基于所述搜索区域来在所述扫描数据内检测所述至少一个对象。6.根据权利要求4所述的装置，其中，所述参考帧包括用于在搜索区域内找到并且识别所述第一多个特征点的信息，并且其中，所述至少一个处理器被配置为执行所述指令以基于所述搜索区域来在所述扫描数据内检测所述第一多个特征点。7.根据权利要求1所述的装置，其中，所述参考帧标识所述第一多个特征点中的至少一个特征点的绝对位置，并且其中，所述至少一个处理器被配置为执行所述指令以进行以下操作：从所述参考帧提取所述绝对位置；以及基于所述至少一个特征点的所述绝对位置来确定在所述环境中的所述位置。8.根据权利要求1所述的装置，其中，所述参考帧包括关于在所述环境中的能够被第二类型传感器检测到的至少一个对象的信息，其中，所述至少一个处理器被配置为：
从所述参考帧提取关于在所述环境中的能够被所述第二类型传感器检测到的所述至少一个对象的所述信息；从所述第二类型传感器接收表示所述被扫描的环境的另外的扫描数据；在由所述第一类型传感器在所述第一类型传感器与所述至少一个对象之间的第一距离处生成的所述扫描数据内检测所述至少一个对象；在由所述第二类型传感器在所述第二类型传感器与所述至少一个对象之间的第二距离处生成的所述另外的扫描数据内检测所述至少一个对象；以及基于在所述扫描数据内检测到的所述至少一个对象和在所述另外的扫描数据内检测到的所述至少一个对象来确定在所述环境中的所述位置。9.根据权利要求1所述的装置，其中，所述参考帧与包括所述第一多个特征点和至少一个对象的所述环境的三维矢量表示相对应。10.根据权利要求9所述的装置，其中，所述参考帧包括在(i)所述至少一个对象和(ii)所述第一多个特征点中的至少一者与所述第一类型传感器之间的链接。11.根据权利要求1所述的装置，其中，所述至少...

【专利技术属性】
技术研发人员：克里斯蒂安，
申请(专利权)人：大陆投资中国有限公司，
类型：发明
国别省市：