基于对象轨迹的用于跨域对应的多模态传感器融合方法技术

一种用于计算多个传感器观测值之间的对应关系的系统包括：接口，用于基于源自捕获不同类型的信号的第一传感器和第二传感器的信号接收多个运动对象的第一时空数据集和第二时空数据集；处理电路，用于：分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；通过从相应域到预定域的相应映射，计算所述第一和第二时空对象轨迹之间的距离度量；采用距离度量来执行所述多个第一和第二时空对象轨迹的映射之间的匹配计算，以便计算第一和第二时空对象轨迹的每对映射之间的相似度，以及输出所述匹配计算的结果。

【技术实现步骤摘要】
【国外来华专利技术】基于对象轨迹的用于跨域对应的多模态传感器融合方法
技术介绍
在本专利技术的一些实施例中，本专利技术涉及运动对象数据的多模态传感器融合，但非排他地，涉及用于由车辆传感器生成的运动对象数据的多模态传感器融合系统。汽车应用中通常需要对车辆周围区域有清晰的感知。感知包括，例如，识别例如其它车辆和行人等运动对象，以及例如道路标志和碎片等静态对象。为了生成适当的感知，车辆配备有传感器，例如摄像机、无线探测与测距(雷达)和/或光探测与测距(激光雷达)传感器。先进的预警系统使用由传感器生成的信息来警告潜在的危险，而自主车辆控制系统则利用其来安全地操纵车辆。先进的预警系统需要实时运行，并在整合由不同传感器接收到的数据的同时，将运动对象的识别和分类错误减至最低。
技术实现思路
本专利技术的一些实施例的目标是提供一种用于运动对象数据的多模态传感器融合的系统和方法。前述目标和其它目标通过独立权利要求的特征实现。从从属权利要求、说明书以及图式中可以明显看出另外的实施形式。根据本专利技术的第一方面，一种用于计算场景的多个传感器观测值之间的对应关系的系统，其包括：接口，其用于接收场景中的多个运动对象的第一时空数据集和第二时空数据集，所述第一时空数据集和第二时空数据集基于从所述多个运动对象反射的信号，并且分别源自第一传感器和第二传感器，其中所述第一传感器和所述第二传感器捕获不同类型的信号；处理电路，其用于：分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；通过从相应域到预定域的相应映射，计算所述第一和第二时空对象轨迹之间的距离度量；在第一和第二时空对象轨迹中的每一个之间执行计算，并计算特征序列之间的欧几里得距离。根据本专利技术的第二方面，一种用于计算场景的多个传感器观测值之间的对应关系的方法，其包括：接口，其用于接收场景中的多个运动对象的第一时空数据集和第二时空数据集，所述第一时空数据集和第二时空数据集基于从所述多个运动对象反射的信号，并且分别源自第一传感器和第二传感器，其中所述第一传感器和所述第二传感器捕获不同类型的信号；分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；为每个第一和第二时空对象轨迹计算从相应域到预定域的相应映射；采用距离度量来执行所述多个第一和第二时空对象轨迹的映射之间的匹配计算，以便计算第一和第二时空对象轨迹的每对映射之间的相似度，以及输出所述匹配计算的结果。参考第一和第二方面，任选地，所述第一时空数据集源自摄像机传感器，例如，在许多车辆中，摄像机被安装在驾驶室的前面，以记录车辆前方的活动。参考第一和第二方面，任选地，第二时空数据集源自无线探测与测距(雷达)和/或光探测与测距(激光雷达)传感器。雷达和/或激光雷达传感器在跟踪运动对象的位置和速度方面是广泛可用且有效的，并且可以补充摄像机传感器提供的跟踪信息。参考第一和第二方面，任选地，匹配计算将轨迹配对，在所有可能的轨迹匹配组合中，使轨迹对之间的距离的总和最小化。确定哪些轨迹彼此匹配是一个计算上很困难且很复杂的问题。因此，使用优化方法是克服所述困难的有效方法。参考第一和第二方面，任选地，预定域是包括根据源自摄像机传感器的第一时空轨迹的坐标系的域。当运动对象的速度相对容易估计且地形预期相对平坦时，此方法可为有益的，因为可以粗略估算从雷达/激光雷达域投影的对象高度。参考第一和第二方面，任选地，方法还包括通过估计第一时空轨迹内的相应运动对象位置之间的差值，为与所述第一时空轨迹相关联的每个运动对象分配速度。可以通过例如光流等已知有效解决方案来实现估计运动对象的速度。参考第一和第二方面，任选地，与第二时空数据集的轨迹相对应的每个运动对象的高度通过预定的常数来估算。如果预期地形相对平坦，例如道路或轨道，并且预期运动对象相似，例如汽车，则为每个运动对象分配相同的高度，这样的估算就很合适。参考第一和第二方面，任选地，预定域是包括根据源自雷达和/或激光雷达传感器的第二时空轨迹的坐标系的域。由于摄像机深度信息可用于速度估计，并可提高匹配计算的准确性，因此可以利用此方法来解决如地形不平坦的问题。参考第一和第二方面，任选地，相应映射使用在第一时空数据集中表示的每个运动对象的限界框表示，以便通过计算相应限界框的质心到车辆坐标的投影之间的相应差值来估计相应运动对象的速度。以所述方式估计速度简单而且计算效率高。参考第一和第二方面，任选地，预定域包括潜在车辆坐标域，并且相应映射将第一时空运动对象轨迹和第二时空运动对象轨迹的配对的每个可能的组合映射到相应潜在状态中。基于潜在状态的方法可将雷达/激光雷达精确速度探测与精确摄像机空间探测组合在一起，以获得比相应域上的投影更稳定的匹配计算结果。参考第一和第二方面，任选地，相应映射采用卡尔曼滤波器以便估计多个潜在状态。卡尔曼滤波器包括一组用于估计运动对象属性的有效的现有解决方案。参考第一和第二方面，任选地，匹配计算包括：通过首先计算潜在状态的序列(轨迹)来估计两个轨迹与同一对象相对应的可能性，然后针对每个估计潜在状态：计算分别与第一和第二时空数据集相对应的第一和第二域中的投影。通过测量投影序列与实际观测到的信号轨迹之间的欧几里得距离，可以估算出可能性。例如，在具有已知协方差矩阵的高斯分布的假设下，通过以下方式计算多个第一和第二时空运动对象轨迹之间的匹配：计算使所有估计潜在状态的计算概率最大化的总和，并且在与计算出的总和中的相应潜在状态相对应的第一和第二时空运动对象轨迹之间进行匹配。一种计算潜在空间的有用方法是同时对两个数据集使用非线性卡尔曼滤波器，并任选地进行平滑处理。在计算出距离度量之后，可以将其用于匹配，例如通过最小化所有匹配轨迹之间的距离的总和。在查阅以下图式和具体实施方式后，本公开的其它系统、方法、特征以及优点将对本领域的技术人员变得显而易见。旨在将所有此类另外的系统、方法、特征以及优点都包括在此描述内、在本公开的范围内，且受到所附权利要求书的保护。除非另外定义，否则本文所使用的所有技术和/或科学术语都具有与本专利技术所涉及领域的技术人员通常所理解的相同的含义。下文描述示例性方法和/或材料，但与本文所述的方法和材料类似或等效的方法和材料也可以用于本专利技术的实施例的实践或测试中。倘若有冲突，将以包括定义的本专利说明书为准。另外，材料、方法和实例仅为说明性的且并不意图为必定限制性的。附图说明本文中仅借助于实例参考随附图式描述本专利技术的一些实施例。现特定详细地参考图式，强调细节以实例的方式且出于对本专利技术的实施例的说明性论述的目的示出。就此而言，结合图式进行的描述使如何实践本专利技术的实施例对所属领域的技术人员而言变得显而易见。在图式中：图1是根据本专利技术的一些实施例的用于运动对象数据的多模态传感器融合的系统的各个组件的示例性布局；图2是根据本专利技术的一些实施例的用于运动对象数据的多模态传感器融合的进程的示例性数据流；图3是根据本专利技术一些实施例的将时空轨迹映射到与摄像机域本文档来自技高网...

【技术保护点】
1.一种用于计算场景的多个传感器观测值之间的对应关系的系统，其特征在于，所述系统包括：/n接口，用于接收场景中的多个运动对象的第一时空数据集和第二时空数据集，其中，所述第一时空数据集和第二时空数据集基于从所述多个运动对象反射的信号，并且分别源自第一传感器和第二传感器，所述第一传感器和所述第二传感器捕获不同类型的信号；/n处理电路，用于：/n分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；/n通过从相应域到预定域的相应映射，计算所述第一和第二时空对象轨迹之间的距离度量；/n采用距离度量来执行所述多个第一和第二时空对象轨迹的映射之间的匹配计算，以便计算第一和第二时空对象轨迹的每对映射之间的相似度，以及/n输出所述匹配计算的结果。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于计算场景的多个传感器观测值之间的对应关系的系统，其特征在于，所述系统包括：
接口，用于接收场景中的多个运动对象的第一时空数据集和第二时空数据集，其中，所述第一时空数据集和第二时空数据集基于从所述多个运动对象反射的信号，并且分别源自第一传感器和第二传感器，所述第一传感器和所述第二传感器捕获不同类型的信号；
处理电路，用于：
分别基于所述第一时空数据集和所述第二时空数据集生成多个第一时空对象轨迹和多个第二时空对象轨迹；
通过从相应域到预定域的相应映射，计算所述第一和第二时空对象轨迹之间的距离度量；
采用距离度量来执行所述多个第一和第二时空对象轨迹的映射之间的匹配计算，以便计算第一和第二时空对象轨迹的每对映射之间的相似度，以及
输出所述匹配计算的结果。


2.根据权利要求1所述的系统，其特征在于，所述第一时空数据集源自摄像机传感器。


3.根据权利要求1所述的系统，其特征在于，所述第二时空数据集源自无线探测与测距(雷达)和/或光探测与测距(激光雷达)传感器。


4.根据权利要求3所述的系统，其特征在于，所述匹配计算将轨迹配对，在所有可能的轨迹匹配组合中，使轨迹对之间的距离的总和最小化。


5.根据权利要求4所述的系统，其特征在于，所述预定域是包括根据源自所述摄像机传感器的所述第一时空轨迹的坐标系的域。


6.根据权利要求5所述的系统，其特征在于，所述系统还包括：通过估计第一时空轨迹内的相应运动对象位置之间的差值，为与所述第一时空轨迹相关联的每个运动对象分配速度。


7.根据权利要求6所述的系统，其特征在于，与所述第二时空数据集的轨迹相对应的每个运动对象的高度通过预定常数来估计。


8.根据权利要求4所述的系统，其特征在于，所述预定域是包括根据源自所述雷达和/或激光雷达传感器的所述第二时空轨迹的坐标系...

【专利技术属性】
技术研发人员：阿米尔·本纳坦，雅科夫·卢巴斯基，帕维尔·基西列夫，彭学明，佘晓丽，许春景，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44