对雷达数据的基于机器学习的超分辨制造技术

本文档描述了用于对雷达数据的基于机器学习的超分辨的技术和系统。低分辨率雷达图像可以被用作输入，以训练用于对雷达数据的超分辨的模型。更高分辨率的雷达图像由有效但在计算资源方面成本高昂的传统超分辨方法生成，并且更高分辨率图像可以用作用于训练模型的地面真值。所得到的经训练的模型可以生成与由传统方法生成的图像非常近似的高分辨率传感器图像。因为这个经训练的模型只需要在推理阶段以前馈模式执行，所以它可以适合实时应用。此外，如果低水平雷达数据被用作用于训练模型的输入，则可以用比在检测水平雷达数据中可以获得的信息更全面的信息来训练模型。得的信息更全面的信息来训练模型。得的信息更全面的信息来训练模型。

【技术实现步骤摘要】
对雷达数据的基于机器学习的超分辨

技术介绍

[0001]交通工具的高级安全或驾驶系统可以使用电磁传感器(例如，雷达)来跟踪附近的对象。这些对象可以包括其他交通工具、行人和动物，以及无生命对象(诸如树木和路牌)。传感器收集低水平数据，包括不同维度(例如，距离、多普勒、方位角、仰角)中的信息，该低水平数据可以被处理以估计对象的位置、轨迹和移动。
[0002]在雷达系统中，低水平雷达数据的角分辨率可能受到雷达尺寸的限制。这种限制可能导致在方位角或仰角维度上分辨不佳的雷达图像，并可能降低雷达系统检测和分类对象的能力。

技术实现思路

[0003]本文档描述了用于对雷达数据的基于机器学习的超分辨的技术和系统。低分辨率雷达图像可以被用作输入，以训练用于对雷达数据的超分辨的模型。更高分辨率的雷达图像由有效但在计算资源方面成本高昂的传统超分辨方法生成，并且更高分辨率图像可以用作用于训练模型的地面真值(ground truth)。所得到的经训练的模型可以生成与由传统方法生成的图像非常近似的高分辨率雷达图像。因为这个经训练的模型只需要在推理(inference)阶段以前馈(feed
‑
forward)模式执行，所以它可以适合实时应用。此外，如果低水平雷达数据被用作用于训练模型的输入，则可以用比在检测水平雷达数据中可以获得的信息更全面的信息来训练模型。
[0004]在一个示例中，方法包括从电磁传感器获得传感器数据。方法进一步包括基于传感器数据生成以多个维度表示传感器数据的第一传感器图像。方法进一步包括基于传感器数据生成在多个维度上具有比第一传感器图像更高的分辨率的第二传感器图像。方法进一步包括通过机器学习并基于被用作输入数据的第一传感器图像和被用作地面真值数据的第二传感器图像来训练模型，以生成类似于第二传感器图像的高分辨率传感器图像，高分辨率传感器图像用于检测对象、跟踪对象、分类或分割中的至少一者。
[0005]可以由硬件或者硬件和在其上执行的软件的组合来执行这些和其他描述的技术。例如，计算机可读存储介质(CRM)可以具有存储在其上的指令，并且当该指令被执行时将处理器配置成用于执行所描述的技术。系统可以包括用于执行所描述技术的装置。处理器或处理器单元可以是被配置成用于执行本文所描述的方法和技术的系统的一部分。
[0006]通过实现本公开构想的这些和其他示例，可以使用机器学习模型从超分辨率低水平雷达数据获得高分辨率雷达数据。本
技术实现思路
介绍了与对雷达数据的基于机器学习的超分辨相关的简化概念，在具体实施方式和附图中进一步描述该简化概念。本
技术实现思路
并非旨在标识出要求保护的主题的必要特征，也并非旨在用于确定要求保护的主题的范围。
附图说明
[0007]本文档中参考附图描述了对雷达数据的基于机器学习的超分辨的细节，附图可以使用相同数字来引用类似特征和组件，以及使用连字符编号来指定这些类似特征和组件的
变化。附图组织如下：图1示出了根据本公开的技术的用于对雷达数据的基于机器学习的超分辨的示例训练环境；图2示出了根据本公开的技术的其中可以应用对雷达数据的基于机器学习的超分辨的示例环境；图3示出了根据本公开的技术的示例交通工具，该示例交通工具包括被配置成用于利用使用对雷达数据的基于机器学习的超分辨训练的模型的系统；图4示出了根据本公开的技术的用于对雷达数据的基于机器学习的超分辨的示例模型；图5示出了根据本公开的技术的被配置成用于对雷达数据的基于机器学习的超分辨的示例系统的流程图；图6示出了根据本公开的技术的被配置成用于对雷达数据的基于机器学习的超分辨的示例模型流水线(pipeline)；图7
‑
1和图7
‑
2示出了根据本公开的技术的被配置成用于对雷达数据的基于机器学习的超分辨的超分辨模型的多个输入通道；以及图8示出了根据本公开的技术的用于训练被配置成用于对雷达数据的基于机器学习的超分辨的模型的示例方法。
具体实施方式
概述
[0008]雷达系统可以收集包括多个维度(诸如距离、方位角和仰角)中的信息的低水平雷达数据(例如，时间序列、未压缩的数据立方体、无损快速傅里叶变换(FFT))。通常，距离和多普勒维度中的信息的分辨率大于与方位角或仰角相关联的角分辨率的分辨率。
[0009]超分辨方法努力提高雷达图像在所有维度上的分辨率，特别是角度分辨率。用于对雷达数据的超分辨的一些传统处理使用了检测水平数据(例如，压缩数据、阈值化后的数据)和基于稀疏恢复方法的迭代方法。然而，将低水平雷达数据缩减为检测水平数据可能会丢失被包含在低水平雷达中的关于散射对象的性质的信息，因为这会将它们缩减为点散射体。无论使用标准分类方法还是基于机器学习的方法，这些过程都可能限制对象的检测和分类。此外，有效的传统方法(诸如多信号分类(MUSIC)和迭代自适应算法(IAA))可能在计算资源方面成本高昂并且耗时，从而限制了它们在实时实现中的使用。
[0010]相比之下，本文所描述的方法和系统用更快的机器学习的超分辨方法代替了成本高昂且耗时的方法，该机器学习的超分辨方法已经被训练以模仿更昂贵的方法。这种机器学习的超分辨方法可以将传统方法中使用的迭代过程折叠成单个非迭代前向传播。使用匹配的低分辨率和高分辨率传感器图像对(pair)来实现这一点。在非限制性示例中，低分辨率图像可以用作人工神经网络(ANN)的输入，而高分辨率传感器图像可以用作训练网络的期望输出(例如，地面真值)。如本文所描述的，机器学习的超分辨方法可以使用低水平雷达数据(例如，时间序列、未压缩的数据立方体、无损FFT)来捕获来自雷达回波的所有信息，或者替代地，可以使用经阈值化的数据(例如，检测水平雷达数据)。
[0011]低分辨率图像可以是包括多个维度的数据立方体(例如，具有距离、多普勒、方位
角和仰角域的四维数据立方体)。替代地，低分辨率图像可以是应用离散傅里叶变换(DFT)之前的原始数据。这种方法使用基于参数模型的定位来利用低水平雷达数据中的信息，这些信息在检测水平雷达数据中是不可获得的。
[0012]可以使用可以提供期望分辨率的传统方法来生成用作有效真值的高分辨率传感器图像。可以选择传统方法的任意次数的迭代，因为传统方法只需要对每个输入数据示例执行一次，即可产生用于训练机器学习模型的高分辨率传感器图像。
[0013]在使用ANN模型的示例中，ANN模型采用编码器
‑
解码器架构。输入可以是如上所述的低水平雷达数据，并且输出可以是与将由传统方法使用相同低水平雷达数据生成的高分辨率雷达图像非常近似的高分辨率雷达图像。在推理阶段，经训练的ANN模型可以在前馈模式下执行，因此可以快速产生超分辨图像(例如，足以用于实时应用)。
[0014]此外，由于雷达数据在角度域(例如，方位角域、仰角域)中通常具有较低的分辨率，因此本文在角度维度中的超分辨率的背景下来描述方法和系统。然而，这些方法和系统可以应用于任何雷达维度。在传统摄影成像中，卷积神经网络(CNN)通常使用正方形滤波器内核，因为水本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，所述方法包括：从电磁传感器获得传感器数据；基于所述传感器数据生成第一传感器图像，所述第一传感器图像以多个维度表示所述传感器数据；基于所述传感器数据生成第二传感器图像，所述第二传感器图像在所述多个维度中的至少一个维度上具有比所述第一传感器图像更高的分辨率；通过机器学习并基于被用作输入数据的所述第一传感器图像和被用作地面真值数据的所述第二传感器图像来训练模型，以生成近似所述第二传感器图像的高分辨率传感器图像，生成的高分辨率传感器图像能够用于检测对象、跟踪对象、分类或分割中的至少一者。2.如权利要求1所述的方法，其特征在于，被训练的所述模型包括至少一个人工神经网络。3.如权利要求2所述的方法，其特征在于，所述模型进一步包括一个或多个下采样层和一个或多个上采样层。4.如权利要求2所述的方法，其特征在于，所述至少一个人工神经网络中的至少一个人工神经网络是卷积神经网络，所述卷积神经网络包括一个或多个下采样层、一个或多个上采样层和一个或多个卷积层。5.如权利要求4所述的方法，其特征在于，被配置成用于补偿所述多个维度中的一个维度的较低分辨率的矩形滤波器内核用于训练所述模型。6.如权利要求4所述的方法，其特征在于，所述模型包括：输入层，所述输入层被配置成用于接收所述第一传感器图像作为输入数据并且接收所述第二传感器图像作为地面真值数据；第一卷积层，所述第一卷积层被配置成用于接收所述输入层的输出作为输入；第一下采样层，所述第一下采样层被配置成用于接收所述第一卷积层的输出作为输入；第二卷积层，所述第二卷积层被配置成用于接收所述第一下采样层的输出作为输入；第二下采样层，所述第二下采样层被配置成用于接收所述第二卷积层的输出作为输入；第一上采样层，所述第一上采样层被配置成用于接收所述第二下采样层的输出作为输入；第三卷积层，所述第三卷积层被配置成用于接收所述第一上采样层的输出作为输入；第二上采样层，所述第二上采样层被配置成用于接收所述第三卷积层的输出作为输入；第四卷积层，所述第四卷积层被配置成用于接收所述第二上采样层的输出作为输入；以及输出层，所述输出层被配置成用于接收所述第四卷积层的输出作为输入，并输出所述生成的高分辨率传感器图像。7.如权利要求1所述的方法，其特征在于：所述输入数据是基于所述多个维度中的传感器数据幅度的绝对值的；并且所述传感器数据幅度的所述绝对值经由单个输入通道被输入到所述模型中。
8.如权利要求1所述的方法，其特征在于，所述电磁传感器是雷达系统。9.如权利要求8所述的方法，其特征在于，所述多个维度包括以下各项中的至少两者：距离域；多普勒域；方位角域；或者仰角域。10.如权利要求9所述的方法，其特征在于，生成所述第一传感器图像包括：基于所述传感器数据确定波束向量集合，所述波束向量集合涵盖与所述传感器数据相关联的所有距离仓和多普勒仓；以及从涵盖所有所述距离仓和多普勒仓的所述波束向量中选择波束向量的子集，所述波束向量的子集包括在所有距离仓处的多普勒仓集合；以及基于所述波束向量的子集获得距离
‑
角度图。11.如权利要求10所述的方法，其特征在于：所述波束向量集合是从由所述雷达传感器的稀疏接收通道和密集接收通道接收的数据中导出的；所述输入数据是基于由所述稀疏接收通道和所述密集接收通道接收的所述波束向量的子集的幅度和相位的；由所述稀疏接收通道和所述密集接收通道接收的所述波束向量的所述幅度被输入在所述模型的第一通道上；由所述稀疏接收通道和所述密集接收通道接收的所述波束向量的所述相位被输入在所述模型的第二通道上；并且训练所述模型进一步包括使用深度神经网络和滤波器内核，所述滤波器内核被配置成用于捕获所述输入数据的特征。12.如权利要...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：安波福技术有限公司，
类型：发明
国别省市：