训练学生神经网络以基于数据来检测对象的系统和方法技术方案

本申请公开了一种用于训练学生神经网络以基于雷达数据和激光雷达数据来检测对象的系统和方法，该方法包括：生成基于雷达的强度图和基于激光雷达的强度图；以及对基于雷达的强度图和基于激光雷达的强度图执行一个或更多个增强例程以生成雷达输入和激光雷达输入。该方法包括基于雷达输入和激光雷达输入生成多个基于教师的边界框和多个基于学生的边界框。该方法包括：基于多个基于教师的边界框和多个真实边界框确定多个基于学生的边界框的损失值；基于损失值更新学生神经网络(80)的一个或更多个权重；以及基于与学生神经网络(80)的一个或更多个权重相关联的移动平均来更新教师神经网络(70)的一个或更多个权重。教师神经网络(70)的一个或更多个权重。教师神经网络(70)的一个或更多个权重。

【技术实现步骤摘要】
训练学生神经网络以基于数据来检测对象的系统和方法


[0001]本公开内容涉及用于训练神经网络以使用激光雷达传感器和雷达传感器执行对象检测的系统和方法。

技术介绍

[0002]自动和半自动车辆使用光检测和测距(激光雷达)传感器或雷达传感器来检测车辆周围的环境中的对象并执行定位例程诸如驾驶员辅助例程、自适应巡航控制例程、制动例程和/或对象检测例程。然而，与激光雷达传感器相比，雷达传感器可能提供较低的数据分辨率，从而抑制了定位例程的准确性。此外，尽管与雷达传感器相比，激光雷达传感器具有较高的分辨率，但是当使用激光雷达传感器时，不利的天气条件仍抑制定位例程的准确性。具体地，激光雷达光束可以折射离开由例如雾、雨和/或雪形成的液滴。

技术实现思路

[0003]本公开内容提供了用于训练学生神经网络以基于从一个或更多个雷达传感器获得的雷达数据和从一个或更多个激光雷达传感器获得的激光雷达数据来检测一个或更多个对象的方法。该方法包括：基于雷达数据生成基于雷达的强度图，以及基于激光雷达数据生成基于激光雷达的强度图；对基于雷达的强度图和基于激光雷达的强度图执行一个或更多个增强例程以生成雷达输入和激光雷达输入；使用教师神经网络基于雷达输入和激光雷达输入生成多个基于教师的边界框；以及使用学生神经网络基于雷达输入和激光雷达输入生成多个基于学生的边界框。该方法包括：基于多个基于教师的边界框和多个真实边界框确定多个基于学生的边界框的损失值；基于损失值更新学生神经网络的一个或更多个权重；以及基于与学生神经网络的一个或更多个权重相关联的移动平均来更新教师神经网络的一个或更多个权重。
附图说明
[0004]根据以下参照附图进行的详细描述，本公开内容的上述和其他目的、特征和优点将变得更加明显。在附图中：
[0005]图1是根据本公开内容的教导的训练系统的功能框图；
[0006]图2是根据本公开内容的教导的教师神经网络的功能框图；
[0007]图3是根据本公开内容的教导的学生神经网络的功能框图；
[0008]图4是根据本公开内容的教导的在车辆中提供的经训练的学生神经网络的功能框图；
[0009]图5是根据本公开内容的教导的用于训练学生神经网络的示例例程的流程图；
[0010]图6是根据本公开内容的教导的用于执行一个或更多个增强例程的示例例程的流程图；以及
[0011]图7是根据本公开内容的教导的用于生成建议的边界框的示例例程的流程图。
具体实施方式
[0012]在一种形式中，对基于雷达的强度图和基于激光雷达的强度图执行一个或更多个增强例程以生成雷达输入和激光雷达输入还包括以下操作：对基于雷达的强度图执行第一增强例程以生成雷达输入；对基于激光雷达的强度图执行第一增强例程以生成增强的激光雷达输入；以及对增强的激光雷达输入执行第二增强例程以生成激光雷达输入。在一种形式中，第一增强例程是平移例程、旋转例程、缩放例程、翻转例程或它们的组合。在一种形式中，第二增强例程是噪声增强例程。
[0013]在一种形式中，使用教师神经网络基于雷达输入和激光雷达输入生成多个基于教师的边界框还包括：基于雷达输入提取一个或更多个基于雷达的特征以及基于激光雷达输入提取一个或更多个基于激光雷达的特征；基于一个或更多个基于雷达的特征生成多个基于雷达的建议的边界框以及基于一个或更多个基于激光雷达的特征生成多个基于激光雷达的建议的边界框；将多个基于雷达的建议的边界框与多个基于激光雷达的建议的边界框进行连结(concatenate)以生成张量；以及对张量执行回归例程以生成多个基于教师的边界框。在一种形式中，多个基于雷达的建议的边界框和多个基于激光雷达的建议的边界框在预定义的时间段内被连结。
[0014]在一种形式中，使用学生神经网络基于雷达输入和激光雷达输入生成多个基于学生的边界框还包括：基于雷达输入提取一个或更多个基于雷达的特征以及基于激光雷达输入提取一个或更多个基于激光雷达的特征；基于一个或更多个基于雷达的特征生成多个基于雷达的建议的边界框以及基于一个或更多个基于激光雷达的特征生成多个基于激光雷达的建议的边界框；将多个基于雷达的建议的边界框与多个基于激光雷达的建议的边界框进行连结以生成张量；以及对张量执行回归例程以生成多个基于学生的边界框。在一种形式中，多个基于雷达的建议的边界框与多个基于激光雷达的建议的边界框在预定义的时间段内被连结。在一种形式中，与学生神经网络的一个或更多个权重相关联的移动平均是指数移动平均。在一种形式中，该方法包括：响应于损失值小于阈值来确定学生神经网络被训练。
[0015]本公开内容提供了用于训练学生神经网络以基于从一个或更多个雷达传感器获得的雷达数据和从一个或更多个激光雷达传感器获得的激光雷达数据来检测一个或更多个对象的系统。该系统包括一个或更多个处理器以及存储能够由一个或更多个处理器执行的指令的一个或更多个非暂态计算机可读介质。指令包括：基于雷达数据生成基于雷达的强度图以及基于激光雷达数据生成基于激光雷达的强度图；对基于雷达的强度图和基于激光雷达的强度图执行一个或更多个增强例程以生成雷达输入和激光雷达输入；使用教师神经网络基于雷达输入和激光雷达输入生成多个基于教师的边界框；以及使用学生神经网络基于雷达输入和激光雷达输入生成多个基于学生的边界框。指令包括：基于多个基于教师的边界框和多个真实(ground truth)边界框来确定多个基于学生的边界框的损失值；基于损失值来更新学生神经网络的一个或更多个权重；基于与学生神经网络的一个或更多个权重相关联的指数移动平均来更新教师神经网络的一个或更多个权重；以及响应于损失值小于阈值来确定学生神经网络被训练。
[0016]本公开内容提供了用于训练学生神经网络以基于从一个或更多个雷达传感器获得的雷达数据和从一个或更多个激光雷达传感器获得的激光雷达数据来检测一个或更多
个对象的方法。该方法包括：基于雷达数据生成基于雷达的强度图以及基于激光雷达数据生成基于激光雷达的强度图；对基于雷达的强度图和基于激光雷达的强度图执行一个或更多个增强例程以生成雷达输入和激光雷达输入；使用教师神经网络基于雷达输入和激光雷达输入生成多个基于教师的边界框；以及使用学生神经网络基于雷达输入和激光雷达输入生成多个基于学生的边界框。该方法包括：基于多个基于教师的边界框和多个真实边界框来确定多个基于学生的边界框的损失值；基于损失值来更新学生神经网络的一个或更多个权重；基于与学生神经网络的一个或更多个权重相关联的指数移动平均来更新教师神经网络的一个或更多个权重；以及响应于损失值小于阈值来确定学生神经网络被训练。
[0017]根据本文提供的描述，其他适用领域将变得明显。应当理解的是，描述和具体示例仅旨在用于说明的目的，并不旨在限制本公开内容的范围。
[0018]以下描述本质上仅是示例性的，并不旨在限制本公开内容、应用或使用。应当理解，在所有附图中，相应的附图标记指示相同或相应的部件和特征。
[0019]本公开内容提供了用于训练学生神经网络以基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练学生神经网络以基于从一个或更多个雷达传感器获得的雷达数据和从一个或更多个激光雷达传感器获得的激光雷达数据来检测一个或更多个对象的方法，所述方法包括：基于所述雷达数据生成基于雷达的强度图，以及基于所述激光雷达数据生成基于激光雷达的强度图；对所述基于雷达的强度图和所述基于激光雷达的强度图执行一个或更多个增强例程以生成雷达输入和激光雷达输入；使用教师神经网络基于所述雷达输入和所述激光雷达输入生成多个基于教师的边界框；使用所述学生神经网络基于所述雷达输入和所述激光雷达输入生成多个基于学生的边界框；基于所述多个基于教师的边界框和多个真实边界框确定所述多个基于学生的边界框的损失值；基于所述损失值更新所述学生神经网络的一个或更多个权重；以及基于与所述学生神经网络的一个或更多个权重相关联的移动平均来更新所述教师神经网络的一个或更多个权重。2.根据权利要求1所述的方法，其中对所述基于雷达的强度图和所述基于激光雷达的强度图执行所述一个或更多个增强例程以生成所述雷达输入和所述激光雷达输入还包括：对所述基于雷达的强度图执行第一增强例程以生成所述雷达输入；对所述基于激光雷达的强度图执行所述第一增强例程以生成增强的激光雷达输入；以及对所述增强的激光雷达输入执行第二增强例程以生成所述激光雷达输入。3.根据权利要求2所述的方法，其中所述第一增强例程是平移例程、旋转例程、缩放例程、翻转例程或它们的组合。4.根据权利要求2所述的方法，其中所述第二增强例程是噪声增强例程。5.根据权利要求1所述的方法，其中使用所述教师神经网络基于所述雷达输入和所述激光雷达输入生成所述多个基于教师的边界框还包括：基于所述雷达输入提取一个或更多个基于雷达的特征，以及基于所述激光雷达输入提取一个或更多个基于激光雷达的特征；基于所述一个或更多个基于雷达的特征生成多个基于雷达的建议的边界框，以及基于所述一个或更多个基于激光雷达的特征生成多个基于激光雷达的建议的边界框；连结所述多个基于雷达的建议的边界框和所述多个基于激光雷达的建议的边界框以生成张量；以及对所述张量执行回归例程以生成所述多个基于教师的边界框。6.根据权利要求5所述的方法，其中所述多个基于雷达的建议的边界框和所述多个基于激光雷达的建议的边界框在预定
义的时间段内被连结。7.根据权利要求1所述的方法，其中使用所述学生神经网络基于所述雷达输入和所述激光雷达输入生成所述多个基于学生的边界框还包括：基于所述雷达输入提取一个或更多个基于雷达的特征，以及基于所述激光雷达输入提取一个或更多个基于激光雷达的特征；基于所述一个或更多个基于雷达的特征生成多个基于雷达的建议的边界框，以及基于所述一个或更多个基于激光雷达的特征生成多个基于激光雷达的建议的边界框；连结所述多个基于雷达的建议的边界框和所述多个基于激光雷达的建议的边界框以生成张量；以及对所述张量执行回归例程以生成所述多个基于学生的边界框。8.根据权利要求7所述的方法，其中所述多个基于雷达的建议的边界框和所述多个基于激光雷达的建议的边界框在预定义的时间段内被连结。9.根据权利要求1所述的方法，其中与所述学生神经网络的一个或更多个权重相关联的所述移动平均是指数移动平均。10.根据权利要求1所述的方法，还包括响应于所述损失值小于阈值，确定所述学生神经网络被训练。11.一种训练学生神经网络以基于从一个或更多个雷达传感器获得的雷达数据和从一个或更多个激光雷达传感器获得的激光雷达数据来检测一个或更多个对象的系统，所述系统包括：一个或更多个处理器、以及存储能够由所述一个或更多个处理器执行的指令的一个或更多个非暂态计算机可读介质，其中，所述指令包括：基于所述雷达数据生成基于雷达的强度图，以及基于所述激光雷达数据生成基于激光雷达的强度图；对所述基于雷达的强度图和所述基于激光雷达的强度图执行一个或更多个增强例程以生成雷达输入和激光雷达输入；使用教师神经网络基于所述雷达输入和所述激光雷达输入生成多个基于教师的边界框；使用所述学生神经网络基于所述雷达输入和所述激光雷达输入生成多个基于学生的边界框；基于所述多个基于教师的边界框和多个真实边界框确定所述多个基于学生的边界框的损失值；基于所述损失值更新所述学生神经网络的一个或更多个权重；基于与所述学生神经网络的一个或更多个权重相关联的指数移动平均来更新所述教师神经网络的一个或更多个权重；以及响应于所述损失值小于阈值，确定所述学生神经网络被训练。12.根据权利要求11所述的系统，其中
用于...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：株式会社电装，
类型：发明
国别省市：