一种目标确定方法以及目标确定装置制造方法及图纸

本申请公开了一种目标确定方法，属于感知融合领域，可以应用在智能汽车、智能网联汽车上，包括：获取待处理图像和多个毫米波探测点，待处理图像和多个毫米波探测点是针对相同检测目标同步获取的数据，每个毫米波探测点包括深度信息。将多个毫米波探测点映射到待处理图像上。根据第一信息确定检测目标在待处理图像上的多个候选框，第一信息包括每个毫米波探测点的深度信息和位置信息。根据深度信息对多个候选框进行非极大值抑制NMS处理，以输出目标框和目标毫米波探测点，目标框是根据目标毫米波探测点的深度信息和位置信息确定的。本申请提供的方案可以提升视觉传感器和毫米波雷达的检测结果的关联的准确率。的检测结果的关联的准确率。的检测结果的关联的准确率。

【技术实现步骤摘要】
一种目标确定方法以及目标确定装置


[0001]本申请涉及通信
，具体涉及一种目标确定方法以及目标确定装置。

技术介绍

[0002]人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
[0003]目标检测与识别是指从场景(例如，图像)中找出目标，可以包括检测和识别两个过程。其中，检测具体指判断是否存在目标，若存在目标，则确定目标的位置。识别具体指确定目标的类别。目标检测与识别在生活中多个领域中有着广泛的应用，例如，自动驾驶领域、驾驶辅助预警等领域。在进行目标检测与识别过程中，通常需要进行多传感器融合，例如，将激光雷达、毫米波雷达、视觉传感器、红外线传感器等采集到的数据进行融合，以获取车辆周围环境信息，即对车辆周围环境中的目标物进行检测和识别。
[0004]然而，要准确融合多传感器的数据须要进行目标在不同传感器的一一关联，即进行多传感器目标匹配。完成多传感器目标匹配后通过融合即可得到目标的准确信息。由于不同传感器的特性不同，异构传感器的检测结果的关联比较困难。其中，视觉传感器和毫米波雷达的检测结果的关联尤为困难。

技术实现思路

[0005]本申请实施例提供一种目标确定方法，使得可以提升视觉传感器和毫米波雷达的检测结果的关联的准确率。
[0006]为达到上述目的，本申请实施例提供如下技术方案：
[0007]本申请第一方面提供一种目标确定方法，本申请提供的方法可以适应于自动驾驶领域或者监控领域。可以包括：获取待处理图像和多个毫米波探测点，待处理图像和多个毫米波探测点是针对相同检测目标同步获取的数据。毫米波雷达的工作原理是利用高频电路产生特定调制频率的电磁波，并通过天线发送电磁波和接收从目标发射回来的电磁波，通过发送和接收电磁波的参数来计算目标的各个参数。毫米波雷达可以同时对多个目标进行测距、测速以及方位测量。测速是根据多普勒效应，而方位测量(包括水平角度和垂直角度)是通过天线的阵列方式来实现。可以理解为一个毫米波探测点包括目标的各个参数，具体的，本方案中的毫米波探测点包括深度信息，即通过测距获取的参数。当然，毫米波探测点还可以包括其他参数，比如一个毫米波探测点可以包括目标的深度信息，目标的速度信息(通过测速获取的参数)以及目标的方位信息(通过方位测量获取的参数)。其中，同步获取
的数据可以理解为毫米波雷达和图像传感器同时采集数据，或者可以理解为毫米波雷达和图像传感器采集数据的帧率的偏差在预设范围内。比如，针对相同的检测目标，毫米波雷达按照第一帧率采集毫米波探测点，图像传感器按照第二帧率采集待处理图像，第一帧率和第二帧率的偏差小于预设阈值即可以认为毫米波雷达和待处理图像是同步获取的数据。可以通过视觉传感器获取待处理图像，通过毫米波雷达获取多个毫米波探测点。当本申请提供的方法应用在自动驾驶领域的场景下时，待处理图像可以是车辆通过视觉传感器获取的图像，具体的，待处理图像可以是车辆通过安装在车辆上的摄像机拍摄的图像。当本申请提供的方法应用在监控场景时，待处理图像可以是马路边安装的视觉传感器获取的图像，具体的，待处理图像可以是马路边安装的摄像机拍摄的图像。每个毫米波探测点可以包括深度信息，深度信息用于表示检测目标与毫米波雷达的距离，毫米波雷达用于获取多个毫米波探测点。该检测目标可以是车辆、人、树木等任意目标。将多个毫米波探测点映射到待处理图像上。根据第一信息确定检测目标在待处理图像上的多个候选框，第一信息可以包括每个毫米波探测点的深度信息和位置信息，位置信息用于表示每个毫米波探测点映射在待处理图像上的位置。根据每个毫米波探测点的深度信息和位置信息都可以确定一组候选框，该一组候选框中包括多个候选框。根据深度信息对多个候选框进行非极大值抑制(non-maximun suppression,NMS)处理，以输出目标框和目标毫米波探测点，目标框是根据目标毫米波探测点的深度信息和位置信息确定的。由第一方面可知，通过将毫米波探测点映射到待处理图像上，通过毫米波探测点的位置信息和深度信息确定待处理图像的多个候选框，并根据深度信息对多个候选框进行NMS处理，当确定最终的候选框时，可以输出与该候选框关联的毫米波探测点，提升目标匹配的精确度。
[0008]可选地，结合上述第一方面，在第一种可能的实现方式中，根据深度信息对多个候选框进行非极大值抑制NMS处理，可以包括：根据第一分数和第二分数对多个候选框进行非极大值抑制NMS处理，第一分数表示根据分类器确定的、每个候选框中的检测目标属于N个类别中的每个类别的概率，N个类别为预先设定的类别，N为正整数，第二分数表示根据深度信息与每个类别之间的第一概率分布确定的、每个候选框中的检测目标属于N个类别中的每个类别的概率。由第一方面第一种可能的实现方式可知，给出了一种具体的根据深度信息对多个候选框进行NMS处理的方式。第一方面第一种可能的实现方式通过第一分数和第二分数对多个候选框进行NMS处理，提升数据关联的准确率，即提升同一个目标在不同传感器的一一匹配对应的准确率。
[0009]可选地，结合上述第一方面第一种可能的实现方式，在第二种可能的实现方式中，该方法还可以包括：对第一集合中的数据进行统计，确定每个类别对应的统计目标的第一尺寸的概率分布，第一集合可以包括每个类别对应的多个统计目标，以及每个统计目标的尺寸信息。根据第一尺寸的概率分布以及第一关系确定第一概率分布，第一关系为统计目标的尺寸与统计目标对应的毫米波探测点的深度信息之间的关系。由第一方面第二种可能的实现方式可知，给出了一种具体的如何确定第一概率分布的方式，增加了方案的多样性。
[0010]可选地，结合上述第一方面第二种可能的实现方式，在第三种可能的实现方式中，该方法还可以包括：对第二集合中的数据进行统计，确定每个类别对应的统计目标的第二尺寸的概率分布，第二集合可以包括每个类别对应的多个统计目标，以及每个统计目标的尺寸信息。根据第二尺寸分布以及第二关系确定第二概率分布，所示第二概率分布用于更
新第一概率分布，第二关系为统计目标的尺寸与统计目标对应的毫米波探测点的深度信息之间的关系。由第一方面第三种可能的实现方式可知，可以对数据进行更新。比如在自动驾驶的场景中，可以通过更新后的数据确定深度信息和每个类别之间的概率分布。
[0011]可选地，结合上述第一方面第二种或第一方面第三种可能的实施方式，在第四种可能的实施方式中，尺寸信息为统计目标的高度信息。由第一方面第四种可能的实现方式可知，给出了一种具体的尺寸信息的类别，增加了方案的多样性。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标确定方法，其特征在于，包括：获取待处理图像和多个毫米波探测点，所述待处理图像和所述多个毫米波探测点是针对相同检测目标同步获取的数据，每个所述毫米波探测点包括深度信息，所述深度信息用于表示所述检测目标与毫米波雷达的距离，所述毫米波雷达用于获取所述多个毫米波探测点；将所述多个毫米波探测点映射到所述待处理图像上；根据第一信息确定所述检测目标在所述待处理图像上的多个候选框，所述第一信息包括每个所述毫米波探测点的所述深度信息和位置信息，所述位置信息用于表示每个毫米波探测点映射在所述待处理图像上的位置；根据所述深度信息对所述多个候选框进行非极大值抑制NMS处理，以输出目标框和目标毫米波探测点，所述目标框是根据所述目标毫米波探测点的所述深度信息和所述位置信息确定的。2.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息对所述多个候选框进行非极大值抑制NMS处理，包括：根据第一分数和第二分数对所述多个候选框进行非极大值抑制NMS处理，所述第一分数表示根据分类器确定的每个候选框中的检测目标属于N个类别中的每个类别的概率，所述N个类别为预先设定的类别，所述N为正整数，所述第二分数表示根据所述深度信息与所述每个类别之间的第一概率分布确定的每个候选框中的检测目标属于N个类别中的每个类别的概率。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对第一集合中的数据进行统计，确定所述每个类别对应的统计目标的第一尺寸的概率分布，所述第一集合包括所述每个类别对应的多个统计目标，以及每个所述统计目标的尺寸信息；根据所述第一尺寸的概率分布以及第一关系确定所述第一概率分布，所述第一关系为所述统计目标的尺寸与所述统计目标对应的毫米波探测点的深度信息之间的关系。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：对第二集合中的数据进行统计，确定所述每个类别对应的统计目标的第二尺寸的概率分布，所述第二集合包括所述每个类别对应的多个统计目标，以及每个所述统计目标的尺寸信息；根据所述第二尺寸分布以及第二关系确定第二概率分布，所示第二概率分布用于更新所述第一概率分布，所述第二关系为所述统计目标的尺寸与所述统计目标对应的毫米波探测点的深度信息之间的关系。5.根据权利要求3或4所述的方法，其特征在于，所述尺寸信息为所述统计目标的高度信息。6.根据权利要求1至5任一项所述的方法，其特征在于，所述位置信息用于结合所述毫米波探测点在车辆上的分布特性确定所述候选框在所述待处理图像中的位置。7.根据权利要求1至6任一项所述的方法，其特征在于，所述深度信息用于确定所述候选框的尺寸，所述候选框的尺寸与所述深度信息负相关。8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
通过高效区域卷积神经网络Faster-RCNN对所述待处理图像进行处理，得到所述待处理图像的第一特征图；从所述第一特征图中提取所述多个候选框对应的第二特征图；通过回归网络和分类器对所述第二特征图进行处理，以得到第一结果，所述第一结果用于进行非极大值抑制NMS处理。9.根据权利要求1至8任一项所述的方法，其特征在于，通过视觉传感器获取所述待处理图像，所述视觉传感器的采样频率为第一频率，所述毫米波雷达的采样频率为第二频率，所述第一频率和所述第二频率的差值不大于预设阈值。10.一种目标确定装置，其特征在于，包括：获取模块，用于获取待处理图像和多个毫米波探测点，所述待处理图像和所述多个毫米波探测点是同步获取的数据，每个所述毫米波探测点包括深度信息，所述深度信息用于表示检测目标与毫米波雷达的距离，所述毫米波雷达用于获取所述多个毫米波探测点；映射模块，用于将所述获取模块获取的所述多个毫米波探测点映射到所述获取模块获取所述待处理图像上；处理模块，用于根据第一信息确定所述检测目标在所述待处理图像上的多个候选框，所述第一信息包括每个所述毫米波探测点的所述深度信息和位置信息，所述位置信息用于表示每个毫米波探测点映射在所述待处理图像上的位置；所述处理模块，还用于根据所述深度信息对所述多个候选框进行非极大值抑制NMS处理，以输出目标框和目标毫米波探测点，所述目标框是根据所述目标毫米波探测点的所述深度信息和所述位置信息...

【专利技术属性】
技术研发人员：原崧育，杨臻，张维，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：