一种提取伪图像特征的图像和毫米波雷达目标的匹配方法组成比例

本申请涉及一种提取伪图像特征的图像和毫米波雷达目标的匹配方法，其包括基于时间同步下的图像和该时间下的毫米波雷达目标，将毫米波雷达目标投影到图像上；标注图像的目标区域，将目标区域与毫米波雷达目标一一对应，获得匹配关系，并根据图像目标区域和毫米波雷达目标的信息，构建伪图像；根据匹配关系监督训练得到第一特征提取模型，提取伪图像的图像特征，将图像特征进行融合；提取目标点特征和雷达点特征，采用第二特征提取模型进行特征再加工，并结合匹配关系监督训练第二特征提取模型，获得目标特征提取模型后输出待匹配特征；采用匹配模型对待匹配特征进行最优匹配，得到匹配矩阵后解析。本申请具有提高匹配准确率的效果。效果。效果。

【技术实现步骤摘要】
一种提取伪图像特征的图像和毫米波雷达目标的匹配方法


[0001]本申请涉及自动驾驶
，尤其是涉及一种提取伪图像特征的图像和毫米波雷达目标的匹配方法。

技术介绍

[0002]目前，自动驾驶车辆面临的挑战之一是复杂场景中的精确目标检测和跟踪，而当前的视觉目标检测和跟踪算法已经达到了性能上限，与视觉算法中的视觉传感器相比，毫米波雷达的检测性能受极端天气的影响较小，此外，毫米波雷达不仅可以测量距离，还可以利用运动物体反射信号的多普勒效应测量速度矢量，并且具有穿透性，受遮挡的影响小，在遮挡情况下更具备跟踪条件。
[0003]但是，毫米波雷达在识别3D目标时是聚类为一个目标点，分辨率较低，难以提供目标的准确轮廓和外观信息。同时视觉目标检测易受遮挡和极端天气的影响，并且无法测量自车与目标的距离和相对速度。
[0004]针对上述中的相关技术，专利技术人发现现有的图像目标和毫米波雷达目标在匹配时存在有准确率较低的问题。

技术实现思路

[0005]为了提高图像目标和毫米波雷达目标的匹配准确率，本申请提供了提一种提取伪图像特征的图像和毫米波雷达目标的匹配方法。
[0006]第一方面，本申请提供一种提取伪图像特征的图像和毫米波雷达目标的匹配方法。
[0007]本申请是通过以下技术方案得以实现的：一种提取伪图像特征的图像和毫米波雷达目标的匹配方法，包括以下步骤，基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的雷达点坐标；标注所述图像的目标区域，将属于真实世界的同一个目标物体的所述的图像的目标区域与所述毫米波雷达目标一一对应，获得匹配关系，并根据所述图像的目标区域和所述毫米波雷达目标的信息，构建伪图像；根据所述匹配关系监督训练得到第一特征提取模型，基于所述第一特征提取模型，提取所述伪图像的图像特征，将所述图像特征进行融合，得到全局特征；提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷达点特征；基于所述目标点特征和所述雷达点特征，采用第二特征提取模型进行特征再加工，并结合所述匹配关系监督训练所述第二特征提取模型，获得目标特征提取模型后输出待匹配特征；采用匹配模型对所述待匹配特征进行最优匹配，得到匹配矩阵；
基于所述匹配矩阵，解析出所述图像和所述毫米波雷达目标的匹配结果。
[0008]本申请在一较佳示例中可以进一步配置为：还包括以下步骤，所述待匹配特征包括图像目标点特征和雷达点特征，对所述图像目标点特征和所述雷达点特征进行内积计算，得到得分矩阵；采用匹配模型，将所述得分矩阵经过优化匹配层进行最优匹配，得到目标扩充矩阵；根据所述目标扩充矩阵得到匹配矩阵，初始化回归参数，将所述回归参数放入优化匹配层中进行迭代，并通过监督训练得到回归参数。
[0009]本申请在一较佳示例中可以进一步配置为：所述采用匹配模型，将所述得分矩阵经过优化匹配层进行最优匹配，得到目标扩充矩阵的步骤包括，初始化最优匹配后的每行之和及每列之和的目标常数；对所述得分矩阵的最后一行和最后一列分别增加一行和一列，并在增加的一行和一列中以回归参数进行填充，得到第一扩充矩阵；开始第一次迭代，计算所述第一扩充矩阵的每行之和，对应得到第一常数；对于第一扩充矩阵的每一行除以第一常数，并乘以目标常数，得到第二扩充矩阵；计算所述第二扩充矩阵的每列之和，对应得到第二常数；对于第二扩充矩阵的每一列除以第二常数，并乘以目标常数，得到第三扩充矩阵，结束第一次迭代；按照第一次迭代的方式，继续迭代第三扩充矩阵的每行和每列，直到达到预设次数，得到目标扩充矩阵。
[0010]本申请在一较佳示例中可以进一步配置为：还包括以下步骤求解所述匹配矩阵的每一列的最大分数值所在的行数i，并判断所述最大分数值是否大于预设阈值；若所述匹配矩阵的最大分数值大于预设阈值时，则位于当前列数的所述图像目标和所述行数i的所述毫米波雷达目标的第i个雷达点匹配；若所述匹配矩阵的最大分数值小于预设阈值时，则该列所对应的某个图像目标没有与之匹配的雷达点。
[0011]本申请在一较佳示例中可以进一步配置为：所述根据所述目标区域和所述毫米波雷达目标的信息，构建伪图像的步骤包括，选取任一时刻下的RGB彩色图像，并标注出所述RGB彩色图像内图像目标的目标中心位置以及宽、高和目标类别，并记录下此时的相机参数；选取相同时刻下的毫米波雷达输出的雷达目标信息，所述雷达目标信息包含有雷达目标Id、目标点可能性概率、雷达目标在雷达坐标系下的第一位置和雷达目标在雷达坐标系下的速度；将雷达目标的所述第一位置通过所述相机参数，利用坐标系转换，获得所述雷达目标在图像上的第二位置；创建一个与所述RGB彩色图像的大小一样的7通道的第一矩阵，将所述雷达目标的雷达目标Id、目标点可能性概率、雷达目标在雷达坐标系下的第一位置、雷达目标在雷达坐标系下的速度和雷达目标热图的特征值填充至所述第一矩阵位于所述雷达目标在图像上
的第二位置处的7个通道上；创建一个与所述RGB彩色图像的大小一样的4通道的第二矩阵，将图像目标的宽、高、目标类别和图像目标热图的特征值填充至所述第二矩阵位于所述图像目标的中心位置处的4个通道上；将所述RGB彩色图像的3通道矩阵、所述第一矩阵的7通道矩阵以及所述第二矩阵的4通道矩阵进行拼接，形成一个14通道的伪图像。
[0012]本申请在一较佳示例中可以进一步配置为：所述第一特征提取模型为ResNet50/34/18或VGG16/19中的任意一种。
[0013]本申请在一较佳示例中可以进一步配置为：所述第二特征提取模型为SuperGlue模型。
[0014]本申请在一较佳示例中可以进一步配置为：所述匹配模型为sinkhorn模型。
[0015]第二方面，本申请提供一种提取伪图像特征的图像和毫米波雷达目标的匹配装置。
[0016]本申请是通过以下技术方案得以实现的：一种提取伪图像特征的图像和毫米波雷达目标的匹配装置，包括，映射模块，用于基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的雷达点坐标；伪图像模块，用于标注所述图像的目标区域，将属于真实世界的同一个目标物体的所述图像的目标区域与所述毫米波雷达目标一一对应，获得匹配关系，并根据所述图像的目标区域和所述毫米波雷达目标的信息，构建伪图像；第一特征提取模块，用于根据所述匹配关系监督训练得到第一特征提取模型，基于所述第一特征提取模型，提取所述伪图像的图像特征，将所述图像特征进行融合，得到全局特征；第二特征提取模块，用于提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷达点特征；基于所述目标点特征和所述雷达点特征，采用第二特征提取模型进行特征再加工，并结合所述匹配关系监督训练所述第二特征提取模型，获得目标特征提取模型后输出待匹配特征；优化匹配模块，用于采用匹配模型对所述待匹配特征进行最优匹配，得到匹配矩阵；匹配矩阵解析模块，用于基于所述匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提取伪图像特征的图像和毫米波雷达目标的匹配方法，其特征在于，包括以下步骤，基于时间同步下的图像和该时间下的毫米波雷达目标，将所述毫米波雷达目标投影到所述图像上，获得所述毫米波雷达目标在所述图像上的雷达点坐标；标注所述图像的目标区域，将属于真实世界的同一个目标物体的所述图像的目标区域与所述毫米波雷达目标一一对应，获得匹配关系，并根据所述图像的目标区域和所述毫米波雷达目标的信息，构建伪图像；根据所述匹配关系监督训练得到第一特征提取模型，基于所述第一特征提取模型，提取所述伪图像的图像特征，将所述图像特征进行融合，得到全局特征；提取所述全局特征中所述图像的目标区域的目标点特征和所述毫米波雷达目标的雷达点特征；基于所述目标点特征和所述雷达点特征，采用第二特征提取模型进行特征再加工，并结合所述匹配关系监督训练所述第二特征提取模型，获得目标特征提取模型后输出待匹配特征；采用匹配模型对所述待匹配特征进行最优匹配，得到匹配矩阵；基于所述匹配矩阵，解析出所述图像和所述毫米波雷达目标的匹配结果。2.根据权利要求1所述的提取伪图像特征的图像和毫米波雷达目标的匹配方法，其特征在于，还包括以下步骤，所述待匹配特征包括图像目标点特征和雷达点特征，对所述图像目标点特征和所述雷达点特征进行内积计算，得到得分矩阵；采用匹配模型，将所述得分矩阵经过优化匹配层进行最优匹配，得到目标扩充矩阵；根据所述目标扩充矩阵得到匹配矩阵，初始化回归参数，将所述回归参数放入优化匹配层中进行迭代，并通过监督训练更新回归参数。3.根据权利要求2所述的提取伪图像特征的图像和毫米波雷达目标的匹配方法，其特征在于，所述采用匹配模型，将所述得分矩阵经过优化匹配层进行最优匹配，得到目标扩充矩阵的步骤包括，初始化最优匹配后的每行之和及每列之和的目标常数；对所述得分矩阵的最后一行和最后一列分别增加一行和一列，并在增加的一行和一列中以回归参数进行填充，得到第一扩充矩阵；开始第一次迭代，计算所述第一扩充矩阵的每行之和，对应得到第一常数；对于第一扩充矩阵的每一行除以第一常数，并乘以目标常数，得到第二扩充矩阵；计算所述第二扩充矩阵的每列之和，对应得到第二常数；对于第二扩充矩阵的每一列除以第二常数，并乘以目标常数，得到第三扩充矩阵，结束第一次迭代；按照第一次迭代的方式，继续迭代第三扩充矩阵的每行和每列，直到达到预设次数，得到目标扩充矩阵。4.根据权利要求3所述的提取伪图像特征的图像和毫米波雷达目标的匹配方法，其特征在于，还包括以下步骤，求解所述匹配矩阵的每一列的最大分数值所在的行数i，并判断所述最大分数值是否
大于预设阈值；若所述匹配矩阵的最大分数值大于预设阈值时，则位于当前列数的所述图像目标和所述行数i的所述毫米波雷达目标的第i个雷达点匹配；若所述匹配矩阵的最大分数值小于预设阈值时，则该列所对应的某个图像目标没有与之匹配的雷达点。5.根据权利要求1
‑
4任意一项所述的提取伪图像特征的图像和毫米波雷达目标的匹配方法，其特征在于，所述根据所述目标区域和所述毫米波雷达目标的信息，构建伪图像的步骤包括，选取任一时刻下的RGB...

【专利技术属性】
技术研发人员：杨超，刘国清，杨广，王启程，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：