【技术实现步骤摘要】
本申请涉及自动驾驶感知，尤其涉及一种多目标关键点定位方法、装置及存储介质。
技术介绍
1、随着城市道路的发展以及现有汽车产业的不断发展，汽车成为当前人们出行重要出行工具。而随着汽车的使用量越来越广泛，也给城市交通带来巨大的压力。自动驾驶技术可以将人的双手从驾驶中解脱出来，自动驾驶成为未来汽车发展的重要方向。感知模块作为自动驾驶的眼睛，是车辆与周边环境的纽带，感知模块的性能决定了自动驾驶性能的稳定性。
2、但目前的自动驾驶多目标检测定位方法中，存在三维目标定位信息获取不全面、定位精度低的问题。
技术实现思路
1、本申请实施例提供一种多目标关键点定位方法、装置及存储介质，用以解决现有技术中多目标关键点定位精度低的技术问题。
2、第一方面，本申请实施例提供一种多目标关键点定位方法，包括：
3、获取待处理图像数据；
4、将所述待处理图像数据输入至多目标关键点定位模型中，获得目标关键点以及目标偏转角；其中，所述多目标关键点定位模型是通过以下步骤训练得到的：
5、基于样本图像数据中的目标中心点、样本图像数据中的目标关键点的相对像素偏差以及样本图像数据中的目标偏转角生成多尺度热力图组；
6、基于所述多尺度热力图组进行模型训练，得到所述多目标关键点定位模型。
7、在一些实施例中，所述基于样本图像数据中的目标中心点、样本图像数据中的目标关键点的相对像素偏差以及样本图像数据中的目标偏转角生成多尺度热力图组，包括：>
8、基于所述样本图像数据中的目标中心点生成多个目标中心点坐标热力图，并将所述样本图像数据中的目标偏转角映射至目标中心点，生成偏转角度热力图；
9、将所述样本图像数据中的目标关键点的相对像素偏差依次映射至多个目标中心点坐标热力图的同一位置，生成多个像素偏差热力图；
10、根据所述目标中心点坐标热力图、所述偏转角度热力图和所述像素偏差热力图获得多尺度热力图组。
11、在一些实施例中，所述基于所述多尺度热力图组进行模型训练，得到所述多目标关键点定位模型，包括：
12、将所述多尺度热力图组输入至改进的残差神经网络中进行特征提取，得到多尺度特征图；所述改进的残差神经网络包含多个输出分支，每一输出分支用于输出一种尺度的特征图；
13、利用特征金字塔网络fpn算法对所述多尺度特征图进行特征融合，得到输出特征图组；
14、根据输出特征图组进行模型训练，得到所述多目标关键点定位模型。
15、在一些实施例中，所述根据输出特征图组进行模型训练，得到所述多目标关键点定位模型，包括：
16、根据所述输出特征图组包含的与目标中心点坐标热力图对应的输出特征图确定所有目标的预测中心点；
17、在所述输出特征图组包含的与像素偏差热力图对应的输出特征图中确定出每一预测中心点对应的关键点的相对像素偏差，并在所述输出特征图组包含的与偏转角度热力图对应的输出特征图中确定出每一预测中心点对应的目标偏转角度；
18、基于所述预测中心点、所述预测中心点对应的关键点的相对像素偏差以及所述预测中心点对应的目标偏转角度进行模型训练，得到多目标关键点定位模型。
19、在一些实施例中，所述根据所述输出特征图组包含的与目标中心点坐标热力图对应的输出特征图确定所有目标的预测中心点，包括：
20、确定所述输出特征图组中与目标中心点坐标热力图对应的输出特征图上的所有峰值点，并将概率最大的峰值点作为预测的第一个中心点；
21、根据所述峰值点与所述预测的第一个中心点之间的距离确定出所有目标的预测中心点。
22、在一些实施例中，所述多目标关键点定位模型的损失函数是基于均方误差损失和平均绝对误差损失确定的。
23、在一些实施例中，所述基于样本图像数据中的目标中心点、样本图像数据中的目标关键点的相对像素偏差以及样本图像数据中的目标偏转角生成多尺度热力图组之前，所述方法还包括：
24、确定样本图像数据中的目标的最小外接长方体，并获取最小外接长方体在二维图像上的顶点坐标；
25、根据所述顶点坐标计算样本图像数据中的目标中心点以及目标偏转角，并计算最小外接长方体的连续的顶点间的相对像素偏差；
26、计算最小外接长方体的任一顶点相对于所述目标中心点的相对像素偏差；
27、将所述最小外接长方体的顶点间的相对像素偏差以及所述最小外接长方体的任一顶点相对于所述目标中心点的相对像素偏差作为样本图像数据中的目标关键点的相对像素偏差。
28、在一些实施例中，所述获取待处理图像数据，包括：
29、获取路侧相机采集的二维图像以及车辆上的雷达激光采集的点云数据；
30、采用最近时间匹配策略匹配所述二维图像和所述点云数据，获得待处理图像数据。
31、第二方面，本申请实施例提供一种多目标关键点定位装置，包括：
32、第一获取模块，用于获取待处理图像数据；
33、第二获取模块，用于将所述待处理图像数据输入至多目标关键点定位模型中，获得目标关键点以及目标偏转角；其中，所述多目标关键点定位模型是通过以下步骤训练得到的：
34、基于样本图像数据中的目标中心点、样本图像数据中的目标关键点的相对像素偏差以及样本图像数据中的目标偏转角生成多尺度热力图组；
35、基于所述多尺度热力图组进行模型训练，得到所述多目标关键点定位模型。
36、第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的多目标关键点定位方法。
37、第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的多目标关键点定位方法。
38、第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的多目标关键点定位方法。
39、本申请实施例提供的多目标关键点定位方法、装置及存储介质，基于目标的多种信息，包括目标中心点、目标关键点的相对像素偏差以及目标偏转角，生成多尺度热力图组，利用该多尺度热力图组进行模型训练，得到多目标关键点定位模型，充分学习图像数据中各目标的多尺度的特征，提高了利用该模型定位目标关键点的准确度，通过多目标关键点定位模型能够识别出待处理图像数据中的各目标的关键点及目标的偏转角，获得各目标的多维度的信息，实现精准全面的目标检测及关键点定位，从而提升自动驾驶的安全性。
本文档来自技高网...【技术保护点】
1.一种多目标关键点定位方法，其特征在于，包括：
2.根据权利要求1所述的多目标关键点定位方法，其特征在于，所述基于样本图像数据中的目标中心点、样本图像数据中的目标关键点的相对像素偏差以及样本图像数据中的目标偏转角生成多尺度热力图组，包括：
3.根据权利要求1所述的多目标关键点定位方法，其特征在于，所述基于所述多尺度热力图组进行模型训练，得到所述多目标关键点定位模型，包括：
4.根据权利要求3所述的多目标关键点定位方法，其特征在于，所述根据输出特征图组进行模型训练，得到所述多目标关键点定位模型，包括：
5.根据权利要求4所述的多目标关键点定位方法，其特征在于，所述根据所述输出特征图组包含的与目标中心点坐标热力图对应的输出特征图确定所有目标的预测中心点，包括：
6.根据权利要求3或4所述的多目标关键点定位方法，其特征在于，所述多目标关键点定位模型的损失函数是基于均方误差损失和平均绝对误差损失确定的。
7.根据权利要求1所述的多目标关键点定位方法，其特征在于，所述基于样本图像数据中的目标中心点、样本图像数据中的目
8.根据权利要求1所述的多目标关键点定位方法，其特征在于，所述获取待处理图像数据，包括：
9.一种多目标关键点定位装置，其特征在于，包括：
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述多目标关键点定位方法。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述多目标关键点定位方法。
...【技术特征摘要】
1.一种多目标关键点定位方法，其特征在于，包括：
2.根据权利要求1所述的多目标关键点定位方法，其特征在于，所述基于样本图像数据中的目标中心点、样本图像数据中的目标关键点的相对像素偏差以及样本图像数据中的目标偏转角生成多尺度热力图组，包括：
3.根据权利要求1所述的多目标关键点定位方法，其特征在于，所述基于所述多尺度热力图组进行模型训练，得到所述多目标关键点定位模型，包括：
4.根据权利要求3所述的多目标关键点定位方法，其特征在于，所述根据输出特征图组进行模型训练，得到所述多目标关键点定位模型，包括：
5.根据权利要求4所述的多目标关键点定位方法，其特征在于，所述根据所述输出特征图组包含的与目标中心点坐标热力图对应的输出特征图确定所有目标的预测中心点，包括：
6.根据权利要求3或4所述的多目标关键点定位方法，其特征在于，所述多目标关键...
【专利技术属性】
技术研发人员：高原，
申请(专利权)人：中信科智联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。