目标分割追踪方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例提供了一种多目标分割追踪方法、装置、电子设备和存储介质，首先通过卷积神经网络对待处理图像进行卷积编码并构建特征金字塔；根据特征金字塔对各个目标的类别和位置进行预测，并计算各个目标的形心坐标；然后对各个目标的轮廓进行回归，并基于形心坐标计算各个目标的轮廓点的坐标；根据轮廓点的坐标生成目标的追踪向量；最后对连续帧中的各个目标的追踪向量进行匹配，获得各个目标的追踪ID。本申请实施例基于形心坐标预测目标的轮廓点的坐标，并计算目标追踪向量，将复杂的多目标分割追踪问题转化为目标形心的定位、轮廓和追踪向量的生成问题，简化了模型预测难度和学习难度，提升了模型总体的推算速度。提升了模型总体的推算速度。提升了模型总体的推算速度。

【技术实现步骤摘要】
目标分割追踪方法、装置、电子设备和存储介质


[0001]本申请涉及图像处理技术，具体地，涉及一种目标分割追踪方法、装置、电子设备和存储介质。

技术介绍

[0002]在无人驾驶领域中，相机是使用最多也是相对较为成熟的传感器。无人驾驶的感知系统处于整个系统的最前端，用于对车辆周边环境的精确感知和数据形式化规约，是无人驾驶智能化控制的关键步骤之一。
[0003]在无人驾驶的感知系统中，对场景中的动态目标(行人、车辆及骑行者等)的识别和追踪任务能够提供有效的目标轨迹变化信息，从而分析场景中动态目标的运动意图，为无人驾驶决策和车辆控制提供判断依据。
[0004]目前，通常使用多目标分割和追踪(Multi
‑
object tracking and segmentation，MOTS)任务模型来进行多目标的追踪。但是，由于MOTS模型的计算复杂度较高，受目前的无人驾驶领域的车载计算硬件的约束，导致在无人驾驶车辆的车载终端部署MOTS模型用于多目标追踪还存在着极大的挑战。

技术实现思路

[0005]本申请实施例中提供了一种目标分割追踪方法、装置、电子设备和存储介质，用于解决目前的MOTS模型由于计算复杂度较高导致无法在车载终端部署的问题。
[0006]根据本申请实施例的第一个方面，提供了一种多目标分割追踪方法，所述方法包括：
[0007]获取待处理图像；
[0008]通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔；
[0009]根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；
[0010]针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；
[0011]针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；
[0012]通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪ID。
[0013]根据本申请实施例的第二个方面，提供了一种多目标分割追踪装置，所述装置包括：
[0014]图像获取模块，用于获取待处理图像；
[0015]卷积模块，用于通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待
处理图像的特征金字塔；
[0016]形心计算模块，用于根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；
[0017]目标轮廓计算模块，用于针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；
[0018]追踪向量计算模块，用于针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；
[0019]匹配模块，用于通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪ID。
[0020]根据本申请实施例的第三个方面，提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行上述的多目标分割追踪方法。
[0021]根据本申请实施例的第四个方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的多目标分割追踪方法。
[0022]本申请实施例提供了一种多目标分割追踪方法、装置、电子设备和存储介质，首先通过卷积神经网络对待处理图像进行卷积编码，获得待处理图像的特征金字塔；然后根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪ID。本申请实施例基于形心坐标进行目标的轮廓点的坐标预测，并通过轮廓预测结果计算目标追踪向量，将复杂的多目标分割追踪问题转化为目标形心的定位、轮廓的回归和追踪向量的生成问题，极大地简化了模型预测难度和学习难度，提升了模型总体的推算速度。
附图说明
[0023]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0024]图1为本申请实施例提供的电子设备的结构示意图；
[0025]图2为本申请实施例提供的多目标分割追踪方法的流程图；
[0026]图3为本申请实施例提供的步骤S12的子步骤流程图；
[0027]图4为本申请实施例提供的多目标分割追踪模型的示意图；
[0028]图5为本申请实施例提供的基于形心的极坐标轮廓生成的示意图；
[0029]图6为本申请实施例提供的基于极坐标交并比损失函数的掩码预测示意图；
[0030]图7为本申请实施例提供的基于Tripletloss优化的追踪向量生成示意图；
[0031]图8为本申请实施例提供的多目标分割追踪模型在自动驾驶汽车开发平台Agx上
的性能量化评估结果；
[0032]图9为本申请实施例提供的多目标分割追踪装置的功能模块图。
具体实施方式
[0033]图像实例分割任务是当前人工智能技术研究的热门领域之一，与针对检测框的目标检测方案相比，实例分割结果通过尽可能剔除重叠目标和干扰背景的方式能够提供更加精准的目标检测结果。因此，大量研究认为基于目标分割结果可以突破多目标追踪任务的瓶颈，在多目标检测和追踪(Multi
‑
object detection and tracking，MOT)任务的基础上，提出了多目标的分割和追踪(Multi
‑
object tracking and segmentation，MOTS)任务模型。
[0034]由于基于包围框(bounding box)的检测任务仅需要预测目标类别和检测框信息(如检测框的中心点和长宽信息)，目标检测任务需要神经网络进行的非线性拟合任务相对简单。但是在传统的实例分割任务中，需要网络对图像中的每个像素进行分类(属于目标掩码则为1，否则为0)，从而获得每个目标的分割掩码，因此分割任务的回归任务通常更为复杂。同时，在MOTS任务中的分割任务不但需要分割出不同类别的目标，而且需要区分同类别目标中的不同实例，为每个实例赋予实例编号(Instance ID)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标分割追踪方法，其特征在于，所述方法包括：获取待处理图像；通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔；根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪ID。2.根据权利要求1所述的方法，其特征在于，通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔，包括：使用卷积神经网络对所述待处理图像进行卷积编码和多次下采样，获得所述待处理图像的多个不同尺度的第一特征图；对所述待处理图像的最小尺度的第一特征图进行卷积和多次上采样，以获得所述待处理图像的多个不同尺度的第二特征图；将相同尺度的第一特征图和第二特征图进行拼接，获得所述待处理图像的特征金字塔。3.根据权利要求1所述的方法，其特征在于，根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标，包括：通过目标类别预测模型对所述特征金字塔进行处理，获得多尺度热力图预测结果，所述多尺度热力图预测结果用于表征各个所述目标在特征图上的位置和类别；通过多尺度热力图预测结果获得各个类别的热力图，其中，所述热力图包括多个同类别的目标；将所述热力图中热力值最大的点作为各个目标的形心，获得各个目标的形心坐标。4.根据权利要求1所述的方法，其特征在于，针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标，包括：针对每一个目标，基于所述目标的形心为所述目标构建坐标系，其中，所述目标的形心为所述目标的坐标系中的原点；根据所述目标的轮廓获得所述目标的多个轮廓点，并基于所述目标的形心坐标分别计算各个轮廓点的坐标。5.根据权利要求1所述的方法，其特征在于，针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的...

【专利技术属性】
技术研发人员：欧阳真超，董晓云，崔家赫，果泽龄，牛建伟，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：