多目标行人轨迹预测模型训练方法、预测方法及装置制造方法及图纸

本申请提供一种多目标行人轨迹预测模型训练方法、预测方法及装置，方法包括：将预先建立的多目标行人轨迹预测模型置于多任务学习框架下，该多目标行人轨迹预测模型包括多目标行人检测模型以及多目标行人跟踪模型，采用预先存储的训练数据对多目标行人检测模型以及多目标行人跟踪模型进行联合训练，获得训练后的多目标行人轨迹预测模型。在本申请中，在多任务学习框架下对多目标行人跟踪模型以及多目标行人检测模型进行联合训练，可以在训练过程中实现参数共享，从而可以提高模型的训练效果，进而提高多目标行人轨迹预测模型的泛化性和精确度。和精确度。和精确度。

【技术实现步骤摘要】
多目标行人轨迹预测模型训练方法、预测方法及装置


[0001]本申请涉及计算机视觉
，尤其涉及一种多目标行人轨迹预测模型训练方法、预测方法及装置。

技术介绍

[0002]多目标跟踪是计算机视觉的重要研究方向。多目标跟踪指的是在视频的后续帧中找到在当前帧中定义的多个目标对象，实现多个目标对象的轨迹预测，其广泛应用于视频监控、人机交互、无人驾驶等领域。但是，多目标跟踪由于具有目标遮挡频繁、轨迹起始和终止时间未知、明显相似性、目标间相互作用等问题，因此对于场景复杂的多目标行人轨迹预测准确性不高。因此，可以将多目标跟踪技术与多目标检测技术共同用于多目标行人轨迹预测，提高多目标行人轨迹预测的准确性。
[0003]其中，常见的多目标行人跟踪模型为基于图神经网络的模型，常见的多目标行人检测模型为基于残差神经网络的模型。此外，在进行目标行人轨迹预测之前，需要进行模型训练，目前，常见模型训练方法为分别对多目标行人跟踪模型以及多目标行人检测模型进行训练，获得训练后的多目标行人跟踪模型以及多目标行人检测模型。
[0004]但是，上述多目标行人跟踪模型以及多目标行人检测模型的准确性较差，且采用上述方法对多目标行人跟踪模型以及多目标行人检测模型进行训练，由于无法实现参数共享，导致训练后的模型泛化性较差且精确度不高，对于实际应用场景的适用性较差。

技术实现思路

[0005]本申请提供一种多目标行人轨迹预测模型训练方法、预测方法及装置，用以提高多目标行人轨迹预测模型的泛化性和精确度。
[0006]第一方面，本申请实施例提供一种多目标行人轨迹预测模型训练方法，包括：将预先建立的多目标行人轨迹预测模型置于多任务学习框架下；其中，所述多目标行人轨迹预测模型包括多目标行人检测模型以及多目标行人跟踪模型；其中，所述多目标行人检测模型包括残差神经网络及其并行的重识别网络分支，用于通过获取重识别特征信息对行人进行多目标检测；所述多目标行人跟踪模型包括图神经网络层、注意力机制层以及门控递归单元层，用于确定重点区域并在所述重点区域中进行多目标行人的轨迹预测；获取预先存储的训练数据，在所述多任务学习框架下，采用所述训练数据对所述多目标行人检测模型以及所述多目标行人跟踪模型进行联合训练，获得训练后的多目标行人轨迹预测模型；其中，所述训练数据为对具有多个目标行人轨迹的图像进行标注后的数据集；所述数据集为对预先采集的包含有所述多个目标行人的轨迹的视频数据进行扩展处理后获得的。
[0007]可选地，如上所述的方法，所述在所述多任务学习框架下，采用所述训练数据对所述多目标行人检测模型以及所述多目标行人跟踪模型进行联合训练，获得训练后的多目标
行人轨迹预测模型，包括：在所述多任务学习框架下，将所述训练数据分别输入所述多目标行人检测模型以及所述多目标行人跟踪模型中；基于所述训练数据，采用反向传播算法对所述多目标行人检测模型以及所述多目标行人跟踪模型的每一层进行训练，获得所述多目标行人检测模型输出的第一特征图，以及所述多目标行人跟踪模型输出的第二特征图；根据所述第一特征图、所述第二特征图以及输入的训练数据，采用预设的损失函数计算公式对损失函数进行计算，获得所述多目标行人检测模型的第一损失函数值，以及所述多目标行人跟踪模型的第二损失函数值；判断所述第一损失函数值与所述第二损失函数值之和是否小于等于预设值；若否，则返回执行基于所述训练数据，采用反向传播算法对所述多目标行人检测模型以及所述多目标行人跟踪模型的每一层进行训练的步骤；若是，则保存所述多目标行人检测模型以及所述多目标行人跟踪模型当前的模型参数，获得训练后的多目标行人轨迹预测模型。
[0008]可选地，如上所述的方法，所述方法还包括：采用不确定性函数计算所述多目标行人检测模型的第一训练权重，以及所述多目标行人跟踪模型的第二训练权重；所述判断所述第一损失函数值与所述第二损失函数值之和是否小于等于预设值，包括：将所述第一训练权重作用于所述第一损失函数值获得修正后的第一损失函数值，将所述第二训练权重作用于所述第二损失函数值获得修正后的第二损失函数值；判断所述修正后的第一损失函数值与所述修正后的第二损失函数值之和是否小于等于预设值。
[0009]可选地，如上所述的方法，所述将所述第一训练权重作用于所述第一损失函数值获得修正后的第一损失函数值，包括：将所述第一训练权重与所述第一损失函数值进行乘法处理，获得修正后的第一损失函数值；所述将所述第二训练权重作用于所述第二损失函数值获得修正后的第二损失函数值，包括：将所述第二训练权重与所述第二损失函数值进行乘法处理，获得修正后的第二损失函数值。
[0010]可选地，如上所述的方法，所述获取预先存储的训练数据之前，所述方法还包括：获取预先采集的包含有多个目标行人的轨迹的视频数据；对所述视频数据中的每一帧图像进行扩展处理，获得数据集；对所述数据集中具有所述多个目标行人轨迹的图像进行标注并确定所述标注的标注信息，获得所述训练数据并存储；其中，所述标注信息中包含有所述多个目标行人的标识信息以及所述多个目标行人的目标检测边界框的坐标信息。
[0011]可选地，如上所述的方法，所述对所述视频数据中的每一帧图像进行扩展处理，获得数据集，包括：
将所述视频数据中的每一帧图像以随机角度或偏移量进行变换，获得变换后的图像；将所述变换后的图像加入到所述视频数据中，获得数据集。
[0012]第二方面，本申请实施例提供一种基于多目标行人轨迹预测模型的多目标行人轨迹预测方法，包括：获取待检测的视频数据；将所述待检测的视频数据输入训练后的多目标行人轨迹预测模型中；其中，所述训练后的多目标行人轨迹预测模型为采用如第一方面所述的方法对多目标行人轨迹预测模型进行训练后获得的；采用训练后的多目标行人轨迹预测模型中的多目标行人检测模型对多个目标行人进行目标检测，并采用所述训练后的多目标行人轨迹预测模型中的多目标行人跟踪模型对所述多个目标行人的轨迹进行预测；将所述多目标行人检测模型的目标检测结果以及所述多目标行人跟踪模型的轨迹预测结果进行融合处理，输出包含有目标检测结果的多个目标行人的轨迹预测结果。
[0013]可选地，如上所述的方法，所述采用训练后的多目标行人轨迹预测模型中的多目标行人检测模型对多个目标行人进行目标检测，包括：采用所述多目标行人检测模型中的残差神经网络及其并行的重识别网络分支对所述待检测的视频数据中的每一帧图像进行特征提取，获得每一帧图像的重识别特征信息；采用并行分支解码器对所述每一帧图像的重识别特征信息进行解码，确定所述多个目标行人的目标检测边界框以及所述多个目标行人的标识信息。
[0014]可选地，如上所述的方法，所述采用所述训练后的多目标行人轨迹预测模型中的多目标行人跟踪模型对所述多个目标行人的轨迹进行预测，包括：对待检测的视频数据中的每一帧图像进行特征向量化处理，并采用所述多目标行人轨迹预测模型中的图神经网络层以及注意力机制层，基于向量化后的特征确定每一帧图像中的重点区域及重点区域内的特征信息；采用门控递归单元层基于每一帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标行人轨迹预测模型训练方法，其特征在于，包括：将预先建立的多目标行人轨迹预测模型置于多任务学习框架下；其中，所述多目标行人轨迹预测模型包括多目标行人检测模型以及多目标行人跟踪模型；其中，所述多目标行人检测模型包括残差神经网络及其并行的重识别网络分支，用于通过获取重识别特征信息对行人进行多目标检测；所述多目标行人跟踪模型包括图神经网络层、注意力机制层以及门控递归单元层，用于确定重点区域并在所述重点区域中进行多目标行人的轨迹预测；获取预先存储的训练数据，在所述多任务学习框架下，采用所述训练数据对所述多目标行人检测模型以及所述多目标行人跟踪模型进行联合训练，获得训练后的多目标行人轨迹预测模型；其中，所述训练数据为对具有多个目标行人轨迹的图像进行标注后的数据集；所述数据集为对预先采集的包含有所述多个目标行人的轨迹的视频数据进行扩展处理后获得的。2.根据权利要求1所述的方法，其特征在于，所述在所述多任务学习框架下，采用所述训练数据对所述多目标行人检测模型以及所述多目标行人跟踪模型进行联合训练，获得训练后的多目标行人轨迹预测模型，包括：在所述多任务学习框架下，将所述训练数据分别输入所述多目标行人检测模型以及所述多目标行人跟踪模型中；基于所述训练数据，采用反向传播算法对所述多目标行人检测模型以及所述多目标行人跟踪模型的每一层进行训练，获得所述多目标行人检测模型输出的第一特征图，以及所述多目标行人跟踪模型输出的第二特征图；根据所述第一特征图、所述第二特征图以及输入的训练数据，采用预设的损失函数计算公式对损失函数进行计算，获得所述多目标行人检测模型的第一损失函数值，以及所述多目标行人跟踪模型的第二损失函数值；判断所述第一损失函数值与所述第二损失函数值之和是否小于等于预设值；若否，则返回执行基于所述训练数据，采用反向传播算法对所述多目标行人检测模型以及所述多目标行人跟踪模型的每一层进行训练的步骤；若是，则保存所述多目标行人检测模型以及所述多目标行人跟踪模型当前的模型参数，获得训练后的多目标行人轨迹预测模型。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：采用不确定性函数计算所述多目标行人检测模型的第一训练权重，以及所述多目标行人跟踪模型的第二训练权重；所述判断所述第一损失函数值与所述第二损失函数值之和是否小于等于预设值，包括：将所述第一训练权重作用于所述第一损失函数值获得修正后的第一损失函数值，将所述第二训练权重作用于所述第二损失函数值获得修正后的第二损失函数值；判断所述修正后的第一损失函数值与所述修正后的第二损失函数值之和是否小于等于预设值。4.根据权利要求3所述的方法，其特征在于，所述将所述第一训练权重作用于所述第一损失函数值获得修正后的第一损失函数值，包括：将所述第一训练权重与所述第一损失函数值进行乘法处理，获得修正后的第一损失函
数值；所述将所述第二训练权重作用于所述第二损失函数值获得修正后的第二损失函数值，包括：将所述第二训练权重与所述第二损失函数值进行乘法处理，获得修正后的第二损失函数值。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述获取预先存储的训练数据之前，所述方法还包括：获取预先采集的包含有多个目标行人的轨迹的视频数据；对所述视频数据中的每一帧图像进行扩展处理，获得数据集；对所述数据集中具有所述多个目标行人轨迹的图像进行标注并确定所述标注的标注信息，获得所述训练数据并存储；其中，所述标注信息中包含有所述多个目标行人的标识信息以及所述多个目标行人的目标检测边界框的坐标信息。6.根据权利要求5所述的方法，其特征在于，所述对所述视频数据中的每一帧图像进行扩展处理，获得数据集，包括：将所述视频数据中的每一帧图像以随机角度或偏移量进行变换，获得变换后的图像；将所述变换后的图像加入到所述视频数据中，获得数据集。7.一种基于多目标行人轨迹预测模型的多目标行人轨迹预测方法...

【专利技术属性】
技术研发人员：周波，蔡芳发，苗瑞，邹小刚，
申请(专利权)人：深圳市海清视讯科技有限公司，
类型：发明
国别省市：