一种多交通参与者交互行为识别方法、系统、设备及介质技术方案

本发明专利技术涉及一种多交通参与者交互行为识别方法、系统、设备及介质，属于交通参与者行为识别领域，首先获取数据集；对数据集进行划分，得到训练集和验证集；建立图神经网络模型；图神经网络模型包括实例层和类别层；对训练集和验证集进行预处理，得到预处理后的训练集和验证集；将预处理后的训练集输入图神经网络模型中进行训练，得到训练后的图神经网络模型；最后将预处理后的验证集输入训练后的图神经网络模型中，得到多交通参与者交互行为的识别结果。通过全面考虑所有交通参与者之间的交互行为，可以提升对交通交互行为的识别精度。可以提升对交通交互行为的识别精度。可以提升对交通交互行为的识别精度。

【技术实现步骤摘要】
一种多交通参与者交互行为识别方法、系统、设备及介质


[0001]本专利技术涉及交通参与者行为识别领域，特别是涉及一种多交通参与者交互行为识别方法、系统、设备及介质。

技术介绍

[0002]目前，智能化交通的发展如火如荼，建设和发展智能交通可有效改善道路流动性。自动驾驶是智能化交通中一个主要的发展趋势，想要在复杂的动态场景中实现安全自动驾驶，那么对交通参与者行为的识别就显得尤为重要。
[0003]然而，现有的交通参与者行为识别方法通常只关注某一类交通参与者与主车之间的交互行为，例如只考虑电动车与主车之间的交互行为，或者行人与主车之间的交互行为。由于交通环境通常比较复杂，主车在交通环境中的交互行为一般会涉及到多方交通参与者，因此，仅考虑其中某一类交通参与者与主车之间的交互行为识别，而忽略多交通参与者之间的交互行为识别，那么最终得到的识别结果也就会不准确。因此，现有的交通交互行为识别方法普遍存在由于未考虑多交通参与者之间的交互行为识别而导致的识别精度较低的问题。

技术实现思路

[0004]本专利技术的目的是提供一种多交通参与者本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多交通参与者交互行为识别方法，其特征在于，包括：获取数据集；所述数据集内包括多种交通场景和多种交通参与者的交互行为；对所述数据集进行划分，得到训练集和验证集；建立图神经网络模型；所述图神经网络模型包括实例层和类别层；所述实例层中将不同时刻的各个交通参与者定义为结点，所述结点之间通过时间边和空间边相连；所述类别层中将同一时刻的不同种类的交通参与者定义为超结点，所述超结点与所述结点之间通过信息传递边相连；根据所述图神经网络模型对所述训练集和所述验证集进行预处理，得到预处理后的训练集和预处理后的验证集；将所述预处理后的训练集输入所述图神经网络模型中进行训练，得到训练后的图神经网络模型；将所述预处理后的验证集输入所述训练后的图神经网络模型中，得到多交通参与者交互行为的识别结果。2.根据权利要求1所述的多交通参与者交互行为识别方法，其特征在于，所述获取数据集，具体包括：选定包含有多种交通场景和多种交通参与者的交互行为的视频图像形式的数据集作为所述数据集；对所述数据集中每一段视频的每一帧图像中所有交通参与者的种类和坐标进行标注，并为每一个所述交通参与者均设置唯一的ID；所述交通参与者的种类包括行人、非机动车和机动车；对所述数据集中每一段视频的每一帧图像中主车与所述主车周围的其它交通参与者之间的交互行为类别进行标注。3.根据权利要求2所述的多交通参与者交互行为识别方法，其特征在于，所述数据集为BLVD数据集。4.根据权利要求1所述的多交通参与者交互行为识别方法，其特征在于，所述建立图神经网络模型，具体包括：在所述实例层中，将每一时刻下每个交通参与者定义为一个结点，利用LSTM神经网络处理各个交通参与者的特征信息；利用LSTM神经网络处理每一条空间边中两个所述结点的相对位置信息；利用LSTM神经网络处理每一条时间边中两个所述结点在时间序列上的历史运动信息；其中，所述空间边具有双向性，表示同一时刻下的两个不同结点之间连接的边；所述时间边具有单向性，表示两个不同时刻下的同一个结点之间连接的边；在所述类别层中，将每一时刻下的不同种类的交通参与者定义为一个超结点，每个所述超结点与当前时刻所有对应类型的所述实例层中的各个结点之间存在信息传递边，所述信息传递边用于将同一种类的交通参与者的交互行为信息汇聚至所述超结点，再由所述超结点利用LSTM神经网络对所述交互行为信息进行处理并将所述交互行为信息对应返还至所述实例层中相应的结点，得到所述交互行为信息的识别结果；两个不同时刻下的同一所述超结点之间也存在所述时间边，利用LSTM神经网络处理每一条所述时间边中两个所述超结点在时间序列上的历史信息；所述实例层和所述类别层通过结点与对应类别的超结点之间的所述信息传递边连接。
5.根据权利要求4所述的多交通参与者交互行为识别方法，其特征在于，所述根据所述图神经网络模型对所述训练集和所述验证集进行预处理，得到预处理后的训练集和预处理后的验证集，具体包括：根据所述图神经网络模型中所需要的数据结构，对所述训练集和所述验证集中的数据进行预处理，得到能够输入至所述图神经网络模型的所述预处理后的训练集和所述预处理后的验证集，包括：将所述交通参与者的特征设置为，其中表示交通参与者的x，y坐标信息，表示交通参与者的种类信息，表示所述图神经网络模型中对结点进行LSTM神经网络处理时输入的交通参与者的特征信息；由于所述空间边具有双向性，当考虑时，则表示结点在空间上对结点的影响，其特征为；其中，分别表示结点相对于结点的x，y坐标位置，通过所述BLVD数据集中两个结点的交通参与者的种类编码得到；当考虑时，则表示结点在空间上对结点的影响，其特征为；其中，分别表示结点相对于结点的x，y坐标位置，通过所述BLVD数据集中两个结点的交通参与者的种类编码得到；其中，分别表示图神经网络模型中对空间边进行LSTM神经网络处理时输入的交通参与者的特征信息；由于所述时间边具有单向性，当同一个结点A
i
在t和t+1时刻下的相邻两帧图像中都出现时，则所述时间边表示为，其特征为，其中，分别表示同一结点A
i
在t+1时刻相对于t时刻的x，y坐标位置，通过所述BLVD数据集中此结点的交通参与者种类编码得到；表示图神经网络中对时间边进行LSTM神经网络处理时的输入的交通参与者的特征信息。6.根据权利要求5所述的多交通参与者交互行为识别方法，其特征在于，所述将所述预处理后的训练集输入所述图神经网络模型中进行训练，得到训练后的图神经网络模型，具体包括：将所述预处理后的训练集排列成张量形式输入所述图神经网络模型中进行训练，在进行LSTM神经网络处理时，输入的所述结点、所述空间边和所述时间边的张量形式为M
×
N
×
3，其中，M表示一次输入样本数量，N表示观测时间长度，3为输入的特征信息的维度；所述图神经网络模型中正向数据传递过程包括：对于所述实例层中的每一个结点和每一条边，都设置...

【专利技术属性】
技术研发人员：吕超，易扬天，李子睿，龚建伟，臧政，谭颖琦，
申请(专利权)人：北理慧动北京科技有限公司北京工业职业技术学院，
类型：发明
国别省市：