基于双流自适应图卷积神经网络的行人过街意图识别方法技术

本发明专利技术涉及自动驾驶环境感知技术领域，尤其涉及基于双流自适应图卷积神经网络的行人过街意图识别方法。包括以下步骤：设计行人骨架时空图；骨架时空图特征提取；行人过街意图识别的数据集制作；行人过街意图识别网络构建；参数设置、模型训练；实验验证。本发明专利技术提出了基于双流自适应图卷积神经网络的行人过街意图识别方法。意图识别方法。意图识别方法。

【技术实现步骤摘要】
基于双流自适应图卷积神经网络的行人过街意图识别方法


[0001]本专利技术涉及自动驾驶环境感知
，尤其涉及基于双流自适应图卷积神经网络的行人过街意图识别方法。

技术介绍

[0002]混合交通是城市道路交通运行的显著特征，在无人行横道标志线和交通信号的城市道路中，过街行人与行驶的车辆往往存在相互干扰。行人作为重要的交通参与者，可以在短时间改变运动的方向和速度，如果自动驾驶车辆对行人的过街意图产生误判，不仅影响车辆的通行效率，甚至可能威胁到行人的生命安全，因此准确的预测行人的过街意图至关重要。
[0003]现有行人过街意图识别方法可分为两类：分别是基于行人运动轨迹和人体关节点的运动来预测行人是否有过街意图。前者将人看作一个整体来分析其运动轨迹，无法预测潜在的行人运动方向及速度的突变，从而可能对行人的过街意图产生误判，这在自动驾驶场景中是无法容许的；而后者的问题在于仅关注人体少数关键关节点的运动状态，且忽视了各关节点之间的运动关联性，导致行人过街意图识别模型准确率不高。

技术实现思路

[0004]本专利技术的目的是为了解决上述技术问题，提出了基于双流自适应图卷积神经网络的行人过街意图识别方法。
[0005]本专利技术所采用的技术方案为：基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：包括以下步骤：
[0006]步骤一：设计行人骨架时空图；
[0007]步骤二：骨架时空图特征提取；
[0008]步骤三：行人过街意图识别的数据集制作；
[0009]步骤四：行人过街意图识别网络构建；
[0010]步骤五：参数设置、模型训练；
[0011]步骤六：实验验证。
[0012]作为本专利技术进一步的改进，所述步骤一中行人骨架时空图包括空间维度信息和时间维度信息。
[0013]作为本专利技术进一步的改进，所述步骤二中利用图卷积神经网络提取行人非欧式结构骨架图特征。
[0014]作为本专利技术进一步的改进，所述步骤三中数据集包括行人的过街状态信息标签和行人骨架关节点信息，在自动驾驶联合注意力公开数据集中提取的行人过状态信息，利用实时多人姿态识别系统提取每一个行人的关节点坐标信息，最后将每个行人过状态信息标签和关节点坐标信息制作成TXT格式，并与数据集图片一一对应，作为行人过街意图识别网络的数据集。
[0015]作为本专利技术进一步的改进，所述步骤四中网络构建包括设计自适应图卷积层和设计双流图卷积。
[0016]作为本专利技术进一步的改进，所述步骤五中参数设置，行人过街意图识别采用PyTorch深度学习框架，将标签类别数num_class设置为2，其中C为过街，NC为不过街，训练集和测试集的比例为1：1，训练轮数epoch为50，训练批次大小为8，采用随机梯度下降优化器，初始学习率为0.01，权重衰减系数为0.0001。
[0017]作为本专利技术进一步的改进，所述设计自适应图卷积层的方法为：原始自适应图卷积公式为为了增加图结构的适应性，将掩码M
k
改进为原始邻接矩阵A
k
、可训练邻接矩阵B
k
和数据相关图C
k
的加和，故图卷积公式改为：其中：A
k
表示行人关节点的物理结构，B
k
是从数据学习过来的权重参数，表示两个节点之间连接的强弱，C
k
代表数据相关的图，表示两个顶点之间连接的强度。
[0018]作为本专利技术进一步的改进，所述设计双流图卷积的方法为：假设一个行人骨骼的起始关节点位置坐标为V1＝(x0，y0，z0)，其目标关节点位置坐标为V2＝(x1，y1，z1)，则骨骼的矢量计算为eV1V2＝(x1‑
x0，y1‑
y0，z1‑
z0)，骨骼的方向就是从一个点指向另外一个点的向量，骨骼的长度就是向量的长度，即len＝|eV1V2|，将关节点位置坐标和骨骼的矢量计算作为双流数据，将双流数据输入自适应图卷积网络中，双流网络会分别输出行人过街和不过街的分类分数，采用Softmax融合两个网络分数来判别行人的过街意图。
[0019]本专利技术的有益效果：本专利技术提供了一种基于双流自适应图卷积神经网络的行人过街意图识别方法，考虑了人体行走时手臂和腿部关节之间的运动关系和骨骼长度及运动方向的变化，相较于现有技术更为科学，行人过街意图识别模型准确率更高
附图说明
[0020]图1是本专利技术基于双流自适应图卷积神经网络的行人过街意图识别方法的方案流程图；
[0021]图2是本专利技术基于双流自适应图卷积神经网络的行人过街意图识别方法的人体骨架时空图；
[0022]图3是本专利技术基于双流自适应图卷积神经网络的行人过街意图识别方法的自适应卷积层；
[0023]图4是本专利技术基于双流自适应图卷积神经网络的行人过街意图识别方法的双流图卷积层；
[0024]图5是本专利技术基于双流自适应图卷积神经网络的行人过街意图识别方法的验证流程图；
[0025]图6是本专利技术基于双流自适应图卷积神经网络的行人过街意图识别方法的决策逻辑图；
[0026]图7是本专利技术基于双流自适应图卷积神经网络的行人过街意图识别方法的识别行人状态图。
具体实施方式
[0027]为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施方式，对本申请进行进一步详细说明。应当理解，此处所描述的实施方式仅仅用以解释本申请，并不用于限定本申请。
[0028]本专利技术提供了基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：包括以下步骤：
[0029]步骤一：设计行人骨架时空图；
[0030]步骤二：骨架时空图特征提取；
[0031]步骤三：行人过街意图识别的数据集制作；
[0032]步骤四：行人过街意图识别网络构建；
[0033]步骤五：参数设置、模型训练；
[0034]步骤六：实验验证。
[0035]本专利技术中所述步骤一中行人骨架时空图包括空间维度信息和时间维度信息。
[0036]本专利技术中所述步骤二中利用图卷积神经网络提取行人非欧式结构骨架图特征。
[0037]本专利技术中所述步骤三中数据集包括行人的过街状态信息标签和行人骨架关节点信息，在自动驾驶联合注意力公开数据集中提取的行人过状态信息，利用实时多人姿态识别系统提取每一个行人的关节点坐标信息，最后将每个行人过状态信息标签和关节点坐标信息制作成TXT格式，并与数据集图片一一对应，作为行人过街意图识别网络的数据集。
[0038]本专利技术中所述步骤四中网络构建包括设计自适应图卷积层和设计双流图卷积。
[0039]本专利技术中所述步骤五中参数设置，行人过街意图识别采用PyTorch深度学习框架，将标签类别数num_class设置为2，其中C为过街，NC为不过街，训练集和测试集的比例为1：1，训练轮数epoch为50，训练批次大小为8，采用随机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：包括以下步骤：步骤一：设计行人骨架时空图；步骤二：骨架时空图特征提取；步骤三：行人过街意图识别的数据集制作；步骤四：行人过街意图识别网络构建；步骤五：参数设置、模型训练；步骤六：实验验证。2.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤一中行人骨架时空图包括空间维度信息和时间维度信息。3.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤二中利用图卷积神经网络提取行人非欧式结构骨架图特征。4.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤三中数据集包括行人的过街状态信息标签和行人骨架关节点信息，在自动驾驶联合注意力公开数据集中提取的行人过状态信息，利用实时多人姿态识别系统提取每一个行人的关节点坐标信息，最后将每个行人过状态信息标签和关节点坐标信息制作成TXT格式，并与数据集图片一一对应，作为行人过街意图识别网络的数据集。5.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤四中网络构建包括设计自适应图卷积层和设计双流图卷积。6.根据权利要求1所述的基于双流自适应图卷积神经网络的行人过街意图识别方法，其特征在于：所述步骤五中参数设置，行人过街意图识别采用PyTorch深度学习框架，将标签类别数num_class设置为2，其中C为过街，NC为不过街，训练集和测试集的比例为1：1，训练轮数epoc...

【专利技术属性】
技术研发人员：胡远志，李建飞，刘西，蒋涛，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：