一种基于视觉的行人召车行为识别方法技术

本发明专利技术公开了一种基于视觉的行人召车行为识别方法，包括以下步骤：图像预处理和意图推理。本发明专利技术采用计算机视觉的方法从图像中准确高效的识别出具有召车行为的行人，实现自动驾驶出租车更高效的发现乘客，提高了自动驾驶出租车的使用效率，也提高了乘客的出行效率。本发明专利技术采用了空间推理网络实现对行人召车行为的推理，减少了对时间维度信息的依赖，与传统的行为识别算法相比，减少了时间特征提取的过程，能够简化网络，提高行为推理的实时性。本发明专利技术采用了一套具有逻辑上可解释的融合规则，实现随机森林和图卷积网络的融合，逻辑上可解释的特性能够提高算法的环境适应性和行为识别的精度，实现融合算法对行人召车意图更稳定准确的推理。准确的推理。准确的推理。

【技术实现步骤摘要】
一种基于视觉的行人召车行为识别方法


[0001]本专利技术属于车辆智能化领域，尤其涉及一种自动驾驶出租车识别行人行为意图的方法。

技术介绍

[0002]交通场景中的车辆识别行人的行为属于车辆智能化的范畴。准确有效的识别行人的召车意图可以帮助自动驾驶出租车在道路上快速寻找到有召车意图的行人，这对提高行人的出行效率和提高自动驾驶出租车的使用效率，避免交通拥堵具有重要意义。
[0003]行人召车行为识别是指利用计算机视觉的方法对交通场景中的行人进行分析，寻找具有召车意图的行人。交通场景具有高度的复杂性，交通参与者(包括行人、车辆、骑行者等)的数目和种类远高于其他应用场景，这增加了行为识别的难度。召车的行为与行人的其他行为(走路、跑步、骑行等)相比具有明显的随机性和瞬时性特点：首先，当前场景中的任何一个行人在任何时间都有可能转化成一个具有召车意图的人；另外，召车行为具有明显的瞬时的特性，司机判断一个人是否具有召车意图仅仅需要单独的一张图像就可以实现，而不需要考虑这张图像的前后连续几帧图像的信息。基于上述两个特点，传统的基于3DCNN(3D Convolutional Neural Network)和LSTM(Long Short Term Memory Network)的行为识别算法不能适用于具有瞬时特性的召车意图推理。行人的手势是表达行人意图的关键信息，而目前的大多数手势识别算法主要应用于室内的场景，且基于视觉的手势识别算法对图像中手部轮廓的分辨率要求较高，但智能车搭载的车载相机无法实现在复杂的交通场景中生成如此高质量的图像。

技术实现思路

[0004]为解决现有技术存在的上述问题，本专利技术要设计一种环境适应性强、识别精度高且基于视觉的行人召车行为识别方法，能够通过处理车载相机采集的图像，实时对图像中有召车意图行人的准确识别，从而帮助自动驾驶出租车更高效的发现乘客。
[0005]为了实现上述目的，本专利技术的技术方案如下：一种基于视觉的行人召车行为识别方法，包括以下步骤：
[0006]A、图像预处理
[0007]采用目标检测算法和人体关键点提取算法实现对图像的预处理，得到行人的检测框D以及每个检测框内所对应的行人的关键点参数K，在召车行为推理的过程中，人体的面部注意力是判断其是否具有召车意图的关键线索，在真实的场景中，行人召车的过程，行人将会对出租车具有高度的注意力。对面部注意力的推理，从两个方面进行，首先利用人体关键点检测中所检测到的面部关键点进行推理，以左耳关键点和右耳关键点的横坐标之差h
p
为基准，以σ为放大系数，形成一个边长为σh
p
的正方形框S作为面部区域；当左耳关键点和鼻关键点的横向距离h
f
大于h
p
，意味着行人的面部以相对侧面的角度正对出租车，即行人对车辆的注意力较小；当h
f
小于h
p
，将面部区域S输入到面部注意力深度网络中计算行人的面
部注意力概率；面部注意力深度网络包括前部网络和后部网络，前部网络为特征提取网络，采用Resnet50作为基准网络，提取面部特征；后部网络为由全连接层组成的特征连接网络，实现将前部网络所提取的面部特征连接，得到全局特征，输出为面部注意力概率ρ
f
；
[0008]B、意图推理
[0009]采用随机森林算法和图卷积网络相结合进行行人的意图推理，具体步骤如下：
[0010]B1、采用随机森林算法推理人体关键点之间的连接角度和行人意图的关系，随机森林的输入是人体关键点的连接角度，为了防止出现过拟合的现象，选取一些与行人召车关系较强的关键点角度作为随机森林的输入，包括以颈关键点、左肩关键点、右肩关键点、左肘关键点、右肘关键点为顶点的连接角度，随机森林的输出为行人具有召车意图的概率ρ
r
。
[0011]B2、采用图卷积网络推理人体关键点位置与行人意图的关系，图卷积网络的输入为人体图模型G(v,e)，其中，v为人体图模型的节点，即人体关键点，节点特征为关键点的坐标，e为人体图模型的边，即节点之间的连接。由于目标检测所获取的检测框D的尺寸不固定，为了降低检测框尺寸对意图推理的影响，采用坐标转换实现将人体关键点的图像坐标转化为以人体颈部关键点为原点的关联坐标：
[0012][0013]其中，x
inew
和y
inew
为第i个人体关键点转换后的横坐标和纵坐标；u
i
与v
i
为第i个人体关键点的转换前的横坐标和纵坐标；u1与v1为颈部关键点的横坐标和纵坐标。
[0014]图卷积网络的过程为：
[0015][0016][0017]其中，A是人体图模型的邻接矩阵；是人体图模型的度矩阵；H
(l)
是第l层图卷积的输出特征，H
(l+1)
为第l+1层图卷积的输出特征；W
(l)
为第l层图卷积的参数矩阵；是激活函数；Z是图卷积网络的输出，即行人具有召车意图的概率ρ
g
；H
(z)
是最后一层图卷积的特征矩阵；W
(z)
是最后一层图卷积的参数矩阵；readout(
·
)是由全连接层组成的图读出网络，实现将人体图模型中的所有节点特征聚合连接。
[0018]B3、算法融合
[0019]通过随机森林和图卷积网络，分别得到行人具有召车意图的概率随机森林输出概率ρ
r
和图卷积网络输出概率ρ
g
，为了得到更稳定准确的意图推理，提出一套具有逻辑上可解释的融合规则实现将随机森林和图卷积网络融合，融合规则如下：
[0020][0021]其中，p是融合后行人具有召车意图的概率。当p
g
＞0.5且p
r
＞0.5或者p
g
＜0.5且p
r
＜0.5时，意味着随机森林算法和图卷积网络算法具有相同的推理结果，则融合概率p为当p
g
＞0.5且p
r
＜0.5时，则意味着随机森林算法和图卷积网络算法具有不同的推理结果，图卷积网络的推理结果为行人具有召车意图，随机森林的推理结果为行人没有召车意图，为了得到一个更准确的推理结果，面部注意力概率p
f
作为动态权重对p
g
和p
r
实现动态加权平均，即，当p
f
＞0.5，意味着行人具有较高的召车概率，则赋予图卷积网络的输出一个更高的权重，而随机森林的输出赋予一个较低的权重；当p
f
＜0.5时，则赋予随机森林的输出一个更高的权重，而赋予图卷积网络的输出一个更低的权重；当p
g
＜0.5且p
r
＞0.5时，则意味着另一种随机森林算法和图卷积网络算法具有不同的推理结果的情况，图卷积网络的推理结果为行人没有召车意图，而随机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的行人召车行为识别方法，其特征在于：包括以下步骤：A、图像预处理采用目标检测算法和人体关键点提取算法实现对图像的预处理，得到行人的检测框D以及每个检测框内所对应的行人的关键点参数K，在召车行为推理的过程中，人体的面部注意力是判断其是否具有召车意图的关键线索，在真实的场景中，行人召车的过程，行人将会对出租车具有高度的注意力；对面部注意力的推理，从两个方面进行，首先利用人体关键点检测中所检测到的面部关键点进行推理，以左耳关键点和右耳关键点的横坐标之差h
p
为基准，以σ为放大系数，形成一个边长为σh
p
的正方形框S作为面部区域；当左耳关键点和鼻关键点的横向距离h
f
大于h
p
，意味着行人的面部以相对侧面的角度正对出租车，即行人对车辆的注意力较小；当h
f
小于h
p
，将面部区域S输入到面部注意力深度网络中计算行人的面部注意力概率；面部注意力深度网络包括前部网络和后部网络，前部网络为特征提取网络，采用Resnet50作为基准网络，提取面部特征；后部网络为由全连接层组成的特征连接网络，实现将前部网络所提取的面部特征连接，得到全局特征，输出为面部注意力概率ρ
f
；B、意图推理采用随机森林算法和图卷积网络相结合进行行人的意图推理，具体步骤如下：B1、采用随机森林算法推理人体关键点之间的连接角度和行人意图的关系，随机森林的输入是人体关键点的连接角度，为了防止出现过拟合的现象，选取一些与行人召车关系较强的关键点角度作为随机森林的输入，包括以颈关键点、左肩关键点、右肩关键点、左肘关键点、右肘关键点为顶点的连接角度，随机森林的输出为行人具有召车意图的概率ρ
r
；B2、采用图卷积网络推理人体关键点位置与行人意图的关系，图卷积网络的输入为人体图模型G(v,e)，其中，v为人体图模型的节点，即人体关键点，节点特征为关键点的坐标，e为人体图模型的边，即节点之间的连接；由于目标检测所获取的检测框D的尺寸不固定，为了降低检测框尺寸对意图推理的影响，采用坐标转换实现将人体关键点的图像坐标转化为以人体颈部关键点为原点的关联坐标：其中，x
inew
和y
inew
为第i个人体关键点转换后的横坐标和纵坐标；u
i
与v
i
为第i个人体关键点的转换前的横坐标和纵坐标；u1与v1为颈部关键点的横坐标和纵坐标；图卷积网络的过程为：图卷积网络的过程为：其中，A是人体图模型的邻接矩阵；是人体图模型的度矩阵...

【专利技术属性】
技术研发人员：连静，王政皓，李琳辉，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：