自动驾驶场景下基于Body Pix的行人运动检测方法技术

本发明专利技术公开了一种自动驾驶场景下基于Body Pix的行人运动检测方法，包括步骤如下：获取车辆前方一帧图像作为当前帧图像；使用Body Pix对获取的图像进行处理；获取连续帧图像，并对连续帧图像进行处理分析；预测行人运动轨迹；预测行人意图。本发明专利技术采用长短期记忆网络关联时空上下文信息预测行人运动轨迹，从而对自动驾驶决策系统做出有效反馈。

【技术实现步骤摘要】
自动驾驶场景下基于BodyPix的行人运动检测方法
本专利技术涉及一种自动驾驶场景下基于BodyPix的行人运动检测方法，属于自动驾驶

技术介绍
近年来，随着硬件性能的突破和理论研究的不断发展，学术界和工业界都积极投身前沿技术人工智能的研究。目前计算机视觉、自然语言处理、自动驾驶、智能机器人等领域成为了人工智能最热门的产业研究方向。自动驾驶是人工智能的核心任务，也是各企业和高校的重点研究领域，其研究成果不仅会推动我国经济的发展，而且极大的影响着我国的国际地位及综合实力。谷歌推出的使用TensorFlow.js的人体图像分割工具BodyPix主要技术更新有：对多人图像的支持、增加基于ResNet-50的模型、新的API、权重量化以及对不同尺寸图像的支持，这推进了该技术在自动驾驶领域的应用。行人检测作为自动驾驶的核心任务，一直以来都受到社会各界的极力追捧。由于行人兼具刚性和柔性物体的特性，外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人检测成为计算机视觉领域中一个既具有研究价值同时又极具挑战性的热门课题。现有行人检测技术中，由于卷积神经网络较为复杂，算法的整体计算量较大，使得模型运行速度过慢，进而导致该技术在嵌入式设备、移动端等硬件资源受限的平台上不能满足系统的实时性要求；还有部分算法采用更加精简的卷积神经网络进行检测，通过减少网络层数、降低卷积层通道数等方式简化网络，或通过压缩网络输入尺寸等措施降低算法计算量，并且配置性能更强的处理器芯片进行快速运算。此类方法在诸如移动端等平台的速度仅为6FPS左右，速度较慢，且过于简单的卷积神经网络虽然能够保证检测速度，但是以检测精度的显著降低为代价。可见，现有的检测算法在检测速度上存在较为严重的迟缓问题，而速度较慢带来的直接影响是不能及时对当前场景进行目标检测与分析，因而不能应用在诸如辅助驾驶等实时性要求较高的场景中。综上所述，现有的行人检测技术存在无法同时满足实时性要求和达到高检测精度的问题。本专利技术从计算机视觉的角度出发进行行人检测和行人行为预测，提出了一种自动驾驶检测和行为预测方法。
技术实现思路
为了克服现有技术中存在的不足，本专利技术提供一种自动驾驶场景下基于BodyPix的行人运动检测方法，以解决现有技术中现有的行人检测技术存在无法同时满足实时性要求和达到高检测精度的问题。为实现上述目的，本专利技术采用的技术方案如下：本专利技术的一种自动驾驶场景下基于BodyPix的行人运动检测方法，包括步骤如下：1)获取车辆前方一帧图像作为当前帧图像；2)使用BodyPix对获取的图像进行处理；3)获取连续帧图像，并对连续帧图像进行处理分析；4)预测行人运动轨迹；5)预测行人意图。进一步地，所述步骤2)具体包括：21)通过深度神经网络学习图像像素特点，并将图像分割为人体和非人体像素；22)将人体部分划分为24个部位。进一步地，所述步骤3)具体包括：31)根据图像像素信息判断行人相对于车辆的位置；32)判断是否为行人，判定为行人后继续判断行人的属性；33)根据连续帧获取到的同一行人不同位置来判断行人运动方向。进一步地，所述步骤4)中的预测行人运动轨迹具体包括：采用基于生成对抗网络的行人轨迹预测模型预测行人轨迹，该模型包括生成器和鉴别器，生成器为长短时记忆网络编解码器，用于根据历史轨迹Xi生成未来轨迹鉴别器为长短时记忆网络编码分类模型，用于鉴别训练集真实轨迹[Xi,Yi]和生成器生成轨迹进一步地，所述步骤5)中的预测行人意图具体包括：利用softmax函数来预测行人意图，其中softmax函数中应用的参数矩阵通过步骤4)获得(即长短时记忆网络编码器的全连接层参数)；将行人运动趋势和行人行为组合为一个向量，与所述参数矩阵相乘得各类行人意图的概率，将最大概率对应的行人意图作为预测行人意图。进一步地，所述方法还包括：6)将预测得到的行人运动轨迹和行人意图输出至车辆的预警系统或/及驾驶决策系统。本专利技术的有益效果：本专利技术采用长短期记忆网络关联时空上下文信息预测行人运动轨迹，从而对自动驾驶决策系统做出有效反馈。一方面，采用谷歌已经训练好的人体分割工具来检测行人，预测准确度高；另一方面，易于实现，成本较低且安全性高，具有很好的应用前景。附图说明图1为本专利技术方法的流程图。图2为单目视觉距离几何模型示意图。图3为行人轨迹预测模型示意图。具体实施方式为了便于本领域技术人员的理解，下面结合实施例与附图对本专利技术作进一步的说明，实施方式提及的内容并非对本专利技术的限定。参照图1所示，本专利技术的一种自动驾驶场景下基于BodyPix的行人运动检测方法，包括步骤如下：1)通过车辆上的前置摄像头获取车辆前方一帧图像作为当前帧图像；2)使用BodyPix对获取的图像进行处理；3)获取连续帧图像，并对连续帧图像进行处理分析；4)预测行人运动轨迹；5)预测行人意图；6)将预测得到的行人运动轨迹和行人意图输出至车辆的预警系统或/及驾驶决策系统。上述的步骤包含三个内容：一是行人检测，具体使用Bodypix对获取到的图像进行处理，分析得出是否存在人体像素，以及对人体像素进行部位划分，确定行人位置以及行人属性(表现为行人站立或蹲下)；二是行人运动轨迹预测，采用LSTM方法；三是使用softmax函数建立模型，预测行人意图。1、行人检测；BodyPix的核心是执行人体分割的算法，对输入图像的每个像素执行二进制决策，以估计该像素是否属于某个人。图像通过MobileNet网络馈送，并且使用S型激活函数将输出转换为0到1之间的值。为了估计人体身体部位的分割，BodyPix使用相同的MobileNet表示，通过预测额外的24个通道输出张量P来重复上述过程，其中，24是身体部位的数量。输出张量P中有24个通道，因此需要在24个通道中找到最佳部分。在推断期间，对于输出身体部位张量P的每个像素位置(u，v)，body_part_id(BodyPix中可调用的一个API)使用以下公式选择属于第i个部位概率最高的像素：whereI＝{0,1,...,23}将产生一个二维图像，每个像素都包含一个整数，该整数表示该像素属于哪个身体部位；通过将值设置为-1，可以把不属于人体的部分剔除掉。由此，设置一个像素阈值，以便于判断行人是否为未成年人属性，若超过阈值，则判断为成年人；若未超过阈值，则判断为未成年人。本专利技术根据摄像头的焦距以及在车载环境下的一些先验条件和事先确定的参数来对车辆前方行人的距离进行估测；在建立测距模型前对先验条件以及参数进行确定：(1)假定车辆前方道路是平坦的，即车辆前方视野内的道路在同一平面上。(2)车载摄像头水平放置安装，即在假定(1)成立的基础上保证了摄像头的光轴与车辆前方道路本文档来自技高网...

【技术保护点】
1.一种自动驾驶场景下基于Body Pix的行人运动检测方法，其特征在于，包括步骤如下：/n1)获取车辆前方一帧图像作为当前帧图像；/n2)使用Body Pix对获取的图像进行处理；/n3)获取连续帧图像，并对连续帧图像进行处理分析；/n4)预测行人运动轨迹；/n5)预测行人意图。/n

【技术特征摘要】
1.一种自动驾驶场景下基于BodyPix的行人运动检测方法，其特征在于，包括步骤如下：
1)获取车辆前方一帧图像作为当前帧图像；
2)使用BodyPix对获取的图像进行处理；
3)获取连续帧图像，并对连续帧图像进行处理分析；
4)预测行人运动轨迹；
5)预测行人意图。


2.根据权利要求1所述的自动驾驶场景下基于BodyPix的行人运动检测方法，其特征在于，所述步骤2)具体包括：
21)通过深度神经网络学习图像像素特点，并将图像分割为人体和非人体像素；
22)将人体部分划分为24个部位。


3.根据权利要求1所述的自动驾驶场景下基于BodyPix的行人运动检测方法，其特征在于，所述步骤3)具体包括：
31)根据图像像素信息判断行人相对于车辆的位置；
32)判断是否为行人，若判定为行人后继续判断行人的属性；
33)根据连续帧获取到的同一行人不同位置来判断行人运动方向。


4.根据权利要求1所...

【专利技术属性】
技术研发人员：刘晶晶，宋智军，张晖，叶剑，
申请(专利权)人：多伦科技股份有限公司，
类型：发明
国别省市：江苏;32