一种基于关键点的行人轨迹预测方法及装置制造方法及图纸

本发明专利技术公开了一种基于关键点的行人轨迹预测方法及装置，涉及自动驾驶技术领域。该方法的一具体实施方式包括：从行人关键点检测信息中提取行人的关键点特征；从多帧历史图像中提取多组历史特征；所述历史特征中包括：所述行人的位置、所述行人的速度和所述关键点特征；基于所述多组历史特征，生成所述行人的融合特征；从车道信息中提取车道的特征；基于自注意力机制融合所述行人的融合特征和所述车道的特征，获取行人车道融合特征；基于所述行人车道融合特征确定所述行人是静止还是运动，如果是运动，则将所述行人车道融合特征输入解码器，得到所述行人的轨迹。该实施方式能够更准确的对行人进行轨迹预测。准确的对行人进行轨迹预测。准确的对行人进行轨迹预测。

【技术实现步骤摘要】
一种基于关键点的行人轨迹预测方法及装置


[0001]本专利技术涉及自动驾驶
，尤其涉及一种基于关键点的行人轨迹预测方法及装置。

技术介绍

[0002]行人意图预测是保障自动驾驶安全性和舒适性的重要环节。在城市道路上驾驶时，不可避免的会出现车辆和行人处在同一条道路上，而行人参与道路交通的主要特点是行走随意性大，方向多变，假如行人意图预测不准，可能会导致自动驾驶车辆采取错误的决策，从而引发车辆和行人碰撞事故。
[0003]在现有技术中，自动驾驶的预测技术重心在于车辆、非机动车等快速障碍物的预测，但专用于行人轨迹预测较少，尽管在学术研究中有不少行人预测相关研究，但此类研究主要集中于固定的感知系统获取的信息，迁移到自动驾驶等移动系统中效果较差。

技术实现思路

[0004]鉴于上述情况，本专利技术提供一种基于关键点的行人轨迹预测方法及装置，用以实现对行人轨迹进行有效预测。
[0005]第一方面，本说明书提供了一种基于关键点的行人轨迹预测方法，包括：
[0006]从行人关键点检测信息中提取行人的关键点特征；
[0007]从多帧历史图像中提取多组历史特征；所述历史特征中包括：所述行人的位置、所述行人的速度和所述关键点特征；
[0008]基于所述多组历史特征，生成所述行人的融合特征；
[0009]从车道信息中提取车道的特征；
[0010]基于自注意力机制融合所述行人的融合特征和所述车道的特征，获取行人车道融合特征；
[0011]基于所述行人车道融合特征确定所述行人是静止还是运动，如果是运动，则将所述行人车道融合特征输入解码器，得到所述行人的轨迹。
[0012]第二方面，本说明书提供基于关键点的行人轨迹预测装置，包括：
[0013]第一提取模块，配置为从行人关键点检测信息中提取行人的关键点特征；从多帧历史图像中提取多组历史特征；所述历史特征中包括：所述行人的位置、所述行人的速度和所述关键点特征；
[0014]融合模块，配置为基于所述多组历史特征，生成所述行人的融合特征；
[0015]第二提取模块，配置为从车道信息中提取车道的特征；
[0016]自注意力机制模块，配置为基于自注意力机制融合所述行人的融合特征和所述车道的特征，获取行人车道融合特征；
[0017]解码模块，配置为基于所述行人车道融合特征确定所述行人是静止还是运动，如果是运动，则将所述行人车道融合特征输入解码器，得到所述行人的轨迹。
[0018]第三方面，本说明书实施例提供一种电子设备，包括：
[0019]一个或多个处理器；
[0020]存储装置，用于存储一个或多个程序，
[0021]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的方法。
[0022]第四方面，本专利技术实施例提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任一实施例所述的方法。
[0023]上述专利技术中的一个实施例具有如下优点或有益效果：该方法着重考虑到了行人关键点检测信息对未来行为的影响因素，以获得行人更全面、更有效的信息，再结合自注意力机制可以使自动驾驶车辆能够预先对行人是处于静止模式还是运动模式进行判断，如果判断行人是处于静止模式，则退出程序，如果判断行人是处于运动模式，则进一步输出行人未来的运动轨迹，此方法能够使自动驾驶车辆准确预测行人未来行为，并及时地调整行进路线避免碰撞发生。
附图说明
[0024]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，构成本专利技术的一部分，本专利技术的示意性实施例及其说明解释本专利技术，并不构成对本专利技术的不当限定，在附图中：
[0025]图1为本专利技术一个实施例提供的基于关键点的行人轨迹预测方法的流程图；
[0026]图2为本专利技术另一个实施例提供的基于关键点的行人轨迹预测方法的流程图；
[0027]图3为本专利技术一个实施例提供的基于关键点的行人轨迹预测装置的示意图；
[0028]图4为适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0029]以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]行人作为交通场景中的主要参与者，对其未来运动轨迹的合理推理和预测对于自动驾驶和道路安全至关重要。现有的行人轨迹预测主要具有以下缺点：
[0031](1)没有考虑到关键点对行人未来意图的影响，行人本身的动作可以表明行人很多意图，并不是一个单纯的质点，因此在行人特征中仅仅考虑位置、速度等信息是完全不够的；
[0032](2)现有的行人轨迹预测方式主要是对运动障碍物进行预测，而对静止障碍物没有预测，这会导致自动驾驶车辆对突然起步的行人反应不及时。
[0033]以上缺点均会促使现有的行人轨迹预测不能做到准确预测。
[0034]鉴于此，根据图1，本说明书提供一种基于关键点的行人轨迹预测方法，包括：
[0035]步骤100，从行人关键点检测信息中提取行人的关键点特征。
[0036]步骤101，从多帧历史图像中提取多组历史特征；历史特征中包括：行人的位置、行人的速度和关键点特征。
[0037]自动驾驶是一个由激光雷达、毫米波雷达、摄像机、超声波雷达、全球定位系统等多个传感器和子系统组成的高级复杂性系统性工程。在本说明书中行人关键点检测信息主要是通过摄像机获取，其余的历史特征，比如行人的位置和行人的速度，主要是通过激光雷达、超声波雷达、毫米波雷达等感知系统获取，但不限于此。
[0038]行人关键点检测的任务是从输入的图片中检测到人体及对应的关键点位置，比如关键点特征包括但不限于鼻子、左右耳、左右肩、左右肘，左右腕，左右臀，左右膝，左右脚踝等人体部位。
[0039]在本说明书中历史特征中包括但不限于行人的位置、行人的速度和关键点特征。
[0040]步骤102，基于多组历史特征，生成行人的融合特征。
[0041]步骤103，从车道信息中提取车道的特征。
[0042]步骤104，基于自注意力机制融合行人的融合特征和车道的特征，获取行人车道融合特征。
[0043]步骤105，基于行人车道融合特征确定行人是静止还是运动，如果是运动，则将行人车道融合特征输入解码器，得到行人的轨迹。
[0044]本说明书是针对于现有的行人轨迹预测技术没有考虑到人体关键点因素，其轨迹预测效果较差的问题，进一步提出了一种基于关键点的行人轨迹预测方法，首先，将路口场景和非路口场景内行人关键点信息作为行人的特征输入，基于关键点特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点的行人轨迹预测方法，其特征在于，包括：从行人关键点检测信息中提取行人的关键点特征；从多帧历史图像中提取多组历史特征；所述历史特征中包括：所述行人的位置、所述行人的速度和所述关键点特征；基于所述多组历史特征，生成所述行人的融合特征；从车道信息中提取车道的特征；基于自注意力机制融合所述行人的融合特征和所述车道的特征，获取行人车道融合特征；基于所述行人车道融合特征确定所述行人是静止还是运动，如果是运动，则将所述行人车道融合特征输入解码器，得到所述行人的轨迹。2.根据权利要求1所述的方法，其特征在于，从行人关键点检测信息中提取行人的关键点特征，包括：将所述行人关键点检测信息输入第一自注意力模型，得到关键点之间的关联信息；将所述关键点之间的关联信息输入第一多层感知器，得到所述行人的关键点特征。3.根据权利要求1所述的方法，其特征在于，基于所述多组历史特征，生成所述行人的融合特征，包括：将所述多组历史特征输入第二自注意力模型，得到历史特征之间的关联信息；将所述历史特征之间的关联信息输入第二多层感知器，得到所述行人的融合特征。4.根据权利要求1所述的方法，其特征在于，从车道信息中提取车道的特征，包括：将所述车道信息输入卷积神经网络，得到所述车道的特征。5.根据权利要求1所述的方法，其特征在于，基于自注意力机制融合所述行人的融合特征和所述车道的特征，获取行人车道融合特征，包括：将所述行人的融合特征和所述车道的特征输入第三自注意力模型，得到所述行人车道融合特征。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，基于所述行人车...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：九识苏州智能科技有限公司，
类型：发明
国别省市：