基于第一人称视角视频的行人轨迹预测方法及装置制造方法及图纸

本公开提供一种基于第一人称视角视频的行人轨迹预测方法，包括：获取行人的观测轨迹特征；获取行人意图特征；对观测轨迹特征进行修正，获得结合行人意图的修正观测轨迹特征；将修正观测轨迹特征映射至符合第一预设概率的模型的分布空间，在符合第一预设概率的模型的分布空间中进行采样，获得第一采样数据，将第一采样数据与修正观测轨迹特征进行融合，获得第一采样特征张量；基于第一采样特征张量获得至少一条未来预测轨迹的预测终点；基于第一采样特征张量及至少一条未来预测轨迹的预测终点，生成至少一条基于预测终点指导的未来预测轨迹。本公开还提供了基于第一人称视角视频的行人轨迹预测装置、电子设备、可读存储介质及计算机程序产品。及计算机程序产品。及计算机程序产品。

【技术实现步骤摘要】
基于第一人称视角视频的行人轨迹预测方法及装置


[0001]本公开涉及自动驾驶
，本公开尤其涉及一种基于第一人称视角视频的行人轨迹预测方法、装置、电子设备、可读存储介质及计算机程序产品。

技术介绍

[0002]第一人称的行人轨迹预测对自动驾驶车辆的决策控制具有重要的意义。现阶段，自动驾驶车辆一般配备相机传感器，采集车辆周围的高分辨率第一人称视频图像数据。行人属于城市交通中的重要参与者，行人具有复杂的行为，并且自身容易受到伤害，准确预测车载相机第一人称视角下的行人轨迹，有助于车辆提前采取措施，保障行人的生命财产安全，提高驾驶安全系数。
[0003]当前自动驾驶车辆中的感知系统，一般集成了相当成熟、稳定的行人检测和跟踪的算法，而第一人称的行人轨迹预测任务可以视为行人检测、跟踪的下游任务。
[0004]2018年的《Future person localization in first
‑
person videos》，提出了一个在可穿戴相机拍摄的第一人称视频中预测行人未来位置的框架，穿戴者的自我运动会显著影响视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于第一人称视角视频的行人轨迹预测方法，其特征在于，包括：基于第一人称视角视频获取行人的观测轨迹，基于行人的观测轨迹获取行人的观测轨迹特征；基于第一人称视角视频获取行人意图特征；基于所述观测轨迹特征和所述行人意图特征，获取混合特征，基于所述混合特征对所述观测轨迹特征进行修正，获得结合行人意图的修正观测轨迹特征；将所述修正观测轨迹特征映射至符合第一预设概率的模型的分布空间，在所述符合第一预设概率的模型的分布空间中进行采样，获得第一采样数据，将所述第一采样数据与所述修正观测轨迹特征进行融合，以获得第一采样特征张量；基于所述第一采样特征张量获得至少一条未来预测轨迹的预测终点；以及基于所述第一采样特征张量及所述至少一条未来预测轨迹的预测终点，生成至少一条基于预测终点指导的未来预测轨迹。2.根据权利要求1所述的基于第一人称视角视频的行人轨迹预测方法，其特征在于，基于行人的观测轨迹获取行人的观测轨迹特征，包括：提取行人的观测轨迹的局部及全局特征以获得在一段连续时间内行人的观测轨迹特征。3.根据权利要求2所述的基于第一人称视角视频的行人轨迹预测方法，其特征在于，提取行人的观测轨迹的局部及全局特征，包括：通过线性映射将所述观测轨迹的各个轨迹点的数据表示形式从低维度转换为高维度；将转换后的高维度表示的轨迹点通过局部特征提取器提取局部特征；以及将所述局部特征通过全局特征提取器提取全局特征。4.根据权利要求2所述的基于第一人称视角视频的行人轨迹预测方法，其特征在于，基于第一人称视角视频获取行人意图特征，包括：通过视频特征提取网络提取行人在观测轨迹所在的视频帧的时空特征，将所述视频帧的时空特征作为行人的行人意图特征；其中，所述时空特征为表示是否行动的二分类行人意图特征，所述时空特征通过行动意图识别器的二分类器进行识别，以获得与所述时空特征对应的行人意图类型。5.根据权利要求2所述的基于第一人称视角视频的行人轨迹预测方法，其特征在于，对所述观测轨迹特征进行修正，获得结合行人意图的修正观测轨迹特征，包括：将表示所述行人意图特征的特征张量与表示所述观测轨迹特征的特征张量进行拼接，得到混合特征张量；将所...

【专利技术属性】
技术研发人员：陈禹行，董铮，李雪，范圣印，
申请(专利权)人：苏州易航远智智能科技有限公司，
类型：发明
国别省市：