基于双流制造技术

本发明专利技术涉及轨迹预测技术领域，且公开了基于双流

【技术实现步骤摘要】
基于双流LSTM的行人轨迹预测和意图估计方法


[0001]本专利技术涉及轨迹预测
，具体为基于双流
LSTM
的行人轨迹预测和意图估计方法
。

技术介绍

[0002]为了应对行人安全带来的问题，相关研究人员提出多种方法，例如行人检测，然而行人的移动随机性很强，特别是突然出现在车辆前方的行人
。
因此，即便检测到了行人，汽车也很可能来不及避让，行人轨迹预测不同，可以通过观察到的历史轨迹来预测行人未来的轨迹，从而为车辆避让留出充足的操作时间，此外，轨迹能够呈现出一定的行人意图，而意图能够直接反映行人的真实行为，多以，通过对行人的轨迹预测和意图估计能够辅助车辆做出预判，从而为流出更多的操作时间，大大降低交通事故的发生
。
[0003]尽管行人的轨迹和意图具有重要的现实意义，但现有的大多数方法仅能解决其中一个，而不能在一个方法中同时预测轨迹和估计意图，两个问题分开解决，导致轨迹与意图之间的相关性缺失，这不利于对行人行为的理解，此外，由于两者密切相关，分开解决时的轨迹预测精度和意图估计准确率会降低，因此提出基于双流
LSTM
的行人轨迹预测和意图估计方法
。

技术实现思路

[0004](
一
)
解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了基于双流
LSTM
的行人轨迹预测和意图估计方法，解决了现有的大多数方法仅能解决其中一个，而不能在一个方法中同时预测轨迹和估计意图，两个问题分开解决，导致轨迹与意图之间的相关性缺失，这不利于对行人行为的理解，此外，由于两者密切相关，分开解决时的轨迹预测精度和意图估计准确率会降低的问题
。
[0006](
二
)
技术方案
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]基于双流
LSTM
的行人轨迹预测和意图估计方法，包括以下步骤：
[0009]S1
：总体架构设计，搭建一个
Encoder
tra
‑
Decoder
tra
架构的
LSTM
利用行人的方向和历史轨迹对行人的未来轨迹进行预测；
[0010]S2
：脚点，在大多数行人轨迹预测和意图估计任务中，行人的位置通常用边界框的左上角
(x
tl
,y
tl
)
和右下角
(x
br
,y
br
)
的像素坐标进行表示，描述为
bounding_box
＝
[(x
tl
,y
tl
),(x
br
,y
br
)]，一些工作将脚点坐标当作行人位置，定义为边界框底线上的中间点，形式上可表示为
[0011]S3
：相对位移，行人在图片中的位置，无论是边界框角点还是脚点都采用像素坐标表示，它仅代表行人在图片中的绝对位置，是一种独立的存在，缺少与上下文信息的关联，
然而，行人的位置与汽车之间的相对位置关系往往决定了行人将做出的某种行为，用相对位移
(Relative Displacement)
来表示这个相对值，以模拟行人和车辆之间的相对位置关系；
[0012]S4
：行人轨迹预测流，行人轨迹预测流主要利用观察到的历史轨迹以及每个时刻的行人方向做为输入，在编码器中对这些特征进行编码，轨迹预测流的解码器对编码信息进行解码，解码器的每一时刻输出做为行人的未来轨迹记；
[0013]S5
：行人意图估计流，行人意图估计流中编码器将行人与车辆的历史相对位移和预测流中编码器的输出做为输入，在编码器中完成以上特征的编码
。
在意图估计流中解码器接收编码特征和未来相对位移，解码器的最终状态为行人的意图估计结果
。
[0014]作为本专利技术再进一步的方案，所述
S3
中包括相对位移生成单元，由于行人图片是在第一视角下拍摄的，所以行人与车辆的距离在图片中主要以横向距离的形式体现，首先在图片中定义两条边界线，分别是左边线
ll
和右边线
lr
，两条边界线之间的宽度可表示为车辆的宽度，也可以表示图片中汽车将要通过的区域，因为图像上部四分之三的区域距离车辆较远且行人较小，而更远处是天空，因此这部分区域可以忽略，两条边界线从图片底边开始向上一直延长到远处，线段高度大约为图片高度的四分之一，图片根据两条边界线被划分成不同的区域，即车辆两侧区域以及汽车前方的行驶区域
(
，那么行人处在不同的区域，也会直接影响他过马路的意图，当行人处在
M
时即表示他正在过马路，而当行人处在
L
或
R
时，根据他的方向不同可能预示着他将要过马路或不过马路，两条边界线在像素坐标系中可表示为
[0015][0016]根据以上描述可知，相对位移由行人脚点分别到两条边界线的距离构成，记为其中和分别表示脚点到左边线和右边线的距离，在数学上表示为
[0017][0018]在观察序列中的每一帧中的行人都需要计算相对位移，它们连接起来构成观察序列的相对位移由公式
(2)
可知，两个相对位移的组合可以体现出行人在
L、R
和
M
中的哪个区域，即在
L
区域时和均为负，在
R
区域时和均为正，在
M
区域时为正而为负，这再一次说明相对位移不仅表示行人与汽车之间距离的动态变化，还具有很强的行人位置指向性，因此，相对位移作为估计行人意图的特征之一，增强了特征的表达能力，也使得网络更容易学习到具有辨别性的特征
。
[0019]进一步的，所述
S4
中行人的行为不仅与历史轨迹密切相关，更与未来轨迹高度相关，
t
时刻行人在
L
区域，那么在未来的某个时刻
t+m
可能会走到
M
区域或者仍然停留在
L
区域，即表示他将要过马路或不过马路，以往的一些方法在预测行人未来轨迹时通常是基于
行人的历史轨迹序列
FP
obs
，即学习分布
p(FP
f
|FP
obs
)
，其中表示行人未来的轨迹，采用行人脚点坐标的形式进行表示，然而，即使多个行人有着相同的历史轨迹，但在未来也可能走出不同的轨迹，因为行人的方向往往能够展现出他的注意力，而行人的注意力将会对未来轨迹产生直接影响，所以，在该模块增加了一种行人方向作为输入，即学习分布
p(FP
f
|FP
obs
,OR
obs...

【技术保护点】

【技术特征摘要】
1.
基于双流
LSTM
的行人轨迹预测和意图估计方法，其特征在于，包括以下步骤：
S1
：总体架构设计，搭建一个
Encoder
tra
‑
Decoder
tra
架构的
LSTM
利用行人的方向和历史轨迹对行人的未来轨迹进行预测；
S2
：脚点，在大多数行人轨迹预测和意图估计任务中，行人的位置通常用边界框的左上角
(x
tl
,y
tl
)
和右下角
(x
br
,y
br
)
的像素坐标进行表示，描述为
bounding_box
＝
[(x
tl
,y
tl
),(x
br
,y
br
)]
，一些工作将脚点坐标当作行人位置，定义为边界框底线上的中间点，形式上可表示为
S3
：相对位移，行人在图片中的位置，无论是边界框角点还是脚点都采用像素坐标表示，它仅代表行人在图片中的绝对位置，是一种独立的存在，缺少与上下文信息的关联，然而，行人的位置与汽车之间的相对位置关系往往决定了行人将做出的某种行为，用相对位移
(Relative Displacement)
来表示这个相对值，以模拟行人和车辆之间的相对位置关系；
S4
：行人轨迹预测流，行人轨迹预测流主要利用观察到的历史轨迹以及每个时刻的行人方向做为输入，在编码器中对这些特征进行编码，轨迹预测流的解码器对编码信息进行解码，解码器的每一时刻输出做为行人的未来轨迹记；
S5
：行人意图估计流，行人意图估计流中编码器将行人与车辆的历史相对位移和预测流中编码器的输出做为输入，在编码器中完成以上特征的编码
。
在意图估计流中解码器接收编码特征和未来相对位移，解码器的最终状态为行人的意图估计结果
。2.
根据权利要求1所述的基于双流
LSTM
的行人轨迹预测和意图估计方法，其特征在于，所述
S3
中包括相对位移生成单元，由于行人图片是在第一视角下拍摄的，所以行人与车辆的距离在图片中主要以横向距离的形式体现，首先在图片中定义两条边界线，分别是左边线
ll
和右边线
lr
，两条边界线之间的宽度可表示为车辆的宽度，也可以表示图片中汽车将要通过的区域，因为图像上部四分之三的区域距离车辆较远且行人较小，而更远处是天空，因此这部分区域可以忽略，两条边界线从图片底边开始向上一直延长到远处，线段高度大约为图片高度的四分之一，图片根据两条边界线被划分成不同的区域，即车辆两侧区域以及汽车前方的行驶区域
(
，那么行人处在不同的区域，也会直接影响他过马路的意图，当行人处在
M
时即表示他正在过马路，而当行人处在
L
或
R
时，根据他的方向不同可能预示着他将要过马路或不过马路，两条边界线在像素坐标系中可表示为根据以上描述可知，相对位移由行人脚点分别到两条边界线的距离构成，记为其中和分别表示脚点到左边线和右边线的距离，在数学上表示为在观察序列中的每一帧中的行人都需要计算相对位移，它们连接起来构成观察序列的
相对位移由公式
(2)
可知，两个相对位移的组合可以体现出行人在
L、R
和
M
中的哪个区域，即在
L
区域时和均为负，在
R
区域时和均为正，在
M
区域时为正而为负，这再一次说明相对位移不仅表示行人与汽车之间距离的动态变化，还具有很强的行人位置指向性，因此，相对位移作为估计行人意图的特征之一，增强了特征的表达能力，也使得网络更容易学习到具有辨别性的特征
。3.
根据权利要求1所述的基于双流
LSTM
的行人轨迹预测和意图估计方法，其特征在于，所述
S4
中行人的行为不仅与历史轨迹密切相关，更与未来轨迹高度相关，
t...

【专利技术属性】
技术研发人员：李啸，
申请(专利权)人：苏州协同创新智能制造科技有限公司，
类型：发明
国别省市：