行人轨迹预测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种行人轨迹预测方法、装置、设备及存储介质，属于计算机技术领域。行人轨迹预测方法，具体包括：获取行人运动视频数据；根据行人运动视频数据，确定出行人的轨迹位置数据和关键点序列数据；将轨迹位置数据和关键点序列数据输入至时空注意力机制的卷积模型中，得到行人轨迹的预测数据。本发明专利技术通过行人历史轨迹、行人之间的交互关系以及行人自身的运动状态多种信息预测行人未来的轨迹，提高了预测的可参考性，且采用具有双流结构的时空注意力机制的卷积模型，同时根据轨迹位置数据和关键点序列数据，对行人轨迹进行预测，提高了行人轨迹预测的精度和准确性。提高了行人轨迹预测的精度和准确性。提高了行人轨迹预测的精度和准确性。

【技术实现步骤摘要】
行人轨迹预测方法、装置、设备及存储介质


[0001]本专利技术涉及计算机
，具体涉及一种行人轨迹预测方法、一种行人轨迹预测装置、一种电子设备及一种计算机可读存储介质。

技术介绍

[0002]近年来，行人的轨迹预测在多个领域中受到越来越多的关注，例如自动驾驶汽车、智能安防、智慧城市等领域。在自动驾驶汽车领域，行人的运动轨迹预测是最重要的研究方向之一，也是最困难的研究方向之一，让汽车能够像人一样提前做出预判，才能真正的减少交通事故的发生。但是在交通场景中，行人的运动轨迹不仅会受到本身意图的影响，还会受到周围行人、车辆的影响以及自身动作的影响，所以行人轨迹预测是一项极具挑战性的工作。
[0003]随着深度学习时代的到来，在行人轨迹预测领域也涌现出了相关的方法，例如通过历史行人轨迹和捕捉到的画面中行人之间的交互关系，利用时空注意力的方式进行行人轨迹预测，但该方法未考虑行人自身的运动行为，预测的行人轨迹精确度不高。

技术实现思路

[0004]本专利技术的目的之一在于提供一种行人轨迹预测方法，以解决现有技术未对行人轨迹的预测精度不高的技术问题；目的之二在于提供一种行人轨迹预测装置；目的之三在于提供一种电子设备；目的之四在于提供一种计算机存储介质。
[0005]为了实现上述目的，本专利技术采用的技术方案如下：
[0006]一种行人轨迹预测方法，所述方法包括：
[0007]获取行人运动视频数据；
[0008]根据所述行人运动视频数据，确定出行人的轨迹位置数据和关键点序列数据；其中，所述关键点序列数据为行人身体的所有关键部位点数据；
[0009]将所述轨迹位置数据和所述关键点序列数据输入至时空注意力机制的卷积模型中，得到行人轨迹的预测数据。
[0010]根据上述技术特征，通过设置具有双流结构的时空注意力机制的卷积模型，同时根据轨迹位置数据和关键点序列数据，对行人轨迹进行预测，提高了行人轨迹预测的精度和准确性。
[0011]进一步，所述根据所述行人运动视频数据，确定出行人的轨迹位置数据和关键点序列数据，包括：
[0012]对所述行人运动视频数据中的行人进行多目标跟踪定位，确定出所述行人的轨迹位置数据；
[0013]对所述行人运动视频中的关键点进行识别，确定出所述关键点序列数据。
[0014]根据上述技术特征，利用多目标跟踪技术和关键点识别技术，提高了采集数据的精确性。
[0015]进一步，将所述轨迹位置数据和所述关键点序列数据输入至时空注意力机制的卷积模型中，得到行人轨迹的预测数据，包括：
[0016]将所述轨迹位置数据和所述关键点序列数据按照预设格式进行保存，得到格式化轨迹位置数据和格式化关键点序列数据；
[0017]将所述格式化轨迹位置数据和所述格式化关键点序列数据输入至时空注意力机制的卷积模型中，得到所述行人轨迹的预测数据。
[0018]根据上述技术特征，通过将数据进行格式化存储，有利于后续数据分析和处理。
[0019]进一步，所述将所述轨迹位置数据和所述关键点序列数据按照预设格式进行保存，得到格式化轨迹位置数据和格式化关键点序列数据，包括：
[0020]根据所述轨迹位置数据，利用式(1)，确定出格式化轨迹位置数据：
[0021][0022]式(1)中，T
o
为时空注意力机制的卷积模型的输入信息，In1为预设格式下的格式化轨迹位置数据，x和y为人体接触地面的中间点的横坐标和纵坐标，n为行人个数，t为时间；
[0023]根据所述关键点序列数据，利用式(2)，确定出格式化关键点序列数据：
[0024][0025]式(2)中，T
o
为时空注意力机制的卷积模型的输入信息，k为行人的关键点序列，In2为预设格式下的格式化关键点序列数据，n为行人个数，t为时间。
[0026]进一步，所述时空注意力机制的卷积模型包括图卷积模块、时间卷积模块、注意力机制模块、融合模块和时序转换模块；
[0027]所述将所述格式化轨迹位置数据和所述格式化关键点序列数据输入至时空注意力机制的卷积模型中，得到所述行人轨迹的预测数据，包括：
[0028]将所述格式化轨迹位置数据和所述格式化关键点序列数据输入至所述图卷积模块中，得到经过图卷积的轨迹位置数据和关键点序列数据；
[0029]将经过图卷积的轨迹位置数据和关键点序列数据输入至所述时间卷积模块中，得到经过时空卷积的轨迹位置数据和关键点序列数据；
[0030]将经过图卷积的轨迹位置数据和关键点序列数据与经过时空卷积的轨迹位置数据和关键点序列数据输入至注意力机制模块中的，得到时空融合的轨迹位置数据和关键点序列数据；
[0031]将所述时空融合的轨迹位置数据和关键点序列数据输入至所述融合模块中，得到多模态特征融合的行人轨迹数据；
[0032]将所述多模态特征融合的行人轨迹数据输入至时序转换模块中进行时序转换，得到所述行人轨迹的预测数据。
[0033]根据上述技术特征，时空注意力机制的卷积模型包括图卷积模块、时间卷积模块、注意力机制模块、融合模块和时序转换模块，图卷积模块用于对数据进行图卷积，时间卷积模块用于对经过图卷积的数据进行时间卷积，注意力机制模块用于经过图卷积的数据和经过时间卷积的数据进行时空融合，融合模块用于将关键点序列数据融合到轨迹位置数据中，得到多模态特征融合的行人轨迹数据，时序转换模块用于将多模态特征融合的行人轨迹数据进行时序转换，以得到行人轨迹的预测数据，基于上述模块，提高了行人轨迹预测数
据的准确性和可参考性。
[0034]进一步，所述方法还包括：
[0035]获取历史行人运动视频数据；
[0036]基于所述历史行人运动数据，确定出历史行人的轨迹位置数据和历史关键点序列数据；
[0037]基于所述历史行人的轨迹位置数据和历史关键点序列数据，对时空注意力机制的卷积模型进行训练；
[0038]判断所述时空注意力机制的卷积模型的预测准确率是否达到预设准确率；
[0039]若所述时空注意力机制的卷积模型的预测准确率未达到所述预设准确率，则继续进行训练，直至所述时空注意力机制的卷积模型的预测准确率达到所述预设准确率。
[0040]根据上述技术特征，基于历史行人运动数据，对时空注意力机制的卷积模型进行训练，直至该模型的预测准确率达到预设准确率，提高了模型预测的准确性以及预测数据的适用性。
[0041]进一步，所述关键部位点包括头部、肩部、肘部、手腕部、胯部、膝部以及脚部。
[0042]一种行人轨迹预测装置，包括：
[0043]数据获取模块用于获取行人运动视频数据；
[0044]数据处理模块用于根据所述行人运动视频数据，确定出行人的轨迹位置数据和关键点序列数据；
[0045]轨迹预测模块用于将所述轨迹位置数据和所述关键点序列数据输入至时空注意力机制的卷积模型中，得到行人轨迹的预测数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人轨迹预测方法，其特征在于，所述方法包括：获取行人运动视频数据；根据所述行人运动视频数据，确定出行人的轨迹位置数据和关键点序列数据；其中，所述关键点序列数据为行人身体的所有关键部位点数据；将所述轨迹位置数据和所述关键点序列数据输入至时空注意力机制的卷积模型中，得到行人轨迹的预测数据。2.根据权利要求1所述的行人轨迹预测方法，其特征在于，所述根据所述行人运动视频数据，确定出行人的轨迹位置数据和关键点序列数据，包括：对所述行人运动视频数据中的行人进行多目标跟踪定位，确定出行人的轨迹位置数据；对所述行人运动视频中的关键点进行识别，确定出所述关键点序列数据。3.根据权利要求1所述的行人轨迹预测方法，其特征在于，将所述轨迹位置数据和所述关键点序列数据输入至时空注意力机制的卷积模型中，得到行人轨迹的预测数据，包括：将所述轨迹位置数据和所述关键点序列数据按照预设格式进行保存，得到格式化轨迹位置数据和格式化关键点序列数据；将所述格式化轨迹位置数据和所述格式化关键点序列数据输入至时空注意力机制的卷积模型中，得到所述行人轨迹的预测数据。4.根据权利要求3所述的行人轨迹预测方法，其特征在于，所述将所述轨迹位置数据和所述关键点序列数据按照预设格式进行保存，得到格式化轨迹位置数据和格式化关键点序列数据，包括：根据所述轨迹位置数据，利用式(1)，确定出格式化轨迹位置数据：T
o
＝{In1＝(x
tn
,y
tn
)t∈(1,2,...t),n∈(1,2,...n)}
ꢀꢀ
(1)；式(1)中，T
o
为时空注意力机制的卷积模型的输入信息，In1为预设格式下的格式化轨迹位置数据，x和y为人体接触地面的中间点的横坐标和纵坐标，n为行人个数，t为时间；根据所述关键点序列数据，利用式(2)，确定出格式化关键点序列数据：T
o
＝{In2＝k
tn
)t∈(1,2,...t),n∈(1,2,...n)}
ꢀꢀ
(2)；式(2)中，T
o
为时空注意力机制的卷积模型的输入信息，k为行人的关键点序列，In2为预设格式下的格式化关键点序列数据，n为行人个数，t为时间。5.根据权利要求1所述的行人轨迹预测方法，其特征在于，所述时空注意力机制的卷积模...

【专利技术属性】
技术研发人员：白云超，吴犀，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：