行人意图预测方法、系统、电子设备及可读存储介质技术方案

本发明专利技术涉及自动驾驶技术领域，公开了一种行人意图预测方法、系统、电子设备及可读存储介质，该方法通过从目标车辆的当前场景图像中确定当前图像特征，并从当前场景图像中确定交通参与目标对应的当前检测框，进而将当前图像特征、当前检测框和目标车辆的当前行驶数据输入行人意图预测模型，得到行人意图预测结果，不仅通过当前图像特征将场景图像作为预测参考，还对当前场景图像中的交通参与目标进行目标识别，将场景中的交通参与目标而非只是行人作为预测参考，同时，将车辆自身的行驶数据作为待预测数据，以参考行人与车辆之间的联系，提高了预测特征使用率，从而提高预测结果的准确性。确性。确性。

【技术实现步骤摘要】
行人意图预测方法、系统、电子设备及可读存储介质


[0001]本专利技术涉及车辆传输
，尤其涉及一种行人意图预测方法、系统、电子设备及可读存储介质。

技术介绍

[0002]目前，随着人工智能技术的不断发展，汽车智能驾驶技术得到了极大的推进，在行人意图预测方面，行人作为重要的交通参与者，在智能驾驶的决策规划模块中，行人的意图预测具有十分重要的作用，是汽车能否安全、平稳和正确行驶的一个不可或缺的技术。
[0003]行人意图预测的方法通常包括两种：一种是通过预设算法对行人的历史轨迹点和车辆位置进行计算，从而预测行人的横穿意图，但是这种方法的算法固化，没有将车辆当前行驶信息作为参考信息；另一种是通过车辆采集图像进行模型训练，将训练得到的CNN网络模型、RNN网络模型、GCN网络模型等作为预测模型，从而将车辆所处的当前环境图像输入预测模型进行预测，但是仅仅通过场景图像作为参考，参考性较为单一，在复杂交通场景下的泛化性较低，导致预测结果不准确，同时，汽车自动驾驶对时效性、准确性具有较高要求，现有行人意图预测方法的准确性无法达到要求。

技术实现思路

[0004]为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
[0005]鉴于以上所述现有技术的缺点，本专利技术公开了一种行人意图预测方法、系统、电子设备及可读存储介质，以提高预测行人意图的准确性。
[0006]本专利技术公开了一种行人意图预测方法，包括：获取目标车辆的当前行驶数据以及所述目标车辆的当前场景图像；根据图像卷积技术对所述当前场景图像进行特征提取，得到所述当前场景图像对应的当前图像特征；根据预设的目标识别算法对所述当前场景图像中的交通参与目标进行目标识别，得到所述交通参与目标对应的当前检测框；将所述当前图像特征、所述当前检测框和所述当前行驶数据进行拼接，得到待预测数据，并将所述待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，其中，所述行人意图预测模型通过带有意图样本标签的待预测样本对预设的神经网络模型训练得到，所述待预测样本包括样本图像特征、样本检测框和行驶样本数据。
[0007]可选地，通过以下方法训练得到所述行人意图预测模型：获取所述目标车辆的原始样本集，其中，所述原始样本包括多个行驶时间段、各所述行驶时间段对应的行驶样本数据、各所述行驶时间段对应的场景图像样本、在各所述行驶时间段中目标行人的轨迹数据；根据图像卷积技术分别对各所述场景图像样本进行特征提取，得到各所述场景图像样本对应的样本图像特征，并根据所述目标识别算法对所述场景图像样本中的交通参与目标进行目标识别，得到所述交通参与目标对应的样本检测框；根据所述轨迹数据确定目标行人与
行驶危险区域之间的位置关系，基于各所述行驶时间段对应的位置关系确定目标行人的行人意图状态，其中，所述行驶危险区域根据在所述行驶时间段中所述目标车辆的车辆位置确定；分别对各所述行驶时间段对应的样本图像特征、样本检测框和行驶样本数据进行拼接，得到各所述行驶时间段对应的待预测样本，并将所述待预测样本对应的行人意图状态确定为所述待预测样本的意图样本标签；根据带有所述意图样本标签的待预测样本对预设的神经网络模型进行训练，将训练完成的神经网络模型确定为行人意图预测模型。
[0008]可选地，通过以下方法确定行人意图状态：获取所述目标车辆的车辆位置；根据所述目标车辆的车辆位置建立笛卡尔坐标系，并以所述目标车辆为中心确定所述目标车辆的行驶危险区域；根据目标行人的轨迹数据确定所述目标行人是否位于行驶危险区域以内；若所述目标行人位于行驶危险区域以内，则将所述目标行人的行人意图状态确定为存在穿越车辆行驶路线意图；若所述目标行人位于行驶危险区域之外，则根据所述轨迹数据确定所述目标行人与所述行驶危险区域之间的平均距离，并将所述平均距离与预设的安全距离阈值进行比较；若所述平均距离小于所述安全距离阈值，则将所述目标行人的行人意图状态确定为存在穿越车辆行驶路线意图；若所述平均距离大于或等于所述安全距离阈值，则将所述目标行人的行人意图状态确定为无穿越车辆行驶路线意图。
[0009]可选地，根据图像卷积技术对所述当前场景图像进行特征提取，得到所述当前场景图像对应的当前图像特征，包括：获取图像特征提取模型，其中，所述图像特征提取模型包括多个特征提取层；将所述当前场景图像输入所述图像特征提取模型，以将所述当前场景图像依次通过各所述特征提取层进行卷积计算，得到所述当前场景图像对应的当前图像特征。
[0010]可选地，根据预设的目标识别算法对所述当前场景图像中的交通参与目标进行目标识别，得到所述交通参与目标对应的当前检测框，包括：获取所述目标识别算法对应的识别算法模型，其中，所述识别算法模型依次包括识别卷积层、多个识别算法块、目标分类器，其中，所述识别卷积层为所述识别算法模型的输入层；将所述当前场景图像输入所述识别算法模型，所述识别算法模型用于将所述当前场景图像依次通过所述识别卷积层和各所述识别算法块进行卷积计算，得到各所述识别算法块输出的特征图像，并通过目标分类器对各所述特征图像中的交通参与目标进行目标识别，得到所述交通参与目标的备选检测框；根据非极大值抑制算法对至少一部分特征图像的备选检测框进行选择，得到所述交通参与目标对应的当前检测框。
[0011]可选地，将所述当前图像特征、所述当前检测框和所述当前行驶数据进行拼接，得到待预测数据，包括：根据预设的第一全连接层对所述当前图像特征和所述当前检测框进行特征提取，得到第一特征数据，并根据预设的第二全连接层对当前行驶数据进行特征提取，得到第二特征数据；将所述第一特征数据和所述第二特征数据进行特征拼接，得到待预测数据。
[0012]可选地，将所述待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，包括：所述行人意图预测模型包括时序特征提取单元和二分类单元：通过所述时序特征提取单元对所述待预测数据进行时序特征提取，得到所述待预测数据的时序特征；通过所述二分类单元对所述时序特征进行二分类，得到二分类结果，基于所述二分类结果确定行人意图预测结果。
[0013]本专利技术公开了一种行人意图预测系统，包括：获取模块，用于获取目标车辆的当前行驶数据以及所述目标车辆的当前场景图像；特征提取模块，用于根据图像卷积技术对所述当前场景图像进行特征提取，得到所述当前场景图像对应的当前图像特征；目标识别模块，用于根据预设的目标识别算法对所述当前场景图像中的交通参与目标进行目标识别，得到所述交通参与目标对应的当前检测框；预测模块，用于将所述当前图像特征、所述当前检测框和所述当前行驶数据进行拼接，得到待预测数据，并将所述待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，其中，所述行人意图预测模型通过带有意图样本标签的待预测样本对预设的神经网络模型训练得到，所述待预测样本包括样本图像特征、样本检测框和行驶样本数据。
[0014]本专利技术公开了一种电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行人意图预测方法，其特征在于，包括：获取目标车辆的当前行驶数据以及所述目标车辆的当前场景图像；根据图像卷积技术对所述当前场景图像进行特征提取，得到所述当前场景图像对应的当前图像特征；根据预设的目标识别算法对所述当前场景图像中的交通参与目标进行目标识别，得到所述交通参与目标对应的当前检测框；将所述当前图像特征、所述当前检测框和所述当前行驶数据进行拼接，得到待预测数据，并将所述待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，其中，所述行人意图预测模型通过带有意图样本标签的待预测样本对预设的神经网络模型训练得到，所述待预测样本包括样本图像特征、样本检测框和行驶样本数据。2.根据权利要求1所述的方法，其特征在于，通过以下方法训练得到所述行人意图预测模型：获取所述目标车辆的原始样本集，其中，所述原始样本包括多个行驶时间段、各所述行驶时间段对应的行驶样本数据、各所述行驶时间段对应的场景图像样本、在各所述行驶时间段中目标行人的轨迹数据；根据图像卷积技术分别对各所述场景图像样本进行特征提取，得到各所述场景图像样本对应的样本图像特征，并根据所述目标识别算法对所述场景图像样本中的交通参与目标进行目标识别，得到所述交通参与目标对应的样本检测框；根据所述轨迹数据确定目标行人与行驶危险区域之间的位置关系，基于各所述行驶时间段对应的位置关系确定目标行人的行人意图状态，其中，所述行驶危险区域根据在所述行驶时间段中所述目标车辆的车辆位置确定；分别对各所述行驶时间段对应的样本图像特征、样本检测框和行驶样本数据进行拼接，得到各所述行驶时间段对应的待预测样本，并将所述待预测样本对应的行人意图状态确定为所述待预测样本的意图样本标签；根据带有所述意图样本标签的待预测样本对预设的神经网络模型进行训练，将训练完成的神经网络模型确定为行人意图预测模型。3.根据权利要求2所述的方法，其特征在于，通过以下方法确定行人意图状态：获取所述目标车辆的车辆位置；根据所述目标车辆的车辆位置建立笛卡尔坐标系，并以所述目标车辆为中心确定所述目标车辆的行驶危险区域；根据目标行人的轨迹数据确定所述目标行人是否位于行驶危险区域以内；若所述目标行人位于行驶危险区域以内，则将所述目标行人的行人意图状态确定为存在穿越车辆行驶路线意图；若所述目标行人位于行驶危险区域之外，则根据所述轨迹数据确定所述目标行人与所述行驶危险区域之间的平均距离，并将所述平均距离与预设的安全距离阈值进行比较；若所述平均距离小于所述安全距离阈值，则将所述目标行人的行人意图状态确定为存在穿越车辆行驶路线意图；若所述平均距离大于或等于所述安全距离阈值，则将所述目标行人的行人意图状态确定为无穿越车辆行驶路线意图。
4.根据权利要求1所述的方法，其特征在于，根据图像卷积技术对所述当前场景图像进行特征提取，得到所述当前场景图像对应的当前图像特征，包括：获取图像特征提取模型，其中，所述图像特征提取模型包括多个特征提取层；将所述当前场景图像输入所述...

【专利技术属性】
技术研发人员：郑文，刘闯，杨东方，邱利宏，贺刚，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：