本公开提供了一种目标行为候选框生成方法及装置、电子设备、存储介质，涉及机器学习领域。该目标行为候选框生成方法包括：获取待检测视频帧序列，并将待检测视频帧序列输入至预训练的特征提取网络中，得到时间特征图；将时间特征图输入至预训练的时间特征金字塔网络中，得到多尺度时间特征图；将多尺度时间特征图输入至预训练的预测网络中，得到与多尺度时间特征图对应的初始行为候选框；对初始行为候选框进行过滤处理得到待检测视频序列的目标行为候选框。本公开实施例的技术方案可以生成待检测视频帧序列的行为候选框，并高效预测所述行为候选框的行为标签、行为起始时间、行为终止时间。终止时间。终止时间。
【技术实现步骤摘要】
目标行为候选框生成方法及装置、电子设备、存储介质
[0001]本公开涉及机器学习
，具体而言，涉及一种目标行为候选框生成方法、目标行为候选框生成装置、电子设备以及计算机可读存储介质。
技术介绍
[0002]随着自动驾驶领域研究的深入，自动驾驶系统主要包括自动驾驶感知系统和自动驾驶决策系统，自动驾驶决策系统依赖于自动驾驶感知系统的反馈信息；因此，在自动驾驶系统中构建高级的自动驾驶感知系统，是自动驾驶领域发展的关键。
[0003]然而，在相关的自动驾驶感知系统中，要么是基于预设窗口滑动窗口对视频帧序列进行检测和识别，要么是基于行为概率分数组合的方法对视频帧序列进行检测和识别，前者存在时间定位不准确，后者存在检测效率较低的问题。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开实施例的目的在于提供一种目标行为候选框生成方法目标行为候选框生成装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服视频帧序列检测效率较低，以及时间定位不准确的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开实施例的第一方面，提供了一种目标行为候选框生成方法，包括：获取待检测视频帧序列，并将所述待检测视频帧序列输入至预训练的特征提取网络中，得到时间特征图；将所述时间特征图输入至预训练的时间特征金字塔网络中，得到多尺度时间特征图；将所述多尺度时间特征图输入至预训练的预测网络中，得到与所述多尺度时间特征图对应的初始行为候选框；所述初始行为候选框包括行为置信度，以及行为起始预测时间和行为终止预测时间；对所述初始行为候选框进行过滤处理得到所述待检测视频序列的目标行为候选框。
[0008]在本公开的一些示例实施例中，基于前述方案，所述预测网络包括标准时间预测网络和行为标签预测网络，所述将所述多尺度时间特征图输入至预训练的预测网络中，得到与所述多尺度时间特征图对应的初始行为候选框，包括：通过将所述多尺度时间特征图输入至所述标准时间预测网络，得到所述多尺度时间特征图的时间特征点，以及得到所述时间特征点的行为起始预测时间和行为终止预测时间；基于所述行为标签预测网络得到所述时间特征点的行为置信度；根据所述行为置信度、所述行为起始预测时间、所述行为终止预测时间构建与所述时间特征点对应的初始行为候选框。
[0009]在本公开的一些示例实施例中，基于前述方案，所述得到所述时间特征点的行为起始预测时间和行为终止预测时间，包括：获取所述标准时间预测网络输出的所述时间特
征点的左偏移量和右偏移量；基于所述时间特征点和所述左偏移量，计算得到所述时间特征点的行为起始预测时间；基于所述时间特征点和所述右偏移量，计算得到所述时间特征点的行为终止预测时间。
[0010]在本公开的一些示例实施例中，基于前述方案，所述对所述初始行为候选框进行过滤处理得到所述待检测视频序列的目标行为候选框，包括：执行以下循环过程，直到遍历所述初始行为候选框中的所有行为候选框，并根据每次循环确定的目标行为候选框构建目标行为候选框集合：根据所述行为置信度对所述初始行为候选框进行排序，并确定所述初始行为候选框中行为置信度最大的目标行为候选框；获取候选框重叠度阈值，并计算所述目标行为候选框与所述初始行为候选框序列中的其他行为候选框的重叠度；将所述其他行为候选框中所述重叠度大于或者等于所述候选框重叠度阈值的行为候选框对应的置信度进行置信度降低处理，并将所述其他行为候选框中小于所述候选框重叠度阈值的行为候选框进行删除，得到剩余行为候选框；以及将所述剩余行为候选框作为下一次循环的初始行为候选框。
[0011]在本公开的一些示例实施例中，基于前述方案，所述方法还包括：获取多尺度样本时间特征图，以及通过将所述多尺度样本时间特征图中的初始时间特征点映射至与所述多尺度样本时间特征图对应的样本视频帧序列中，得到的所述初始时间特征点的样本行为起始时间和样本行为终止时间；计算所述初始时间特征点与所述样本行为起始时间的样本左偏移量，和所述初始时间特征点与所述样本行为终止时间的样本右偏移量；调用初始时间预测网络，以及与所述初始时间预测网络对应的目标函数；基于所述样本行为起始时间、样本行为终止时间、样本左偏移量、样本右偏移量训练所述初始时间预测网络，并在检测到所述样本行为起始时间、样本行为终止时间、样本左偏移量、样本右偏移量满足所述目标函数时，将训练完成的所述初始时间预测网络作为标准时间预测网络。
[0012]在本公开的一些示例实施例中，基于前述方案，所述方法还包括：获取所述初始时间特征点在所述样本视频帧序列中的样本行为标签；确定在所述样本行为起始时间和所述样本行为终止时间的时间范围之内与所述初始时间特征点对应的全局时间特征点，并基于所述样本行为标签对所述全局时间特征点进行标注，得到样本时间特征点；获取初始行为标签预测网络，并基于样本时间特征点训练所述初始行为标签预测网络，得到所述行为标签预测网络。
[0013]在本公开的一些示例实施例中，基于前述方案，所述基于所述行为标签样本对所述全局时间特征点进行标注，得到样本时间特征点，包括：获取时间边界调控参数，以及所述全局时间特征点的左偏移量和右偏移量；基于所述样本行为标签对所述全局时间特征点进行标注，并从所述全局时间特征点中筛选得到关键时间特征点；所述关键时间特征点是通过删除所述全局时间特征点中左偏移量和/或右偏移量大于所述时间边界调控参数的时间特征点得到的；将所述关键时间特征点作为样本时间特征点。
[0014]根据本公开实施例的第二方面，提供了一种障碍物识别模型训练装置，包括：时间特征图确定模块，用于获取待检测视频帧序列，并将所述待检测视频帧序列输入至预训练的特征提取网络中，得到时间特征图；多尺度特征图确定模块，用于将所述时间特征图输入至预训练的时间特征金字塔网络中，得到多尺度时间特征图；初始行为候选框生成模块，用于将所述多尺度时间特征图输入至预训练的预测网络中，得到与所述多尺度时间特征图对
应的初始行为候选框；所述初始行为候选框包括行为置信度，以及行为起始预测时间和行为终止预测时间；目标行为候选框生成模块，用于对所述初始行为候选框进行过滤处理得到所述待检测视频序列的目标行为候选框。
[0015]在本公开的一些示例实施例中，基于前述方案，所述初始行为候选框生成模块包括初始行为候选框生成单元，所述初始行为候选框生成单元，用于通过将所述多尺度时间特征图输入至所述标准时间预测网络，得到所述多尺度时间特征图的时间特征点，以及得到所述时间特征点的行为起始预测时间和行为终止预测时间；基于所述行为标签预测网络得到所述时间特征点的行为置信度；根据所述行为置信度、所述行为起始预测时间、所述行为终止预测时间构建与所述时间特征点对应的初始行为候选框。
[0016]在本公开的一些示例实施例中，基本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种目标行为候选框生成方法，其特征在于，包括：获取待检测视频帧序列，并将所述待检测视频帧序列输入至预训练的特征提取网络中，得到时间特征图；将所述时间特征图输入至预训练的时间特征金字塔网络中，得到多尺度时间特征图；将所述多尺度时间特征图输入至预训练的预测网络中，得到与所述多尺度时间特征图对应的初始行为候选框；所述初始行为候选框包括行为置信度，以及行为起始预测时间和行为终止预测时间；对所述初始行为候选框进行过滤处理得到所述待检测视频序列的目标行为候选框。2.根据权利要求1所述的目标行为候选框生成方法，其特征在于，所述预测网络包括标准时间预测网络和行为标签预测网络，所述将所述多尺度时间特征图输入至预训练的预测网络中，得到与所述多尺度时间特征图对应的初始行为候选框，包括：通过将所述多尺度时间特征图输入至所述标准时间预测网络，得到所述多尺度时间特征图的时间特征点，以及得到所述时间特征点的行为起始预测时间和行为终止预测时间；基于所述行为标签预测网络得到所述时间特征点的行为置信度；根据所述行为置信度、所述行为起始预测时间、所述行为终止预测时间构建与所述时间特征点对应的初始行为候选框。3.根据权利要求1所述的目标行为候选框生成方法，其特征在于，所述得到所述时间特征点的行为起始预测时间和行为终止预测时间，包括：获取所述标准时间预测网络输出的所述时间特征点的左偏移量和右偏移量；基于所述时间特征点和所述左偏移量，计算得到所述时间特征点的行为起始预测时间；基于所述时间特征点和所述右偏移量，计算得到所述时间特征点的行为终止预测时间。4.根据权利要求1所述的目标行为候选框生成方法，其特征在于，所述对所述初始行为候选框进行过滤处理得到所述待检测视频序列的目标行为候选框，包括：执行以下循环过程，直到遍历所述初始行为候选框中的所有行为候选框，并根据每次循环确定的目标行为候选框构建目标行为候选框集合；根据所述行为置信度对所述初始行为候选框进行排序，并确定所述初始行为候选框中行为置信度最大的目标行为候选框；获取候选框重叠度阈值，并计算所述目标行为候选框与所述初始行为候选框序列中的其他行为候选框的重叠度；将所述其他行为候选框中所述重叠度大于或者等于所述候选框重叠度阈值的行为候选框对应的置信度进行置信度降低处理，并将所述其他行为候选框中小于所述候选框重叠度阈值的行为候选框进行删除，得到剩余行为候选框；以及将所述剩余行为候选框作为下一次循环的初始行为候选框。5.根据权利要求1或2所述的目标行为候选框生成方法，其特征在于，所述方法还包括：获取多尺度样本时间特征图，以及通过将所述多尺度样本时间特征图中的初始时间特征点映射至与所述多尺度样本时间特征图对应的样本视频帧序列中，...
【专利技术属性】
技术研发人员：徐鑫，张亮亮，
申请(专利权)人：京东鲲鹏江苏科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。