【技术实现步骤摘要】
本专利技术涉及自动驾驶应用场景，特别涉及一种面向延迟流感知的多时间步长目标检测方法。
技术介绍
1、为了保证用户的安全与体验，自动驾驶系统不仅需要及时(in-time)感知周围的环境，更要感知实时环境。传统目标检测基准侧重于离线评估，即对视频流上的每一帧都分别与其标注值对比，这要求系统需要在每帧间隔时间(<33ms)内处理完捕获帧。为此，大量相关工作专注于降低延迟，使得模型能够在下一帧输入前完成捕获帧的处理。然而在实际应用场景中，由于有限的硬件性能与极端环境等因素，视频流的处理与推理时延不可避免的发生波动，从而导致模型处理完捕获帧后，周边的真实环境已经发生了不同程度的变化，即模型输出结果总是过时的。
2、“流准确性(streamingaverage precision，sap)”作为用于评估模型的实时在线感知性能的一个度量标准，会实时评估整个感知栈的输出，使模型输出符合当前时刻基准的结果，因此需要模型在某种程度上预测未来帧。为了解决延迟环境下模型输出与现实环境真值偏移过大的问题，以往技术由提出未来预测与异步跟踪作为解决方案；也有一些技术通过结合前一帧与当前帧来预测未来帧的方式，通过自适应选择与不同的历史帧进行特征融合，从而创建物体运动趋势以预测结果，预测更远时间步长的未来帧，但是这些方法仅在考虑额外一个时间步的设置下达到了目前最高的性能，但随着延迟上升，需要预测的时间步长增大其性能下滑幅度增大。尽管这些方法在一定程度上提高了性能，但在处理时延较大的情况下，预测的时间步长仍然不足以稳定地跟上实时环境的变化，导致性
技术实现思路
1、鉴于以上内容，有必要提供一种面向延迟流感知的多时间步长目标检测方法，以解决实际应用中由于硬件性能有限、极端环境等因素，自动驾驶系统出现延迟导致检测性能下降的问题。
2、为达到上述目的，本专利技术所采用的技术方案是：
3、面向延迟流感知的多时间步长目标检测方法，包括如下步骤：
4、(1)以streamyolo为基础构建多时间步长检测模型，其中，streamyolo提出流感知简化为预测下一帧的任务，将上一帧与当前帧的特征进行融合后得到的融合特征用于预测下一帧；
5、(2)构建时延分析模块，监控预处理时延与推理时延，并通过预处理时延与推理时延计算时延趋势以分析目标时间步长，且引入缓冲时延趋势，以选择最佳的检测头；
6、(3)基于动态路由思想构建时间步长分支模块，时间步长分支模块通过控制训练方式对streamyolo得到的融合特征进行多分支解码，使各个分支分别预测不同时间步长的未来帧，并根据步骤(2)得到的时延趋势推理动态路由至对应分支，实现多时间步长预测。
7、进一步地，在步骤(2)中，缓冲时延趋势itrend的计算公式为：
8、
9、式中，it-1为前一帧的推理时延，it-2为前两帧的推理时延，τ为临界数值；
10、时延趋势dt通过缓冲时延趋势itrend和当前帧的预处理时延pt计算得到，计算公式为：
11、dt＝pt+itrend。
12、进一步地，在步骤(3)中，时间步长分支模块对步骤(1)中streamyolo得到的融合特征进行多分支解码，解码的具体步骤如下：
13、1)使用streamyolo用于预测t+1帧的检测头为模板，拷贝多个检测头分支，在streamyolo中，训练数据输入是由上一帧、当前帧与下一帧作为真值构成的三元组(ft-1,ft,gt+1)，基于该种输入方式，将训练数据集重构为其中，t为总样本数量；
14、2)将该方法的应用拓展到多分支结构模型训练，在训练时，使用不同时间步长的未来帧作为不同的检测头的预测真值，将数据集重构为其中，n为检测头总数量，s为检测头的索引；
15、3)在训练时，多时间步长检测模型依据训练数据集遍历训练每个新添加的检测头，同时冻结主干网络与其他检测头的权重。
16、进一步地，在步骤(3)中，时间步长分支模块推理时，接收来自时延分析模块的时延趋势dt作为输入，并根据时延趋势dt与帧间隔时间t计算目标时间步长m，计算公式为：
17、
18、即，目标时间步长m是向下取整的dt与帧间隔时间t的商；
19、得到目标时间步长后，模型会从已有的检测头s0到smax之间选择对应的检测头sn用于推理，其中，时间步长分支模块通过下述计算公式选择最优目标时间步长的检测头sn用于模型推理
20、tbm([s0,smax],dt)＝sn。
21、进一步地，在步骤(3)中，时间步长分支模块根据目标时间步长选择最优目标时间步长的检测头时，当目标时间步长超过模型支持最大时间步长时，则选择最近时间步长的检测头。
22、与现有技术相比，本专利技术具有以下有益效果：
23、1、本专利技术以streamyolo的模型结构为基础构建多时间步长检测模型，并使用其权重进行多分支迁移学习，基于模型添加时延分析模块用于延迟感知计算时延趋势，并构建时间步长分支模块依据时延趋势计算最佳检测头。
24、2、本专利技术考虑到相关工作缺乏对推理时间变化规律的客观分析，设计了一种用于延迟流感知的时延分析模块，通过对模型帧处理时间可视化图的分析，并对其规律进行总结并依此构建时延分析模块，使其能更稳定的预测时延趋势。
25、3、本专利技术设计的基于动态路由思想的时间步长分支模块，通过调整训练方式训练多个检测头分支用于预测不同时间步长的未来帧，在推理时根据时延趋势动态路由至对应分支实现多时间步长预测，拓宽模型的未来感受野，且该模块在推理中不会产生额外的计算成本，在各种时延设置下，该模块能有效提高流感知精度。
本文档来自技高网...【技术保护点】
1.面向延迟流感知的多时间步长目标检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的面向延迟流感知的多时间步长目标检测方法，其特征在于，在步骤(2)中，缓冲时延趋势Itrend的计算公式为：
3.如权利要求1所述的面向延迟流感知的多时间步长目标检测方法，其特征在于，在步骤(3)中，时间步长分支模块对步骤(1)中StreamYOLO得到的融合特征进行多分支解码，解码的具体步骤如下：
4.如权利要求1所述的面向延迟流感知的多时间步长目标检测方法，其特征在于，在步骤(3)中，时间步长分支模块推理时，接收来自时延分析模块的时延趋势Dt作为输入，并根据时延趋势Dt与帧间隔时间T计算目标时间步长m，计算公式为：
5.如权利要求4所述的面向延迟流感知的多时间步长目标检测方法，其特征在于，在步骤(3)中，时间步长分支模块根据目标时间步长选择最优目标时间步长的检测头时，当目标时间步长超过模型支持最大时间步长时，则选择最近时间步长的检测头。
【技术特征摘要】
1.面向延迟流感知的多时间步长目标检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的面向延迟流感知的多时间步长目标检测方法，其特征在于，在步骤(2)中，缓冲时延趋势itrend的计算公式为：
3.如权利要求1所述的面向延迟流感知的多时间步长目标检测方法，其特征在于，在步骤(3)中，时间步长分支模块对步骤(1)中streamyolo得到的融合特征进行多分支解码，解码的具体步骤如下：
4.如权利要求1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。