一种基于Transformer的轻量化目标识别与跟踪系统及方法技术方案

本发明专利技术提出一种基于Transformer的轻量化目标识别与跟踪系统及方法。其中，方法包括：获取视频流，从所述视频流获取待跟踪目标，并生成用于跟踪所述待跟踪目标的任务指令；解析所述任务指令，其中，所述任务指令包括所述待跟踪目标的位置以及加速标识，所述加速标识用于指示跟踪算法是否需要加速处理；基于所述位置以及所述加速标识对所述待跟踪目标进行跟踪和检测，得到所述待跟踪目标的跟踪信息和检测结果；封装所述检测结果和所述跟踪信息得到封装后的跟踪信息，将封装后的跟踪信息以跟踪话题的形式发出，以供无人车底盘控制节点得到所述检测结果和所述跟踪信息。述检测结果和所述跟踪信息。述检测结果和所述跟踪信息。

【技术实现步骤摘要】
一种基于Transformer的轻量化目标识别与跟踪系统及方法


[0001]本专利技术属于目标识别及跟踪
，尤其涉及一种基于Transformer的轻量化目标识别与跟踪系统及方法。

技术介绍

[0002]目标跟踪在实际场景中应用广泛，通常作为大型视觉系统中的组成部分，在诸如无人驾驶，场景感知探测，智能交通，机器人等领域有重要的应用。随着硬件的不断升级换代，基于海量数据的深度学习方法被越来越多的研究以及应用。依赖于复杂的模型设计以及大数据训练，基于卷积神经网络的目标跟踪算法在跟踪精度上相比传统的跟踪算法有较大优势，但是由于庞大的计算量，使其在实时在边缘端设备运行还存在难度。同样，目标遮挡、目标的旋转和变形、背景杂波、相似目标的干扰、背景的变化等目标跟踪中的挑战任然存在，极容易造成目标的丢失。
[0003]现有技术FEAR(FEAR:Fast、Efficient、Accurate and Robust Visual Tracker)提出了一种快速、高效、准确、鲁棒的跟踪器，提出两个轻量化模型，dual
‑
template module和pixel
‑
wise fusion block。前者使用一个可学习的参数集成了时域信息，而后者使用更少的参数编码了更有判别性的特征。现有技术LightTrack(LightTrack:Finding Lightweight Neural Networks for Object Tracking via One
‑
Shot Architecture Search)使用神经架构搜索(NAS)来设计更轻量级和高效的目标追踪器。其论文实验表明，与手工设计的SOTA跟踪器(如SiamRPN++和Ocean)相比，LightTrack可以实现更优越的性能，而需要的计算量和参数要少得多。但上述两种轻量化模型仍然对现实场景出现的相似性目标、遮挡等挑战缺乏鲁棒性，难以用在具有极大挑战的真实场景中。
[0004]解决复杂性和效率问题的两种直接方法是模型压缩和紧凑型模型设计。现有的压缩技术，如修剪和量化，可以降低模型复杂度，但它们不可避免地会因为信息损失而带来非常重要的性能下降。另一方面，手工设计新的紧凑型和高效的模型需要很高的工程成本，且严重依赖于人类专业知识和经验，而神经网络搜索得到的目标跟踪网络，极大地减小了算法中特征提取的模型参数，提高了计算速度，但在实际场景中仍然难以应对各种挑战，难以部署在边缘式计算设备中。总体而言，现有的跟踪算法在实际使用时具备的缺点如下：跟踪模型越来越复杂，训练成本越来越大，需要更多的计算资源和训练数据；最先进的跟踪器需要较大的模型参数和计算量，难以在边缘设备上部署；基于Tranformer的跟踪算法虽然在长程依赖和遮挡等问题上表现更佳，但其计算量和训练成本同样高昂，难以在实际应用中部署；目前的型压缩和紧凑型模型设计方法虽然可以降低模型复杂度，但会带来性能下降或需要更高的工程成本，而通过神经网络搜索得到的跟踪器在实际应用中仍然难以应对各种挑战，难以部署在边缘式计算设备中。

技术实现思路

[0005]为解决上述技术问题，本专利技术提出一种边缘式计算设备嵌入端实时视觉检测与跟
踪的方法及系统，用于解决现实场景中基于深度学习的目标跟踪算法难以部署在边缘嵌入式设备的问题，以应对现实场景中的实际挑战。这些挑战包括计算资源有限、功耗限制、实时性要求等。
[0006]本专利技术第一方面公开了一种基于Transformer的轻量化目标跟踪的方法，也称边缘式计算设备嵌入端实时跟踪的方法。所述方法包括：基于ET.Track设计onnx和TensorRT的跟踪方案，以应对不同跟踪场景部署需求；基于检测目标的位置以及加速标识选择不同跟踪模型，对待跟踪目标进行跟踪，得到所述待跟踪目标的跟踪信息和检测结果；封装所述检测结果和所述跟踪信息得到封装后的跟踪信息，将封装后的跟踪信息以跟踪话题的形式发出，以供无人车底盘控制节点得到所述检测结果和所述跟踪信息。
[0007]根据本专利技术第一方面的方法，基于位置以及加速标识对待跟踪目标进行跟踪和检测包括：若所述加速标识指示无需加速处理，则基于第一模型对所述待跟踪目标进行跟踪和检测，得到所述待跟踪目标的跟踪信息和检测结果；或若所述加速标识指示需加速处理，则基于所述加速标识指示的加速类型，基于第二模型或第三模型进行加速处理得到所述待跟踪目标的跟踪信息和检测结果。
[0008]根据本专利技术第一方面的方法，所述第一模型包括第一输入端、第二输入端、骨干网络模块、MCBN模块、第一CCBR模块、第二CCBR模块、第三CCBR模块及第四CCBR模块，基于第一模型对所述待跟踪目标进行跟踪和检测包括：通过第一输入端接收所述待跟踪目标的参考帧图像，并通过第二输入端接收所述视频流中待检测视频帧；将所述参考帧图像和所述待检测视频帧输入骨干网络模块，其中，所述骨干网络模块提取所述参考帧图像的第一特征及所述待检测视频帧的第二特征；将所述第一特征、所述第二特征输入所述MCBN模块，其中，所述MCBN模块对所述第一特征进行像素级融合处理得到第三特征、对所述第二特征进行像素级融合处理得到第四特征，并将所述第三特征经过卷积处理、批量归一化及RELU激活函数处理得到第五特征，并将所述第四特征经过卷积处理、批量归一化及RELU激活函数处理得到第六特征；将所述第五特征输入第一CCBR模块、将所述第六特征输入第三CCBR模块，其中，所述第一CCBR模块对所述第五特征进行像素级相关融合处理得到第七特征，所述第三CCBR模块对所述第六特征进行像素级相关融合处理得到第八特征；将所述第七特征输入第二CCBR模块得到所述待跟踪目标分类得分，将所述第八特征输入第四CCBR模块得到所述待跟踪目标坐标，并对所述待跟踪目标分类得分与所述待跟踪目标坐标进行匹配筛选，得到所述待跟踪目标的跟踪信息和检测结果。
[0009]根据本专利技术第一方面的方法，所述第二模型包括第一参考帧推理分支、第一搜索帧推理分支、第一分类与回归推理分支，基于第二模型进行加速处理得到所述待跟踪目标的跟踪信息和检测结果包括：通过第一参考帧推理分支接收所述待跟踪目标的参考帧，提取并归一化所述参考帧得到归一化参考帧特征；通过第一搜索帧推理分支接收所述视频流中参考帧的后续图像帧，将所述后续图像帧作为搜索帧提取并归一化所述搜索帧，得到搜索帧深度特征，其中，所述第一搜索帧推理分支与所述第一参考帧推理分支共享提取并归一化的权重参数；通过第一分类与回归推理分支接收所述归一化参考帧特征和所述搜索帧深度特征，并将所述归一化参考帧特征和所述搜索帧深度特征分别进行像素级融合处理，得到所述待跟踪目标分类得分和所述待跟踪目标坐标，对所述待跟踪目标分类得分与所述待跟踪目标坐标进行匹配筛选，得到所述待跟踪目标的跟踪信息和检测结果。
[0010]根据本专利技术第一方面的方法，所述第三模型包括第二参考帧推理分支、第二搜索帧推理分支、第二分类与回归推理分支，其中，所述参考帧推理分支包括第四骨干网络模块、批量归一化模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的轻量化目标识别与跟踪系统，其特征在于，所述系统包括：目标识别与跟踪节点和智能无人体底盘控制节点；所述目标识别与跟踪节点包括：获取单元，被配置为获取视频流，从所述视频流获取待跟踪目标，并生成用于跟踪所述待跟踪目标的任务指令，将该任务指令发送给解析单元；解析单元，被配置为解析所述任务指令，其中，所述任务指令包括所述待跟踪目标的位置以及加速标识，所述加速标识用于指示跟踪算法是否需要加速处理，将所述位置以及加速标识发送给跟踪和检测单元；跟踪和检测单元，被配置为基于所述位置以及所述加速标识对所述待跟踪目标进行跟踪和检测，得到所述待跟踪目标的跟踪信息和检测结果，将所述跟踪信息和检测结果发送给封装单元；封装单元，被配置为封装所述检测结果和所述跟踪信息，得到封装后的跟踪信息，将封装后的跟踪信息以跟踪话题的形式发送给所述智能无人体底盘控制节点；所述智能无人体底盘控制节点包括：跟踪话题获取模块，从所述跟踪信息获取所述跟踪话题；跟踪信息获取模块，订阅所述跟踪话题，从所述跟踪话题获取被跟踪目标信息，并发送给坐标解算模块；坐标解算模块，对所述被跟踪目标信息进行坐标解算，将解算得到的移动方向和距离信息传递给智能无人体底盘控制模块；所述智能无人体底盘控制模块接收所述移动方向和距离信息，并根据所述移动方向和距离信息对所述智能无人体底盘进行控制。2.根据权利要求1所述的轻量化目标识别与跟踪系统，其特征在于，所述获取单元包括：算法检测子模块，采用topic订阅或rtsp协议的方式获取视频流，检基于所述视频流测目标信息，并输出给指控平台；指控平台，接收到目标信息，生成用于跟踪所述待跟踪目标的任务指令，将该任务指令发送给解析单元；其中，所述任务指令指示是否选中目标，根据检测到的目标信息确定选中目标。3.根据权利要求1所述的轻量化目标识别与跟踪系统，其特征在于，所述解析模块解析所述任务指令中待跟踪目标的位置以及加速标识，并将所述位置以及所述加速标识作为所述待跟踪目标的初始化信息。4.根据权利要求3所述的轻量化目标识别与跟踪系统，其特征在于，所述解析模块根据任务指令判断是否选中目标，若没有目标被选中则回到指控平台，若有目标被选中，则将被选中目标的所述位置以及所述加速标识作为被跟踪目标的初始化信息。5.根据权利要求4所述的轻量化目标识别与跟踪系统，其特征在于，所述跟踪和检测单元基于所述位置以及所述加速标识对所述待跟踪目标进行跟踪和检测包括：若所述加速标识指示无需加速处理，则基于第一模型对所述待跟踪目标进行跟踪和检测，得到所述待跟踪目标的跟踪信息和检测结果；或若所述加速标识指示需加速处理，则基于所述加速标识指示的加速类型，基于第二模
型或第三模型进行加速处理得到所述待跟踪目标的跟踪信息和检测结果。6.根据权利要求5所述的轻量化目标识别与跟踪系统，所述第一模型包括第一输入端、第二输入端、骨干网络模块、MCBN模块、第一CCBR模块、第二CCBR模块、第三CCBR模块及第四CCBR模块，其特征在于，基于第一模型对所述待跟踪目标进行跟踪和检测包括：通过第一输入端接收所述待跟踪目标的参考帧图像，并通过第二输入端接收所述视频流中待检测视频帧；将所述参考帧图像和所述待检测视频帧输入骨干网络模块，其中，所述骨干网络模块提取所述参考帧图像的第一特征及所述待检测视频帧的第二特征；将所述第一特征、所述第二特征输入所述MCBN模块，其中，所述MCBN模块对所述第一特征进行像素级融合处理得到第三特征、对所述第二特征进行像素级融合处理得到第四特征，并将所述第三特征经过卷积处理、批量归一化及RELU激活函数处理得到第五特征，并将所述第四特征经过卷积处理、批量归一化及RELU激活函数处理得到第六特征；将所述第五特征输入第一CCBR模块、将所述第六特征输入第三CCBR模块，其中，所述第一CCBR模块对所述第五特征进行像素级相关融合处理得到第七特征，所述第三CCBR模块对所述第六特征进行像素级相关融合处理得到第八特征；将所述第七特征输入第二CCBR模块得到所述待跟踪目标分类得分，将所述第八特征输入第四CCBR模块得到所述待跟踪目标坐标，并对所述待跟踪目标分类得分与所述待跟踪目标坐标进行匹配筛选，得到所述待跟踪目标的跟踪信息和检测...

【专利技术属性】
技术研发人员：李绍明，赵洪深，王家，
申请(专利权)人：中国电子科技南湖研究院，
类型：发明
国别省市：