【技术实现步骤摘要】
基于目标追踪加速的边云协同深度学习目标检测方法
[0001]本专利技术属于人工智能领域，具体涉及一种快速的在线视频对象检测方法，它以协作的方式利用云上的精确对象检测器和系统边缘资源有限的设备上的轻量级对象跟踪器。
技术介绍
[0002]视频对象检测在越来越多需要智能视频分析的智能城市应用中发挥着重要作用。然而，占主导地位的方法要么受到端到端视频对象检测响应时间长的影响，要么受到其离线特性的影响，使得它们不适用于对延迟敏感的视频流分析。传统集中式云计算常用于训练高精度深度学习模型，例如深层神经网络，然而，数据上云的时延造成云上检测速度慢。使用分布式边缘计算范式，边缘服务器从附近的终端节点获取图像、视频等原始数据，在没有大规模原始数据上传的情况下进行本地学习，选择数据上云，以减少边缘和云端之间的时延消耗，因此，基于边缘服务器上的本地学习和云上的协作是必要的，同时需要实现在时延消耗和模型精度之间进行权衡的方案。
技术实现思路
[0003]本专利技术的目的在于克服上述现有技术的缺点，为了解决这个问题本专利技术提出了E
【技术保护点】
【技术特征摘要】
1.基于目标追踪加速的边云协同深度学习目标检测方法，其特征在于，用于分类模型训练的数据先在边缘节点中进行特征图提取，通过对比相似度，确定特征图是进行目标检测或追踪，包括选择器，检测器，追踪器三个阶段：阶段一：1)利用边缘节点上的终端数据，使用深度学习中的卷积网络，提取特征图，通过使用自适应的关键帧选取算法实现选择器功能；2)在稀疏处理视频时，有多种启发式方法来选择关键帧，然而，考虑到视频帧间的时间语义信息变化，当前帧和最后一个关键帧之间的内容有重大差异时才应被选择为关键帧，即自适应的关键帧选取算法；3)将选中的关键帧，经过边云间的通信网络，由边缘端上传到云端，在云端进行处理，为第二阶段进行准备；将非关键帧继续留在边缘设备，为第三阶段进行准备；阶段二：4)云端汇聚边缘端的数据，由检测网络的剩余部分对其进行处理，这里需采用高精度的检测算法进行目标检测；5)检测算法作为目标检测的部分，主要关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息，即从背景中分离出感兴趣的目标，并确定这一目标的描述类别和位置，因而，检测模型的输出是一个列表，列表的每一项使用一个数据组给出检出目标的类别和位置，常用矩形检测框的坐标表示；6)从云返回检测结果，包括当前帧边界框和类别预测，在第二阶段的最后，更新关键帧和目标的位置，经过边云间的通信网络，由云端上传到边缘端，这将是第三阶段所需要的；阶段三：7)对于第二阶段传输的结果，利用第二阶段获取的目标位置信息裁剪更新后的关键帧，得到只包含目标对象的图像，这就是新的结果，然后将这个结果和当前帧也是一个非关键帧传入到Siamese
‑
RPN网络，获取当前帧中对象的坐标，并从检测器继承分类结果；8)对于第一阶段判断出的非关键帧采用孪生网络，一种重量轻和有效的方法，用于跟踪从第二阶段获得的更新后的结果。2.根据权利要求1所述的基于目标追踪加速的边云协同深度学习目标检测方法，其特征在于，步骤1)的具体操作为：利用边缘节点上汇聚的终端数据，在这里使用ImageNet vid数据集的视频数据，对于每个视频帧{I
i
}，通过以下步骤生成一个该帧的表示向量:a.将图像调整到较小的尺寸，虽然d
‑
Hash通常将图像大小调整为9*8，但使用更大的尺寸是因为分辨率更高，这有利于细粒度的比较，在细粒度的比较中，连贯视频帧中的信息变化很小；b.灰度化图像，为了简化信息需要将RGB转换为0到255之间的整数值；c.生成相应的表示向量，对于当前帧，位置p处的d
‑
Hash索引表示为D(p)＝(D0(p)，D1(p)，
…
，D7(p))，如果位置p的颜色强度强于相邻位置(上、下、左、右、左上、右上、左下、下)，则设置它的分量D
k
(p)＝1(k＝0,1,2...
【专利技术属性】
技术研发人员：杨树森，赵鹏，郭思言，高远方，王归秦，赵聪，贾根龙，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。