云边协同自适应推理路径规划的目标追踪方法和系统技术方案

本发明专利技术公开了云边协同自适应推理路径规划的目标追踪方法和系统，云端接收边端上传的图像，基于所述图像利用预先获取的RetinaNet网络模型得到图像中目标的特征图、类别以及位置信息；云端对RetinaNet网络模型的推理路径进行优化获得优化后的RetinaNet网络模型参数；云端将目标的特征图、类别、优化后的RetinaNet网络模型参数以及所述RetinaNet网络模型下发到边端，以使得边端基于获取的图像，利用目标的特征图、类别、优化后的RetinaNet网络模型参数以及RetinaNet网络模型确定目标及其类别。边端结合云端下发的目标位置及追踪场景下背景模型信息，实现对监控场景下目标的实时追踪。景下目标的实时追踪。景下目标的实时追踪。

【技术实现步骤摘要】
云边协同自适应推理路径规划的目标追踪方法和系统


[0001]本专利技术涉及边缘计算和云计算
，具体涉及基于云边协同分层的目标追踪方法和系统。

技术介绍

[0002]在物联网、云计算等技术被广泛应用的背景下，越来越多的终端设备数量加入网络。海量的终端数量以及用户要求的低延迟使得集中式云计算不再满足现有需求，边缘计算应运而生。边缘计算指在数据源头一侧，拥有网络、计算、存储、应用核心能力的开放式平台。云计算指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
[0003]目标跟踪的任务是根据初始帧所给定的目标信息，对目标进行持续跟踪并对目标轨迹进行预测。目前在目标追踪过程中，通过图像视频进行智能识别时，基本上是云计算或边缘计算二者取其一，但是在实际目标追踪过程中，需要实时同步大量真实场景的建模数据以及目标追踪数据，对设备间通讯的带宽和延迟有着极高的要求。占主导地位的方法要么受到端到端视频对象检测响应时间长的影响，要么受到其离线特性的影响，使得它们不适用于对延迟敏感的视频流分析。传统集中式云计算常用于训练高精度深度学习模型，例如深层神经网络，然而，数据上云的时延造成云上检测速度慢。使用分布式边缘计算范式，边缘服务器从附近的终端节点获取图像、视频等原始数据，在没有大规模原始数据上传的情况下进行本地学习，选择数据上云，以减少边缘和云端之间的时延消耗，但目标检测的精度却得不到保障，无法进行大型计算。因此，如何平衡低延迟、高精度计算成为了目前最重要的问题。

技术实现思路

[0004]本专利技术旨在针对现有技术存在的以上不足，提供一种低延迟、高精度的基于云边协同的目标追踪方法和系统。
[0005]为实现上述技术目的，本专利技术采用以下技术方案。
[0006]一方面，本专利技术提供云边协同自适应推理路径规划的目标追踪方法，包括：1.云边协同自适应推理路径规划的目标追踪方法，其特征在于，包括：云端接收边端上传的图像，基于所述图像利用预先获取的RetinaNet网络模型得到图像中目标的特征图、类别以及位置信息；云端对RetinaNet网络模型的推理路径进行优化获得优化后的 RetinaNet网络模型参数；
[0007]云端将目标的特征图、类别、优化后的RetinaNet网络模型参数以及所述RetinaNet网络模型下发到边端，以使得边端基于获取的图像，利用目标的特征图、类别、优化后的RetinaNet网络模型参数以及RetinaNet网络模型确定目标及其类别。
[0008]进一步地，所述RetinaNet网络模型包括：主干网络、分类子网络和边框预测子网络，所述主干网络包括残差网络和特征金字塔网络FPN，所述残差网络包括第一残差层
Res3、第二残差层Res4以及第三层残差层Res5，所述特征金字塔网络FPN包括P3层到P7层的金字塔；
[0009]其中自下而上设置第一残差层Res3、第二残差层Res4以及第三层残差层Res5、p6层和p7层，由第一残差层Res3、第二残差层Res4 以及第三层残差层Res5分别计算得到自下而上的P3层、P4层、P5 层；P3层、P4层、P5层、P6层和P7层分别用于生成特征图；
[0010]将当前滑动窗口的中心在输入图像的映射点作为Anchor，在金字塔的P3层
‑
P7层设置锚框anchor，锚框anchor的面积分别为32
ꢀ×
32
‑
512
×
512；每个金字塔层，使用三种纵横比(1:2,1:1,2:1)的锚框 anchor，并对每种纵横比的anchor应用{2^0,2^1,2^2}3种尺度的缩放，最终每层总共有9个默认anchor；
[0011]以anchor为中心，在特征金字塔网络FPN的P3层、P4层、P5 层、p6层、p7层这5个层每个层生成9个候选区域作为特征图；
[0012]所述分类子网络和边框预测子网络均输入特征图和其各金字塔层的锚框anchor；
[0013]所述分类子网络为一个附加在特征金字塔网络FPN上的全卷积网络FCN，在每个层级的特征图上叠加4个3*3卷积，每个卷积层有C个过滤器并且跟随ReLU激活，最终附加一个K*A个过滤器的 3*3卷积层，A为锚框anchor的数量，K为类别数据；最后使用交叉熵损失函数进行目标类别的预测；
[0014]边框预测子网络与分类子网络并行处理，同样是在每个层级的特征图上叠加4个3*3卷积，每个卷积层有C个过滤器并且跟随ReLU 激活，最终附加一个4*A个过滤器的3*3卷积层。
[0015]再进一步地，所述交叉熵损失函数表示如下：
[0016][0017]其中CE
α
为交叉熵损失函数，p
i,c
表示真实场景下第i个样本属于类别c的概率,N是样本总数，C是类别总数，y
i,c
表示输出的第i 个样本属于类别c的概率，α表示权重。
[0018]再进一步地，云端对RetinaNet网络模型的推理路径优化获得优化后的RetinaNet网络模型参数，包括：
[0019]根据先验的目标位置和类别大小预测获得目标位置和类别；
[0020]根据预测获得的目标位置和类别确定其所属的金字塔的层级，并冻结其他金字塔的层级；
[0021]进一步确定所述预测获得的目标位置和类别在其所述金字塔的层级的锚框anchor，并冻结这个金字塔的层级上的其他锚框。
[0022]进一步地，边端基于获取的图像，利用目标的特征图、类别、优化后的RetinaNet网络模型参数以及RetinaNet网络模型确定目标及其类别，包括：
[0023]边端获取图像，基于图像进行前景图像检测；
[0024]基于获取的前景图像，将所述前景图像与云端下发的目标的位置信息进行交并比，获得初步判定的目标；
[0025]将获得的初步判定的目标输入到RetinaNet网络模型获得特征值，计算获得的特征值与云端下发的特征值之间的余弦距离，将余弦距离大于设定阈值的前景目标确定为待
跟踪目标，并确定该待跟踪目标对应的类别。
[0026]再进一步地，基于图像结合云端下发的目标的位置信息进行前景目标检测，包括：
[0027]获取图像中各像素点在设定时间内的观测值，表示为：
[0028]{X1,
…
,X
t
}＝{I(x0,y0,i):1≤i≤t}
[0029]其中X1,
…
,X
t
为初始时刻到t时刻各时刻对应的观测值， I(x0,y0,i)为(x0,y0)的像素点在t时刻内的观测值；
[0030]利用多个高斯分布对每个观测值进行建模，得到当前像素点的颜色值概率为：
[0031]，
[0032]其中，K为高斯分布的个数；w
i,t...

【技术保护点】

【技术特征摘要】
1.云边协同自适应推理路径规划的目标追踪方法，其特征在于，包括：云端接收边端上传的图像，基于所述图像利用预先获取的RetinaNet网络模型得到图像中目标的特征图、类别以及位置信息；云端对RetinaNet网络模型的推理路径进行优化获得优化后的RetinaNet网络模型参数；云端将目标的特征图、类别、优化后的RetinaNet网络模型参数以及所述RetinaNet网络模型下发到边端，以使得边端基于获取的图像，利用目标的特征图、类别、优化后的RetinaNet网络模型参数以及RetinaNet网络模型确定目标及其类别。2.根据权利要求1所述的云边协同自适应推理路径规划的目标追踪方法，其特征在于，所述RetinaNet网络模型包括：主干网络、分类子网络和边框预测子网络，所述主干网络包括残差网络和特征金字塔网络FPN，所述残差网络包括第一残差层Res3、第二残差层Res4以及第三层残差层Res5，所述特征金字塔网络FPN包括P3层到P7层的金字塔；其中自下而上设置第一残差层Res3、第二残差层Res4以及第三层残差层Res5、p6层和p7层，由第一残差层Res3、第二残差层Res4以及第三层残差层Res5分别计算得到自下而上的P3层、P4层、P5层；P3层、P4层、P5层、P6层和P7层分别用于生成特征图；将当前滑动窗口的中心在输入图像的映射点作为Anchor，在金字塔的P3层
‑
P7层设置锚框anchor，锚框anchor的面积分别为32
×
32、64
×
64、128
×
128、256
×
256、512
×
512；每个金字塔层，使用三种纵横比(1:2,1:1,2:1)的锚框anchor，并对每种纵横比的anchor应用{2^0,2^1,2^2}3种尺度的缩放，最终每层总共有9个默认anchor；以anchor为中心，在特征金字塔网络FPN的P3层、P4层、P5层、p6层、p7层这5个层每个层生成9个候选区域作为特征图；所述分类子网络和边框预测子网络均输入特征图和其各金字塔层的锚框anchor；所述分类子网络为一个附加在特征金字塔网络FPN上的全卷积网络FCN，在每个层级的特征图上叠加4个3*3卷积，每个卷积层有C个过滤器并且跟随ReLU激活，最终附加一个K*A个过滤器的3*3卷积层，A为锚框anchor的数量，K为类别数据；最后使用交叉熵损失函数进行目标类别的预测；边框预测子网络与分类子网络并行处理，同样是在每个层级的特征图上叠加4个3*3卷积，每个卷积层有C个过滤器并且跟随ReLU激活，最终附加一个4*A个过滤器的3*3卷积层。3.根据权利要求2所述的云边协同自适应推理路径规划的目标追踪方法，其特征在于，所述交叉熵损失函数表示如下：其中CE
α
为交叉熵损失函数，p
i,c
表示真实场景下第i个样本属于类别c的概率,N是样本总数，C是类别总数，y
i,c
表示输出的第i 个样本属于类别c的概率，α表示权重。4.根据权利要求2所述的云边协同自适应推理路径规划的目标追踪方法，其特征在于，云端对RetinaNet网络模型的推理路径优化获得优化后的RetinaNet网络模型参数，包括：根据先验的目标位置和类别大小预测获得目标位置和类别；根据预测获得的目标位置和类别确定其所属的金字塔的层级，并冻结其他金字塔的层级；
进一步确定所述预测获得的目标位置和类别在其所述金字塔的层级的锚框anchor，并冻结这个金字塔的层级上的其他锚框。5.根据权利要求1所述的云边协同自适应推理路径规划的目标追踪方法，其特征在于，边端基于获取的图像，利用目标的特征图、类别、优化后的RetinaNet网络模型参数以及RetinaNet网络模型确定目标及其类别，包括：边端获取图像，基于图像进行前景图像检测；基于获取的前景图像，将所述前景图像与云端下发的目标的位置信息进行交并比，获得初步判定的目标；将获得的初步判定的目标输入到RetinaNet网络模型获得特征值，计算获得的特征值与云端下发的特征值之间的余弦距离，将余弦距离大于设定阈值的前景目标确定为待跟踪目标，并确定该待跟踪目标对应的类别。6.根据权利要求5所述的云边协同自适应推理路径规划的目标追踪方法，其特征在于，基于图像结合云端下发的目标的位置信息进行前景目标检测，包括：获取图像中各像素点在设定时间内的观测值，表示为：{X1，
…
，X
t
}＝{I(x0，y0，i)：1≤i≤t}其中X1，
…
，X
t
为初始时刻到t时刻各时刻对应的观测值，...

【专利技术属性】
技术研发人员：姚楠，刘子全，王真，秦剑华，朱雪琼，路永玲，胡成博，薛海，高超，吴奇伟，
申请(专利权)人：国网江苏省电力有限公司江苏省电力试验研究院有限公司，
类型：发明
国别省市：