一种基于边缘计算的目标追踪方法及装置制造方法及图纸

本发明专利技术公开了一种基于边缘计算的目标追踪方法，通过无人机对目标进行主要拍摄，在无人机无法工作时地面摄像头网络对目标进行协助拍摄，地面的终端设备组成的边缘节点计算集群负责视频数据流的处理和分析。在无人机无法正常追踪时，有选择请求地面摄像头网络和边缘节点联合来参与追踪任务可以提高无人机追踪的鲁棒性，即使最后目标完全丢失，由于边缘节点和地面摄像头网络的近距离通信，也能使得高效地将目标再找回从而继续追踪；利用容器技术隔离平台差异，可以解决视频分析处理应用的在不同平台上的不兼容问题；根据目标当前被跟踪的状态来合理选择地空协同的方式，不仅可以降低整个网络的能耗，还可以提高网络的响应时间。

A Target Tracking Method and Device Based on Edge Computing

【技术实现步骤摘要】
一种基于边缘计算的目标追踪方法及装置
本专利技术涉及监控追踪
，尤其涉及种基于边缘计算的目标追踪方法及装置。
技术介绍
传统的城市目标追踪网络依赖大量的地面摄像头和云服务器，如图1所示，大量的地面摄像头一直处于拍摄中，并将这些海量的数据上传至云服务器集中处理和分析，再由云服务器将结果反馈给客户端进行查看和再追踪。其中，网络带宽是一个实时变化且有限的资源，因此，海量视频数据上传至云服务器进行集中处理和分析会占用大量的网络带宽，造成网络拥塞，使得整个通信过程延迟过高而无法完成实时追踪甚至丢失目标。随着无人机技术的发展，基于无人机的应用也越来越多，其中基于无人机的目标追踪也是安防领域的热点之一。如图2所示，基于无人机的目标追踪方法由无人机和地面站组成，无人机携带的摄像头负责拍摄和数据传输，地面站是具备高性能计算的通信站，负责无人机拍摄以及传送到地面站的视频流处理。利用无人机的灵活性和无线通信能力，能跟随目标移动，相对传统的追踪网络而言能减少视频数据处理量，从而降低时延，但是无人机有限的续航能力和无线通信范围，一方面使得追踪任务时间不得过长，另一方面地面站得跟随无人机移动才能确保可靠的通信。为此，在设计城市目标追踪网络时，需要克服传统追踪网络的视频处理的高延迟，也要克服新型无人机追踪网络的续航和低鲁棒性问题。但是，上述已有的追踪方法显然无法适用于实际的城市目标追踪应用，由此，经常会出现目标追踪不实时和目标丢失的问题。可见，现有的目标追踪方法无法满足目标追踪应用的实时性和可靠性。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题。为此，本专利技术公开了一种基于边缘计算的目标追踪方法，通过无人机对目标进行主要拍摄，在无人机无力工作时地面摄像头网络对目标进行协助拍摄，对无人机及地面摄像头网络拍摄的视频数据流进行处理和分析不为地面站集中处理，地面的终端设备组成的边缘节点计算集群负责视频数据流的处理和分析。更进一步地，所述终端设备在边缘计算中指边缘节点，包括有手机、笔记本、路由器、边缘服务器和基站，这些具备计算能力、存储能力和通信能力，处在网络边缘的设备。更进一步地，无人机追踪目标时，无人机将视频分析任务卸载到地面的可用边缘节点；当无人机由于自身续航能力不足或者视线受阻即将丢失目标时，无人机将目标追踪任务卸载到部分的地面摄像头网络，由地面摄像头网络和边缘节点共同承担起临时的目标追踪任务，直至无人机恢复正常工作或者目标再次出现在无人机的视线。更进一步地，目标确定已经丢失时，由目标丢失点以及目标运动的方向和速度通过计算，确定目标会出现在附近的几个摄像头监控覆盖的范围内，将目标最后出现的时间点至发现目标丢失的时间点之间的视频卸载到边缘节点进行分析和处理，找到目标逃离方向和速度，完成目标的再找回。更进一步地，无人机-地面摄像头采用5G、wi-fi连接方式，无人机-地面边缘节点采用5G、wi-fi连接方式，地面摄像头-地面摄像头采用有线、5G连接方式，地面摄像头-地面边缘节点采用wi-fi、5G、有线连接方式。更进一步地，各个异构平台之间隔离差异采用是虚拟化容器技术(docker技术)或其他的容器技术进行隔离；在边缘节点的容器上装上目标跟踪应用程序的API接口，其中无人机将跟踪拍摄的视频通过Wi-Fi或其他方式与地面边缘节点进行通信，利用所述容器中WAMP接口发送请求，边缘节点接受请求后处理目标追踪任务，并将结果响应给无人机。更进一步地，所述方法所采的追踪算法是基于深度学习的目标追踪算法，处理步骤有目标识别和目标追踪两个流程，得到的结果有目标移动的方向、移动的速度和位置。更进一步地，述虚拟容器技术，通过docker预留的API，使用WAMP协议进行通信，所述WAMP协议建立在Websocket之上并支持publish&subscribe和rpc通信协议。所述虚拟容器技术，通过docker预留的API，使用WAMP协议进行通信，所述WAMP协议建立在Websocket之上并支持publish&subscribe和rpc通信协议，Docker容器对视频分析处理应用进行打包，再利用linux核心的namespace和cgroup来隔离资源，进而将视频分析处理应用标准化。更进一步地，所述地面摄像头网络需要请求边缘节点进行视频分析时，通过publish通信协议将该请求发布出去，所述地面摄像头网络中某一摄像头附近的边缘节点通过subscribe协议进行订阅该摄像头的业务，当所述地面摄像头网络与边缘节点连接成功后，地面摄像头和所述边缘节点通过rpc协议对需要卸载的目标跟踪应用进行传输和处理。本专利技术还公开了一种基于边缘计算的目标追踪系统，其特征在于，包括：主追踪模块，通过无人机对目标进行主要拍摄；辅助追踪模块，在无人机无力工作时地面摄像头网络对目标进行协助拍摄；分析模块，对无人机及地面摄像头网络拍摄的视频数据流进行处理和分析的不为地面站集中处理，地面的终端设备组成的边缘节点计算集群负责视频数据流的处理和分析，所述终端设备在边缘计算中指边缘节点，包括有手机、笔记本、路由器、边缘服务器和基站，这些具备计算能力、存储能力和通信能力，处在网络边缘的设备；无人机追踪目标时，无人机将视频分析任务卸载到地面的可用边缘节点；当无人机由于自身续航能力不足或者视线受阻即将丢失目标时，无人机将目标追踪任务卸载到部分的地面摄像头网络，由地面摄像头网络和边缘节点共同承担起临时的目标追踪任务，直至无人机恢复正常工作或者目标再次出现在无人机的视线，目标确定已经丢失时，分析模块对目标的视频数据流进行分析，由目标丢失点以及目标运动的方向和速度通过计算，确定目标会出现在附近的几个摄像头监控覆盖的范围内，将目标最后出现的时间点至发现目标丢失的时间点之间的视频卸载到边缘节点进行分析和处理，找到目标逃离方向和速度，完成目标的再找回；主追踪模块、辅助追踪模块及分析模块具有不同的异构平台，各个异构平台之间隔离差异采用容器技术进行隔离；在边缘节点的容器上装上目标跟踪应用程序的API接口，其中无人机将跟踪拍摄的视频通过Wi-Fi或其他方式与地面边缘节点进行通信，利用所述容器中WAMP接口发送请求，边缘节点接受请求后处理目标追踪任务，并将结果响应给无人机。本专利技术进一步公开了一种电子装置，其特征在于，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的基于边缘计算的目标追踪方法。本专利技术进一步公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于边缘计算的目标追踪方法。本专利技术提供的方法是要解决现有城市目标追踪方法的高延迟和低可靠性的问题，提出一种基于边缘计算的目标追踪方法，即无人机负责主要拍摄，地面摄像头网络在无人机无力工作时进行协助拍摄，地面的终端设备负责视频数据流的处理和分析，如图3所示。其中终端设备在边缘计算中指边缘节点，包括有手机、笔记本、路由器、边缘服务器和基站，这些具备计算能力、存储能力和通信能力，处在网络边缘的设备。无人机追踪目标时，无人机将视频分析任务卸载到地面的可用边缘节点。当无人机由于自身续航能力不足或者视线受阻即将丢失目标时，无人机本文档来自技高网...

【技术保护点】
1.一种基于边缘计算的目标追踪方法，其特征在于，通过无人机对目标进行主要拍摄，在无人机无法工作时地面摄像头网络对目标进行协助拍摄，对无人机及地面摄像头网络拍摄的视频数据流进行处理和分析不为地面站集中处理，地面的终端设备组成的边缘节点计算集群负责视频数据流的处理和分析。

【技术特征摘要】
1.一种基于边缘计算的目标追踪方法，其特征在于，通过无人机对目标进行主要拍摄，在无人机无法工作时地面摄像头网络对目标进行协助拍摄，对无人机及地面摄像头网络拍摄的视频数据流进行处理和分析不为地面站集中处理，地面的终端设备组成的边缘节点计算集群负责视频数据流的处理和分析。2.如权利要求1所述的一种基于边缘计算的目标追踪方法，其特征在于，所述终端设备在边缘计算中指边缘节点，包括有手机、笔记本、路由器、边缘服务器和基站，这些具备计算能力、存储能力和通信能力，处在网络边缘的设备，通过协同分析的方式处理视频数据流信息。3.如权利要求2所述的一种基于边缘计算的目标追踪方法，其特征在于，无人机追踪目标时，无人机将视频分析任务卸载到地面的可用边缘节点；当无人机由于自身续航能力不足或者视线受阻即将丢失目标时，无人机将目标追踪任务卸载到部分的地面摄像头网络，由地面摄像头网络和边缘节点共同承担起临时的目标追踪任务，直至无人机恢复正常工作或者目标再次出现在无人机的视线。4.如权利要求3所述的一种基于边缘计算的目标追踪方法，其特征在于，目标确定已经丢失时，由目标丢失点以及目标运动的方向和速度通过计算，确定目标会出现在附近的几个摄像头监控覆盖的范围内，将目标最后出现的时间点至发现目标丢失的时间点之间的视频卸载到边缘节点进行分析和处理，找到目标逃离方向和速度，通知无人机协同拍摄，实现目标的再找回。5.如权利要求4所述的一种基于边缘计算的目标追踪方法，其特征在于，无人机-地面摄像头采用5G、wi-fi连接方式，无人机-地面边缘节点采用5G、wi-fi连接方式，地面摄像头-地面摄像头采用有线、5G连接方式，地面摄像头-地面边缘节点采用wi-fi、5G、有线连接方式。6.如权利要求5所述的一种基于边缘计算的目标追踪方法，其特征在于，各个异构平台之间隔离差异采用是虚拟化容器技术(docker技术)或其他的容器技术进行隔离；在边缘节点的容器上装上目标跟踪应用程序的API接口，其中无人机将跟踪拍摄的视频通过Wi-Fi或其他方式与地面边缘节点进行通信，利用所述容器中WAMP接口发送请求，边缘节点接受请求后处理目标追踪任务，并将结果响应给无人机。7.如权利要求6所述的一种基于边缘计算的目标追踪方法，其特征在于，所述目标追踪方法所采的追踪算法是基于深度学习的目标追踪算法，处理步骤有目标识别和目标追踪两个流程，得到的结果有目标移动的方向、移动的速度和位置。8.如权利要求7所述的一种基于边缘计算的目标追踪...

【专利技术属性】
技术研发人员：邓晓衡，刘亚军，李君，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43