基于边缘计算的视频实时目标追踪方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于边缘计算的视频实时目标追踪方法及装置，该方法包括：按预设规则从采集的视频帧中选取待校准帧发送至边缘端，以用于边缘端接收到待校准帧后，对所述待校准帧进行目标识别；若接收到边缘端发送的待校准帧目标位置的识别结果，则根据所述识别结果，确定当前帧的目标位置，并基于最新确定的当前帧目标位置进行目标追踪。从采集的视频帧中选取待校准帧发送至边缘端，以用于边缘端接收到待校准帧后，对所述待校准帧进行目标识别，解决了基于云端进行校准带来的延时问题。

【技术实现步骤摘要】
基于边缘计算的视频实时目标追踪方法及装置
本专利技术涉及边缘计算领域，尤其涉及一种基于边缘计算的视频实时目标追踪方法及装置。
技术介绍
移动端实时视频分析处理，指在手机、增强现实头显等移动设备上，实时的对摄像头采集的视频进行分析，比如目标检测与追踪、语义分割等。是诸如智能家居、增强现实、智能监控等应用所需的关键技术。这些任务往往对实时性要求较高，较高的延迟会严重影响用户的使用体验，甚至造成安全隐患。移动端设备由于自身计算能力和内存资源不足，难以直接实时运行基于深度学习的目标检测算法。而由于云端和设备端较远的物理距离，两者间的通信具有较大延迟。因此，直接将模型计算任务分流到云端，也难以满足应用对实时性的需求。
技术实现思路
为了解决上述问题，本专利技术实施例提供一种基于边缘计算的视频实时目标追踪方法及装置。第一方面，本专利技术实施例提供一种基于边缘计算的视频实时目标追踪方法，包括：按预设规则持续从采集的视频帧中选取待校准帧发送至边缘端，以用于边缘端接收到待校准帧后，对所述待校准帧进行目标识别；若接收到边缘端发送的待校准帧目标位置的识别结果，则根据所述识别结果，确定当前帧的目标位置，并基于最新确定的当前帧目标位置进行目标追踪。进一步地，按预设规则从采集的视频帧中选取待校准帧发送至边缘端之后，还包括：从待校准帧开始直至当前帧，对视频帧进行存储；相应地，根据所述识别结果，确定当前帧的目标位置，包括：根据存储的待校准帧和接收的识别结果，从待校准帧开始逐帧追踪到当前帧的目标位置。>进一步地，边缘端接收到待校准帧后，还包括将所述待校准帧发送至云服务器进行目标识别，相应地：若边缘端将待校准帧发送至云服务器后，未收到云服务器的校准结果，则所述识别结果为边缘端进行本地目标追踪后发出；若边缘端收到云服务器对待校准帧的校准结果，则所述识别结果为边缘端根据云服务器的校准结果进行校准后发出。第二方面，本专利技术实施例提供一种基于边缘计算的视频实时目标追踪方法，包括：若接收到移动终端发送的待校准帧，则对所述待校准帧进行目标识别，得到待校准帧的识别结果；将本地计算的识别结果发送至移动终端，以用于移动终端根据所述识别结果，确定当前帧的目标位置，并基于最新确定的当前帧目标位置进行目标追踪。进一步地，接收到移动终端发送的待校准帧之后，还包括：将所述待校准帧发送至云服务器，若接收到云服务器返回的待校准帧的校准结果，则根据接收的校准结果更新本地的目标追踪结果。进一步地，所述将计算的识别结果发送至移动终端，包括：将待校准帧的目标追踪结果和用于目标追踪的特征点，发送至移动终端。第三方面，本专利技术实施例提供一种基于边缘计算的视频实时目标追踪装置，包括：获取模块，用于按预设规则持续从采集的视频帧中选取待校准帧发送至边缘端，以用于边缘端接收到待校准帧后，对所述待校准帧进行目标识别；处理模块，用于若接收到边缘端发送的待校准帧目标位置的识别结果，则根据所述识别结果，确定当前帧的目标位置，并基于最新确定的当前帧目标位置进行目标追踪。第四方面，本专利技术实施例提供一种基于边缘计算的视频实时目标追踪装置，包括：校准模块，用于若接收到移动终端发送的待校准帧，则对所述待校准帧进行目标识别，得到待校准帧的识别结果；发送模块，用于将本地计算的识别结果发送至移动终端，以用于移动终端根据所述识别结果，确定当前帧的目标位置，并基于最新确定的当前帧目标位置进行目标追踪。第五方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本专利技术第一方面或第二方面的基于边缘计算的视频实时目标追踪方法的步骤。第六方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术第一方面或第二方面的基于边缘计算的视频实时目标追踪方法的步骤。本专利技术实施例提供的基于边缘计算的视频实时目标追踪方法及装置，从采集的视频帧中选取待校准帧发送至边缘端，以用于边缘端接收到待校准帧后，对所述待校准帧进行目标识别，由于边缘端和移动终端之间的信道传输时延较低，从而解决了基于云端进行校准带来的延时问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的基于边缘计算的视频实时目标追踪方法流程图；图2为本专利技术实施例提供的移动终端处理流程图；图3为本专利技术实施例提供的边缘端处理流程图；图4为本专利技术实施例提供的基于边缘计算的视频实时目标追踪装置结构图；图5为本专利技术另一实施例提供的基于边缘计算的视频实时目标追踪装置结构图；图6为本专利技术实施例提供的一种电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。近年来，为了解决云端和设备端通信延迟较大的问题，边缘计算技术逐渐成为新的计算方式。边缘计算旨在利用更靠近设备终端的计算资源，直接提供低延迟、低能耗的计算服务，减少应用对公网环境的依赖。理想情况下，边缘计算设备需要能够实时地运行应用所需地深度学习模型，从而提供稳定的低延迟服务。然而，高端的深度学习服务器或者边缘集群价格高昂，只适合企业和生产环境，对于个人和家庭用户来说难以负担。事实上，在个人和家庭场景中，存在着诸多架构各异的弱边缘计算设备，例如笔记本电脑、台式主机等。除此之外，目前也有价格较为低廉的边缘计算节点。虽然这些计算设备的能力不足以支撑整个实时视频分析任务，但是其计算资源仍远超过常见的移动端设备。本专利技术的目的是克服现有技术中存在的不足，利用家庭场景中容易获得的弱边缘计算设备，提供一种基于云端、边缘端、移动端协同的家用移动端实时视频分析系统。本专利技术实施例先以移动终端为方法的执行主体对本方法进行说明，图1为本专利技术实施例提供的基于边缘计算的视频实时目标追踪方法流程图，如图1所示，本专利技术实施例提供一种基于边缘计算的视频实时目标追踪方法，包括：101、按预设规则持续从采集的视频帧中选取待校准帧发送至边缘端，以用于边缘端接收到待校准帧后，对待校准帧进行目标识别。移动端负责采集视频帧，若移动端计算能力不足，并不能直接运行目标检测算法，可以通过边缘端返回的目标识别后的目标框来获得目标的初始位置，再进行本地的实时追踪。也就是说，在系统刚开始运行时，移动端若没有从边缘端获取目标位置，则进行等待，当获得了边缘端返回的目标位置后才开始目标追踪缘端。本文档来自技高网...

【技术保护点】
1.一种基于边缘计算的视频实时目标追踪方法，其特征在于，包括：/n按预设规则持续从采集的视频帧中选取待校准帧发送至边缘端，以用于边缘端接收到待校准帧后，对所述待校准帧进行目标识别；/n若接收到边缘端发送的待校准帧目标位置的识别结果，则根据所述识别结果，确定当前帧的目标位置，并基于最新确定的当前帧目标位置进行目标追踪。/n

【技术特征摘要】
1.一种基于边缘计算的视频实时目标追踪方法，其特征在于，包括：
按预设规则持续从采集的视频帧中选取待校准帧发送至边缘端，以用于边缘端接收到待校准帧后，对所述待校准帧进行目标识别；
若接收到边缘端发送的待校准帧目标位置的识别结果，则根据所述识别结果，确定当前帧的目标位置，并基于最新确定的当前帧目标位置进行目标追踪。


2.根据权利要求1所述的基于边缘计算的视频实时目标追踪方法，其特征在于，按预设规则从采集的视频帧中选取待校准帧发送至边缘端之后，还包括：
从待校准帧开始直至当前帧，对视频帧进行存储；
相应地，根据所述识别结果，确定当前帧的目标位置，包括：
根据存储的待校准帧和接收的识别结果，从待校准帧开始逐帧追踪到当前帧的目标位置。


3.根据权利要求1所述的基于边缘计算的视频实时目标追踪方法，其特征在于，边缘端接收到待校准帧后，还包括将所述待校准帧发送至云服务器进行目标识别，相应地：
若边缘端将待校准帧发送至云服务器后，未收到云服务器的校准结果，则所述识别结果为边缘端进行本地目标追踪后发出；若边缘端收到云服务器对待校准帧的校准结果，则所述识别结果为边缘端根据云服务器的校准结果进行校准后发出。


4.一种基于边缘计算的视频实时目标追踪方法，其特征在于，包括：
若接收到移动终端发送的待校准帧，则对所述待校准帧进行目标识别，得到待校准帧的识别结果；
将本地计算的识别结果发送至移动终端，以用于移动终端根据所述识别结果，确定当前帧的目标位置，并基于最新确定的当前帧目标位置进行目标追踪。


5.根据权利要求4所述的基于边缘计算的视频实时目标追踪方法，其特征在于，接收到移...

【专利技术属性】
技术研发人员：杨铮，赵毅，贺骁武，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11