【技术实现步骤摘要】
本专利技术涉及边缘计算和人工智能，尤其涉及一种边缘智能设备的图像多目标预跟踪方法及系统。
技术介绍
1、边缘智能设备是智能无人机、智能远程设备的重要组成部分，如：机载边缘智能设备是智能无人机的重要载荷，常用于广域侦察监视。为了实现边缘智能设备与远程控制设备的数据交互，在远距离、视场遮挡场景，通过无线电链路或卫星通信链路传输光电图像数据，存在传输数据量比较大且传输延迟通常会超过1s的问题。因大传输延迟的存在导致远程控制设备操作人员无法稳定操控边缘智能设备光电图像中的感兴趣目标，增加了操控难度。
2、现有解决方法主要采用特征点集和多次人机交互筛选的策略来解决延迟大导致的感兴趣目标操控难问题。但该类方法不仅依赖数以百计的特征点集且需要经过多次人机交互筛选才能确定目标，具有特征点数据传输量大且操控耗时的缺点。
技术实现思路
1、本专利技术的目的在于克服现有技术的不足，提供一种边缘智能设备的图像多目标预跟踪方法及系统。
2、本专利技术的目的是通过以下技术方案来实现的：本专利技术第一方面提供：一种边缘智能设备的图像多目标预跟踪方法，包括以下步骤：
3、s1：获取光电图像并输入到多目标检测模型；
4、s2：多目标检测模型对光电图像进行处理，得到光电图像中多个检测目标的目标框box、目标类别cls、目标置信度conf和图像时间戳timestamp作为检测目标数据输出；
5、s3：使用多目标关联跟踪方法对前一时刻t-1和当前时刻t的检测目标
6、s4：历史跟踪管理模块将跟踪目标数据存放；最迟在跟踪目标数据输入到历史跟踪管理模块时，输入待锁定目标id或候选区域坐标数据到历史管理跟踪模块；当输入为待锁定目标id时执行id锁定当前帧目标策略对当前帧目标进行锁定；当输入为候选区域坐标数据时，执行候选区锁定当前帧目标策略进行当前帧候选目标查询。
7、优选的，所述的目标框box为（x, y, w, h），x代表目标框box中心的横坐标、y代表目标框box中心的纵坐标、w代表目标框box的宽度、h代表目标框box的高度；所述的多目标检测模型为fasterrcnn模型或yolo模型或detr模型。
8、优选的，所述的多目标关联跟踪方法使用sort算法或deepsort算法或bytetrack算法或bot-sort算法。
9、优选的，所述的历史跟踪管理模块包括一个字典，所述字典包括键key和值value，所述键key的取值为目标id，所述值value是一个列表用于存放跟踪目标数据，所述字典能够增加跟踪目标数据、查询跟踪目标数据和删除跟踪目标数据。
10、优选的，所述的当前帧目标策略包括以下步骤：
11、在历史跟踪管理模块查询跟踪目标数据中是否存在待锁定目标id，如果存在则将待锁定目标id记为已锁定目标id，并输出已锁定图像时间戳、已锁定光电图像、已锁定目标id、已锁定目标框、已锁定目标类别和已锁定目标置信度；如果不存在待锁定目标id则执行以下步骤：
12、查询待锁定目标id丢失时刻跟踪目标数据中的图像时间戳记为丢失图像时间戳；
13、计算待锁定图像时间戳和丢失图像时间戳的时间差，计算时间差内待锁定目标的最大移动距离，以丢失目标框为圆心，最大移动距离为半径生成候选区域，在候选区域中查询是否存在待锁定目标id，如果存在则将待锁定目标id记为候选目标id，并输出候选图像时间戳、候选光电图像、候选目标id、候选目标框、候选目标类别和候选目标置信度。
14、优选的，所述的候选区锁定当前帧目标策略包括以下步骤：
15、根据候选区域坐标数据得到候选区域，判断候选区域是否存在候选目标id，如果存在则输出候选图像时间戳、候选光电图像、候选目标id、候选目标框、候选目标类别和候选目标置信度；
16、如果不存在候选目标id，则执行以下步骤：
17、根据候选区域坐标数据从光电图像中裁剪得到候选区图像，将候选区图像送入多目标检测模型得到多个候选检测目标数据，然后将候选检测目标数据按光电图像的坐标进行还原后记为检测目标数据执行s3。
18、本专利技术第二方面提供：一种边缘智能设备的图像多目标预跟踪系统，用于实现上述任一种边缘智能设备的图像多目标预跟踪方法，包括：
19、边缘智能设备端，所述边缘智能设备端连接地面控制端；所述边缘智能设备端包括光电设备，用于拍摄光电图像，所述光电设备连接多目标预跟踪模块；所述多目标预跟踪模块用于对光电图像进行处理，能够接收地面控制端输入的待锁定目标id或候选区域坐标数据对当前帧目标进行锁定或进行当前帧候选目标查询，所述多目标预跟踪模块连接传输数据处理模块；所述传输数据处理模块用于传输地面控制端输出的数据给多目标预跟踪模块，并根据无线通信信号等级将多目标预跟踪模块输出的数据传输给第一无线通讯设备a，所述传输数据处理模块连接第一无线通讯设备a；所述第一无线通讯设备a用于通过无线通信链路进行传输数据处理模块和地面控制端的数据交互；
20、所述地面控制端包括第二无线通信设备b，用于通过无线通信链路与边缘智能设备端进行数据交互，所述第二无线通信设备b连接人机交互显示模块；所述人机交互显示模块用于对边缘智能设备端传输的数据进行可视化，用第一类别a代表未选中目标、第二类别b代表人机交互选中的目标、第三类别c代表候选目标、第四类别d代表已锁定目标、第五类别e代表光电图像中未被检测到的目标，所述人机交互显示模块连接人机交互设备；所述人机交互设备为鼠标和/或键盘和/或无人机控制手柄，使用点选或框选或预定义数字键快选选中待锁定目标。
21、优选的，所述的无线通信信号等级分为第一信号等级、第二信号等级、第三信号等级和第四信号等级，当为第一信号等级时，传输1080p光电图像以及跟踪目标数据；当为第二信号等级时，传输640p光电图像以及跟踪目标数据；当为第三信号等级时，仅传输跟踪目标数据；当为第四信号等级时，不传输跟踪目标数据。
22、优选的，所述的点选是使用鼠标点击选中待锁定目标；所述的框选是使用鼠标拉框选中待锁定目标，若框选区域没有检测到待锁定目标则输出候选区域坐标数据到边缘智能设备端；所述预定义数字键快选是对待锁定目标进行编号，输入待锁定目标对应的编号数字则代表选中了对应的待锁定目标。
23、本专利技术的有益效果是：
24、1）采用图像区域目标作为预跟踪对象，相较于基于特征点的预跟踪方法，具有跟踪对象少，需要无线传输的数据量少，不需要边缘智能设备端与远程控制端进行多次无线通信才能锁定目标的优势。
25、2）根据无线通信信号等级划分，实现不同等级数据量的无线传输，能够很好克服信号不佳或信号干扰条件下的传输数据丢失或延时问题。
26、3）支持目标id、候选区2种当前帧目标锁定本文档来自技高网...
【技术保护点】
1.一种边缘智能设备的图像多目标预跟踪方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的目标框box为（x, y, w, h），x代表目标框box中心的横坐标、y代表目标框box中心的纵坐标、w代表目标框box的宽度、h代表目标框box的高度；所述的多目标检测模型为FasterRCNN模型或YOLO模型或DETR模型。
3.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的多目标关联跟踪方法使用Sort算法或DeepSort算法或ByteTrack算法或BoT-SORT算法。
4.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的历史跟踪管理模块包括一个字典，所述字典包括键key和值value，所述键key的取值为目标ID，所述值value是一个列表用于存放跟踪目标数据，所述字典能够增加跟踪目标数据、查询跟踪目标数据和删除跟踪目标数据。
5.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的当前帧目标
6.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的候选区锁定当前帧目标策略包括以下步骤：
7.一种边缘智能设备的图像多目标预跟踪系统，其特征在于：用于实现如权利要求1-6任一项所述的边缘智能设备的图像多目标预跟踪方法，包括：
8.根据权利要求7所述的边缘智能设备的图像多目标预跟踪系统，其特征在于：所述的无线通信信号等级分为第一信号等级、第二信号等级、第三信号等级和第四信号等级，当为第一信号等级时，传输1080P光电图像以及跟踪目标数据；当为第二信号等级时，传输640P光电图像以及跟踪目标数据；当为第三信号等级时，仅传输跟踪目标数据；当为第四信号等级时，不传输跟踪目标数据。
9.根据权利要求7所述的边缘智能设备的图像多目标预跟踪系统，其特征在于：所述的点选是使用鼠标点击选中待锁定目标；所述的框选是使用鼠标拉框选中待锁定目标，若框选区域没有检测到待锁定目标则输出候选区域坐标数据到边缘智能设备端；所述预定义数字键快选是对待锁定目标进行编号，输入待锁定目标对应的编号数字则代表选中了对应的待锁定目标。
...【技术特征摘要】
1.一种边缘智能设备的图像多目标预跟踪方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的目标框box为（x, y, w, h），x代表目标框box中心的横坐标、y代表目标框box中心的纵坐标、w代表目标框box的宽度、h代表目标框box的高度；所述的多目标检测模型为fasterrcnn模型或yolo模型或detr模型。
3.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的多目标关联跟踪方法使用sort算法或deepsort算法或bytetrack算法或bot-sort算法。
4.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的历史跟踪管理模块包括一个字典，所述字典包括键key和值value，所述键key的取值为目标id，所述值value是一个列表用于存放跟踪目标数据，所述字典能够增加跟踪目标数据、查询跟踪目标数据和删除跟踪目标数据。
5.根据权利要求1所述的边缘智能设备的图像多目标预跟踪方法，其特征在于：所述的当前帧目标策略...
【专利技术属性】
技术研发人员：田虎，包灵，
申请(专利权)人：四川盎芯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。