【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种多楼层飞行巡逻机器人的行人跟踪方法、装置及设备。
技术介绍
1、随着时代的发展，传感器技术的升级以及行业的需求，飞行巡逻机器人被应用在越来越多的领域。飞行巡逻机器人可通过其自身上位机程序或操控员远程遥控其飞行完成指定任务，它可在多种受限环境中工作，无论是室内环境还是室外环境都具有广泛的应用前景。
2、而在室内行人跟踪方面，室内行人目标跟踪指的是能在输入视频初始帧任意目标的大小与位置后，在之后的每帧视频预测目标在该帧图像中的大小与位置。目标跟踪是一个在人机交互、室内安防监控等任务中常遇到的一个基本的视觉问题，其挑战的难点在于如何在只有视频首帧目标信息情况下，在之后的每帧中，面对有遮挡，出视野，物体变形，背景杂乱，光线干扰或是其他挑战场景，仍然能很好地跟踪指定目标的位置，尽管目前已有大量研究，但要提高跟踪性能，仍然存在许多问题，而在多楼层的环境下如何使得飞行巡逻机器人有效跟踪行人上下楼梯便是其中亟待解决的问题之一。
技术实现思路
1、本专利技术主要解决的技术问题是多楼层的环境下飞行巡逻机器人跟踪行人上下楼梯的准确度较低。
2、根据第一方面，一种实施例中提供一种多楼层飞行巡逻机器人的行人跟踪方法，包括：
3、基于飞行巡逻机器人的多张输入关键帧进行背景消除及预设对象消除处理，得到多张第一关键帧；所述预设对象包括非人类对象；所述多张输入关键帧从所述飞行巡逻机器人实时采集的多楼层场景数据中提取；所述多楼层场景数据中包括至少
4、根据预设人类对象参考场景识别出所述多张第一关键帧中人类对象对应的行人识别边界框，并将所述行人识别边界框所对应的图像作为第一标签数据，将所述行人识别边界框在预设帧中框选的人类对象的标签作为第二标签数据；所述第一标签数据包括所述行人识别边界框所框选的人类对象的连通图；所述预设人类对象参考场景包括不同方向上人类对象重叠的场景；
5、基于所述行人识别边界框分别提取所述第一标签数据和所述第二标签数据对应的特征数据，基于预构建的粗糙集、所述第一标签数据对应的特征数据和所述第二标签数据对应的特征数据进行行人分类，得到行人分类结果；所述粗糙集中包括人类对象的近似划分集合；
6、基于所述行人分类结果对所述飞行巡逻机器人实时采集的多楼层场景数据中的目标行人进行行人跟踪。
7、一实施例中，基于飞行巡逻机器人的多张输入关键帧进行背景消除及预设对象消除处理，得到多张第一关键帧，包括：
8、识别所述多张输入关键帧中人类对象对应的光流大小和光流方向，根据所述光流大小和所述光流方向生成所述人类对象对应的预估结果；所述预估结果中包括所述人类对象为静态人类对象或者所述人类对象为非静态人类对象；
9、将所述预估结果中划分为静态人类对象对应的人类对象作为预设过程中的背景图像，并利用形态学运算和连通分量分析方法将所述预估结果中划分为非静态人类对象对应的人类对象在所述预设过程中的区域构建为连通图集合；所述预设过程根据所述多张关键帧构建；
10、根据所述连通图集合对应的像素点个数和预设像素阈值识别出所述多张输入关键帧中的非人类对象并对所述非人类对象进行对象消除处理，得到多张第一关键帧。
11、一实施例中，根据预设人类对象参考场景识别出所述多张第一关键帧中人类对象对应的行人识别边界框，包括：
12、获取预定义的对象样本的样本高度和样本宽度，根据所述样本高度和所述样本宽度分别获取第一参数值和第二参数值；所述第一参数值中包括第一高度和第一宽度；所述第二参数值中包括第二高度和第二宽度；所述第一参数值为将所述多张第一关键帧中任选的一张关键帧作为当前帧的对应参数；所述第二参数值为所述当前帧对应的前一帧的参数；
13、根据所述人类对象参考场景中不同方向上人类对象重叠的场景对所述第一参数值和所述第二参数值进行参数划分，并根据划分后的参数和预设边界框绘制函数绘制得到人类对象对应的行人识别边界框；所述不同方向上人类对象重叠的场景包括人类对象在横轴方向上重叠、人类对象在纵轴方向上重叠或者人类对象同时在横轴和纵轴方向上重叠。
14、一实施例中，基于所述行人分类结果对所述飞行巡逻机器人实时采集的多楼层场景数据中的目标行人进行行人跟踪之后，所述方法还包括：
15、获取所述多楼层场景数据中所述目标行人所在的任意两个参考帧，并分别识别所述任意两个参考帧中目标行人对应的坐标位置；所述坐标位置包括所述目标行人在任意两个参考帧中第一个参考帧中的第一坐标位置，及所述目标行人在任意两个参考帧中第二个参考帧中的第二坐标位置；
16、根据预设行人位移计算公式、所述第一坐标位置和所述第二坐标位置计算出所述目标行人对应的行人位移；
17、当所述行人位移符合预设消失判定条件时，将所述目标行人标记为消失行人并对所述消失行人进行再次跟踪。
18、一实施例中，预设行人位移计算公式，包括：
19、
20、其中，disp表示行人位移，(x1,y1)表示所述第一坐标位置，(x2,y2)表示所述第二坐标位置，w1表示所述目标行人在所述第一个参考帧中对应的宽度，w2表示所述目标行人在所述第二个参考帧中对应的宽度，h1表示所述目标行人在所述第一个参考帧中对应的高度，h2表示所述目标行人在所述第二个参考帧中对应的高度。
21、一实施例中，基于所述行人识别边界框分别提取所述第一标签数据和所述第二标签数据对应的特征数据，包括：
22、根据所述行人识别边界框、所述第一标签数据、所述第二标签数据和预设第一参数分布公式提取对应的特征数据。
23、一实施例中，预设第一参数分布公式，包括：
24、
25、
26、
27、其中，γ表示预设第一参数分布，α表示第一形状参数，β表示第二形状参数，mi表示所述行人识别边界框的平均值，vi表示所述平均值mi的方差。
28、根据第二方面，一种实施例中提供一种多楼层飞行巡逻机器人的行人跟踪装置，包括：
29、背景消除模块，用于基于飞行巡逻机器人的多张输入关键帧进行背景消除及预设对象消除处理，得到多张第一关键帧；所述预设对象包括非人类对象；所述多张输入关键帧从所述飞行巡逻机器人实时采集的多楼层场景数据中提取；所述多楼层场景数据中包括至少一个行人在多楼层场景中进行上下楼梯运动；
30、边界框识别模块，用于根据预设人类对象参考场景识别出所述多张第一关键帧中人类对象对应的行人识别边界框，并将所述行人识别边界框所对应的图像作为第一标签数据，将所述行人识别边界框在预设帧中框选的人类对象的标签作为第二标签数据；所述第一标签数据包括所述行人识别边界框所框选的人类对象的连通图；所述预设人类对象参考场景包括不同方向上人类对象重叠的场景；
31、行人分类模块，用于基于所述行人识别边本文档来自技高网...
【技术保护点】
1.一种多楼层飞行巡逻机器人的行人跟踪方法,其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于飞行巡逻机器人的多张输入关键帧进行背景消除及预设对象消除处理，得到多张第一关键帧，包括：
3.如权利要求1所述的方法，其特征在于，所述根据预设人类对象参考场景识别出所述多张第一关键帧中人类对象对应的行人识别边界框，包括：
4.如权利要求1所述的方法，其特征在于，所述基于所述行人分类结果对所述飞行巡逻机器人实时采集的多楼层场景数据中的目标行人进行行人跟踪之后，所述方法还包括：
5.如权利要求4所述的方法，其特征在于，所述预设行人位移计算公式，包括：
6.如权利要求1所述的方法，其特征在于，所述基于所述行人识别边界框分别提取所述第一标签数据和所述第二标签数据对应的特征数据，包括：
7.如权利要求6所述的方法，其特征在于，所述预设第一参数分布公式，包括：
8.一种多楼层飞行巡逻机器人的行人跟踪装置，其特征在于，包括：
9.一种多楼层飞行巡逻机器人的行人跟踪设备，其特征在于，包括：<...
【技术特征摘要】
1.一种多楼层飞行巡逻机器人的行人跟踪方法,其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于飞行巡逻机器人的多张输入关键帧进行背景消除及预设对象消除处理，得到多张第一关键帧，包括：
3.如权利要求1所述的方法，其特征在于，所述根据预设人类对象参考场景识别出所述多张第一关键帧中人类对象对应的行人识别边界框，包括：
4.如权利要求1所述的方法，其特征在于，所述基于所述行人分类结果对所述飞行巡逻机器人实时采集的多楼层场景数据中的目标行人进行行人跟踪之后，所述方法还包括：
5.如权利要求4所述的方法，其...
【专利技术属性】
技术研发人员：徐亮，任晓波，王志敏，
申请(专利权)人：深圳市华赛睿飞智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。