一种基于UWB和视觉的室内行人定位方法及系统技术方案

本发明专利技术公开了一种基于UWB和视觉的室内行人定位方法，该方法需布置至少四个UWB基站，并在室内定位区域上方安装单目摄像头。在定位过程中，行人手持UWB标签，该标签可以向UWB基站发射脉冲信号，并为行人提供唯一ID号。摄像头采集接口实时获取拍摄到的画面，并将图像送入Yolov3算法的网络模型中检测行人，最后通过改进的DeepSort算法跟踪画面中的行人。在仅由图像定位过程中，一旦检测到行人目标后，将目标用矩形框框定，再采用足底像素坐标换算为世界坐标。该坐标会与仅由UWB定位的结果进行欧氏距离匹配，匹配后行人的UWB标签ID号会和DeepSort跟踪的行人ID号产生关联，此时行人的真实坐标可由图像定位和UWB定位做均值滤波后得到。本发明专利技术还公开了实现上述方法的系统。本发明专利技术还公开了实现上述方法的系统。本发明专利技术还公开了实现上述方法的系统。

【技术实现步骤摘要】
一种基于UWB和视觉的室内行人定位方法及系统


[0001]本专利技术属于信息工程
，涉及一种基于UWB和视觉的室内行人定位方法及系统。

技术介绍

[0002]近年来，随着基于位置服务应用的快速发展，定位技术越来越得到人们的关注与研究。在一些特殊场景，如监狱、医院、养老院、商业化服务、园区、景区以及在仓储服务领域中，高精度的室内定位技术有着非常重要的意义，是某些应用的基础条件。然而目前成熟的定位服务限于室外场景，卫星定位系统如GPS、北斗等GNSS已经能够较好地解决室外定位问题，但在室内以及其他遮蔽环境下卫星信号强度和质量急速下降。因此提出了许多采用例如WiFi、蓝牙、红外线、超宽带、RFID、ZigBee和超声波等信号实现室内定位，但由于室内环境复杂，无线信号易产生多径效应等干扰，采用单一的技术手段很难实现精准定位。

技术实现思路

[0003]针对上述问题，为了提高室内定位的精度和降低DeepSort算法误检率，本专利技术提出了一种基于UWB和视觉的室内定位方法及系统，将计算机视觉中的目标检测跟踪算法应用到室内定位中，同时UWB可为监控盲区持续提高空间定位信息。该方法首先由UWB基站通过计算机结算获得行人的粗定位值以及UWB标签ID，同时利用单目视觉目标检测方法检测跟踪视频中的行人目标，通过构建像素
‑
世界坐标转换模型实现室内行人单相机亚米级精确三维定位。随后利用视觉定位值与UWB定位值实现行人身份识别与定位值矫正，并利用UWB定位信息补充监控相机视觉盲区中的行人运动轨迹，实现被动视觉与主动UWB的协同定位。
[0004]DeepSort是在Sort目标追踪基础上的改进。引入了在行人重识别数据集上离线训练的深度学习模型，在实时目标追踪过程中，提取目标的表观特征进行最近邻匹配，可以改善有遮挡情况下的目标追踪效果。同时，也减少了目标ID跳变的问题。在此基础上，引入的超宽带脉冲信号的带宽在纳秒级，由定时来计算位置时，引入的误差通常小于几厘米。将视觉与UWB相结合能显著提高多相机室内监控系统的空间定位能力，为大型室内场景安防与智能管理提供理论与技术支撑。
[0005]本专利技术提供的一种基于UWB和视觉的室内行人定位方法是通过以下方案实现的，具体包括以下步骤：
[0006]步骤1：在室内布置若干UWB基站，同时在定位区域斜上方安装摄像头，并将拍摄到的视频流实时传输到本地工作台；
[0007]步骤2：在定位过程中，行人手持可以发射信号的UWB标签，UWB基站接收到标签发送出的脉冲信号后将时间戳传输给本地服务器，采用chan+taylor算法解算行人坐标位置；
[0008]步骤3：摄像头获取实时画面，将获取的视频流送入Yolov3算法的网络模型中进行目标检测，然后将检测结果中
‘
行人
’
的类别送入改进后的DeepSort算法，所述改进后的
DeepSort算法为每个行人生成唯一的追踪器；
[0009]步骤4：采用像素
‑
世界坐标转换模型，将行人足底坐标即行人目标矩形框下边中点的像素点坐标换算成世界坐标；
[0010]步骤5：将图像定位的坐标结果与UWB定位的坐标结果进行欧氏距离匹配，使得同一个目标行人的UWB标签ID和追踪器ID进行关联；
[0011]步骤6：由图像定位和UWB定位结果均值滤波后得到行人的真实坐标。
[0012]步骤1中，所述UWB基站由一个主时钟基站与多个从基站组成，利用不少于四个基站的已知位置坐标和伪距值，通过chan+taylor算法求取移动UWB标签的精确坐标。
[0013]步骤2中，所述chan+taylor中，系统首先利用Chan算法和UWB标签的伪距值来计算UWB标签的初始位置，且将该初始位置带入到Taylor算法中。然后在Taylor算法的多次迭代计算中不断调整UWB标签坐标。当某次UWB标签坐标的泰勒迭代增量即|Δx|+|Δy|小于设定的阈值δ时，退出Taylor算法的迭代，并输出UWB标签的最终估计坐标。阈值设定越小，精度越高，迭代次数越大即数据计算量增大，没有具体的限制。
[0014]步骤3中，所述对DeepSort的改进是指将原先统一不变的参数max
‑
age采用根据检测目标出现的区域动态分配，在不增加运算资源占用的前提下提高了再识别率。
[0015]步骤3中，为了解决跟踪目标丢失一段时间后再重新出现的再识别问题，还需要在视频的第一帧图像上使用opencv2中的selectROI方法划出行人可以离开该画面的出口区域(area
‑
A)，该区域大小和个数可根据具体场景动态调整；检测行人目标特征值的最大存储时间max
‑
age根据不同的划分区域设为不同的值。所述目标特征值的最大储存时间max
‑
age的大小可根据需求进行调整，同时max
‑
age的大小没有特定的范围限制，可以根据实际检测需要进行设定，若需要提高相应的检测精度而不在意检测速率，则可以将max
‑
age取较大的值；若主要是提高检测速率而可以牺牲检测精度，则可以将max
‑
age取较小的值；根据不同的划分区域设定不同的max
‑
age的值相较于各区域设置为同一max
‑
age值，可以有效提高检测精度。
[0016]根据目标离开画面的概率设置所述目标特征值的存储时间max
‑
age，所述max
‑
age一般可以取0
‑
200，不设上限。若由Yolov3网络模型检测后的行人目标检测框采用逻辑判断后落入area
‑
A内，则表示该目标正处于出口处，有极大概率离开该画面，因此可以将该行人目标特征值的存储时间即max
‑
age设为较小值，反之则设为较大值。该动态分配max
‑
age值的方法可更加合理的删去若干帧没有匹配到检测结果的追踪器，所以在不增加运算资源占用的前提下提高了再识别率；
[0017]所述行人目标检测框是否落入area
‑
A的判断方法为：以图像的左上角为笛卡尔坐标系原点(0，0)，从Yolov3算法中提取目标检测框的左上角坐标(x1,y1)和右下角坐标(x2,y2)，area
‑
A左上角坐标为(x
’1,y
’1)，右下角坐标为(x
’2,y
’2)；取行人目标检测框下边框中点的坐标，即为该坐标为行人的足底坐标，将此坐标重新标记为(a,b)。当a＞x
’1，a＜x
’2并且b＞y
’1，b＜y
’2时，即判定目标行人处于area
‑
A内，则表示该目标正处于出口处，有极大概率离开该画面，因此可以将该目标特征值的存储时间即max
‑
age调低。否则均判定目标行人处于are本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于UWB和视觉的室内定位方法，其特征在于，所述方法包括以下步骤：步骤1：在室内布置若干UWB基站，同时在定位区域斜上方安装摄像头，并将拍摄到的视频流实时传输到本地工作台；步骤2：在定位过程中，行人手持可以发射信号的UWB标签，UWB基站接收到标签发送出的脉冲信号后将时间戳传输给本地服务器，采用chan+taylor算法解算行人坐标位置；步骤3：摄像头获取实时画面，将获取的视频流送入Yolov3算法的网络模型中进行目标检测，然后将检测结果中
‘
行人
’
的类别送入改进后的DeepSort算法，所述改进后的DeepSort算法为每个行人生成唯一的追踪器；步骤4：采用像素
‑
世界坐标转换模型，将行人足底坐标即行人目标矩形框下边中点的像素点坐标换算成世界坐标；步骤5：将图像定位的坐标结果与UWB定位的坐标结果进行欧氏距离匹配，使得同一个目标行人的UWB标签ID和追踪器ID进行关联；步骤6：由图像定位和UWB定位结果均值滤波后得到行人的真实坐标。2.根据权利要求1所述的方法，其特征在于，步骤1中，所述UWB基站由一个主时钟基站与多个从基站组成，利用不少于四个基站的已知位置坐标和伪距值，通过chan+taylor算法求取移动UWB标签的精确坐标。3.根据权利要求1所述的方法，其特征在于，步骤2中，所述chan+taylor算法中，系统首先利用Chan算法和UWB标签的伪距值来计算UWB标签的初始位置，且将该初始位置带入到Taylor算法中；然后在Taylor算法的多次迭代计算中不断调整UWB标签坐标；当某次UWB标签坐标的泰勒迭代增量即|Δx|+|Δy|小于设定的阈值δ时，退出Taylor算法的迭代，并输出UWB标签的最终估计坐标。4.根据权利要求1所述的方法，其特征在于，步骤3中，所述对DeepSort的改进是指将原先统一不变的参数max
‑
age采用根据检测目标出现的区域动态分配，在不增加运算资源占用的前提下提高再识别率。5.根据权利要求1所述的方法，其特征在于，步骤3中，为了解决跟踪目标丢失一段时间后再重新出现的再识别问题，在视频的第一帧图像上使用opencv2中的selectROI方法划定画面中供行人离开的出口区域area
‑
A，该区域大小和个数根据具体场景动态调整；检测行人目标特征值的最大存储时间max
‑
age根据不同的划分区域设为不同的值；根据Yolov3网络模型检测后的行人目标检测框采用逻辑判断后是否落入area
‑
A内，根据目标离开画面的概率设置所述目标特征值的存储时间max
‑
age。6.根据权利要求1所述的方法，其特征在于，步骤3中，为了提高在线定位的实时性，在改进后的DeepSort算法的级联匹配中采用了哈希算法，将输入的当前所有追踪器的更新值全部取出进行排序，然后依次分别从小到大取出更新值所对应的追踪器进行级联匹配。7.根据权利要求5所述的方法，其特征在于，所述行人目标检测框是否落入area
‑
A的判断方法为：以图像的左上角为笛卡尔坐标系原点(0,0)，从Yolov3算法中提取目标检测框的左上角坐标(x1,y1)和右下角坐标(x2,y2)，area
‑
A左上角坐标为(x
′1,y
′1)，右下角坐标为(x
′2,y
′2)；取行人目标检测框下边框中点的坐标，即为该坐标为行人的足底坐
标，将此坐标重新标记为(a,b)；当a＞x
′1，a＜x
′2并且b＞y
′1，b＜y
′2时，则判定目标行人处于area
‑
A内，及表示该目标正处于出口处，有极大概率离开该画面，设定较低的目标特征值的存储时间max
‑
age；否则均判定目标行人处于area
‑
A外，设定较...

【专利技术属性】
技术研发人员：彭萍萍，余超，夏祺皓，顾恒豪，郑正奇，赵昆，陈雯，黄帅，纪文清，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：