基于UWB模块、语义地图与视觉信息的定位方法技术

本发明专利技术属于图像处理领域，具体公开了一种基于UWB模块、语义地图与视觉信息的定位方法。包括以下步骤：步骤1，在游泳池场景安装布置UWB基站标签、双光谱摄像头；步骤2，通过UWB定位获得游泳池内人员的位置；步骤3，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置；步骤4，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对；步骤5，构建语义地图，每个人在2种模态下的位置在地图上实时显示。本发明专利技术通过对游泳池人员在UWB、可见光视频中的位置配对，准确获得人员位置，并在语义地图中实时显示，该方法利用人员位置的多模态信息，能够准确、高效地获得游泳池中人员位置。效地获得游泳池中人员位置。效地获得游泳池中人员位置。

【技术实现步骤摘要】
基于UWB模块、语义地图与视觉信息的定位方法


[0001]本专利技术属于图像处理领域，涉及一种基于UWB模块、语义地图与视觉信息的定位方法。

技术介绍

[0002]近年来,面向需求越来越迫切的室内位置服务,室内定位技术发展迅速,是移动互联时代的研究热点,逐步在各行各业发挥作用,给人们的日常生活带来了一定的影响。人体检测有着广泛的应用前景和市场需求。
[0003]目标检测与识别的研究方法主要由两大类：基于传统的目标检测与识别方法和基于深度学习的目标检测与识别方法。
[0004]基于传统的目标检测与识别方法主要可以表示为：目标特征提取，目标识别，目标定位。所用到的特征都是人为设计的，例如SIFT , HOG, SURF等，通过这些特征对目标进行识别，然后再结合相应的策略对目标进行定位，但对多个行人之间的情况，仍旧没有很合适的办法解决行人之间的遮挡问题。目前国内外研究者们提出了蓝牙、红外线、RFD，WLAN、超宽带、超声波等室内定位技术及应用系统，但是不同的室内定位技术根据其定位性能有一定的应用局限,还没有一种普适化技术能满足当前所有的室内定位服务需求。
[0005]基于深度学习的目标检测与识别方法主要可以表示为：图像的深度特征提取，基于深度神经网络的目标识别与定位。但对小尺寸目标、遮挡目标的检测精度仍然不够；训练时正负样本不够均衡，对算法性能会产生负面影响；部分领域训练样本获取难度较高，而训练集样本数量较少会导致算法模型的效果不佳。

技术实现思路

[0006]本专利技术提供了一种基于UWB模块、语义地图与视觉信息的定位方法包括以下步骤：步骤1，在游泳池场景安装布置UWB基站标签、双光谱摄像头；步骤2，通过UWB定位获得游泳池内人员的位置；步骤3，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置；步骤4，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对；步骤5，构建语义地图，人员在三种模态下的位置在地图上实时显示。
[0007]在步骤1中，在游泳池场景安装布置UWB基站标签、双光谱摄像头的具体步骤如下：第一步：UWB模块包括基站与标签两类设备，用来对溺水目标进行实时定位与溺水判断；4个基站分别安置在游泳池2个长边的正上方，每侧各2个；第二步：可见光与远红外摄像头绑定在一起，数量为4个，分别安装在游泳池4个角的正上方。
[0008]在步骤3中，通过UWB定位获得游泳池内人员的位置的具体步骤如下：第一步：以游泳池水平面为基准，选取其中一角为坐标原点，建立直角坐标系；
第二步：计算4个基站相对坐标原点的位置（x
b1
,y
b1
,z
b1
）,（x
b2
,y
b2
,z
b2
）,（x
b3
,y
b3
,z
b3
）,（x
b4
,y
b4
,z
b4
）,获得人员定位位置（x
u
,y
u
,z
u
）；第三步：测试UWB定位的准确性、延时性，计算UWB定位的误差范围。
[0009]在步骤3中，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置的具体步骤如下：第一步：双光谱摄像机固定之后，自采集游泳池内可见光视频，并对可见光视频切成图像；第二步：利用labelimg软件对图像中游泳人员采用标注全身的方式标注；第三步：利用YOLOv5对标注的图像训练，获得权值文件，应用于目标检测中；第四步：利用YOLOv5对可见光实时视频中人员检测，利用deep sort对人员跟踪，获得目标检测矩形框；第五步：计算目标矩形框的中心点；第六步：标注图像中游泳池的位置，计算透视变换矩阵；第七步：将目标矩形框的中心点做透视变换，获得人员在可见光视频下的位置。
[0010]在步骤4中，将UWB定位数据、可见光视频中人员位置中人员位置绑定，进行人员配对的具体步骤如下：第一步：设置定时器，每隔1秒提取UWB定位信息、可见光视频中人的位置信息；第二步：分别计算UWB定位与可见光视频下人的角度、速度：设UWB中人员a与可见光视频中人员a
’
前1秒与当前时刻位置分别为（x
u1
，y
u1
）,（x
u2
，y
u2
）,（x
p1
，y
p1
），（x
p2
，y
p2
），则可见光视频中人员a
’
每秒角度与速度为为其中，为人体移动的时间间隔。同理，UWB定位人员a每秒角度为，速度为。
[0011]第三步：设置人员配对规则：若且，则a与a
’
配对，若在20s内配对结果保持一致，则a与a
’
配对成功；若在20s内配对结果不一致，则取配对结果中连续配对次数最多的结果作为最终配对结果。
[0012]在步骤6中，构建语义地图，人员在三种模态下的位置在地图上实时显示的具体步骤如下：第一步：利用Qt软件设计游泳池地图界面；第二步：传入人员在三种模态下的位置信息并在地图上实时显示。
[0013]本申请的有益效果为：以基于UWB模块的定位技术为基础，通过引入UWB误差分析、粒子滤波优化算法，并结合表示环境结构特征的语义地图，建立基于UWB模块与语义地图的溺水目标联合定位模型，克服传统UWB定位方案易受噪声干扰的局限，为后续任务提供准确的位置度量。
[0014]通过深度学习将可见光、远红外等多模态信息引入到视觉检测模型中，进而提出基于多模态视觉信息融合的多任务学习框架，克服单模态模型对游泳场景视频学习能力不足及多源异构特征无法有效融合的缺陷。
[0015]结合UWB模块的定位优势和视觉信息的特征表示能力，将多维度特征融合到整个溺水报警系统中，结合游泳者状态的评估规则和多状态整合机制，建立基于多维度特征融合的溺水决策分析系统，突破传统决策分析系统只能使用单一特征且未有效利用多样信息的瓶颈，进一步减少了系统针对溺水事件的误报率。
[0016]在UWB基站标签布置充分的基础上，可以实现游泳者位置的精准度量，并基于多模态视觉信息融合的多任务学习实现高精度、高可靠、高安全的游泳场景理解，最后建立基于多维度特征融合的溺水决策分析系统，系统会根据警报内容自动控制视频分析模块与UWB定位模块，并及时通知救援人员展开救援工作，实现全流程闭环控制与决策。
附图说明
[0017]图1是本专利技术的算法流程图；图2是基于UWB模块与语义地图的联合定位方法流程图；图3是基于多模态视觉信息融合的多任务学习方法流程图；图4基于多维度特征融合的溺水决策分析系统图；图5是图4中有限状态结构的详细分析图。
具体实施方式
[0018]参照图1至图4。
[0019]本申请的原理如下： 在UWB基站标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，包括以下步骤：步骤1，在游泳池场景安装布置UWB基站标签、双光谱摄像头；步骤2，通过UWB定位获得游泳池内人员的位置；步骤3，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置；步骤4，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对；步骤5，构建语义地图，人员在三种模态下的位置在地图上实时显示。2.根据权利要求1所述的基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，在步骤1中，在游泳池场景安装布置UWB基站标签、双光谱摄像头的具体步骤如下：第一步：UWB模块包括基站与标签两类设备，用来对溺水目标进行实时定位与溺水判断；4个基站分别安置在游泳池2个长边的正上方，每侧各2个；第二步：可见光与远红外摄像头绑定在一起，数量为4个，分别安装在游泳池4个角的正上方。3.根据权利要求1所述的基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，在步骤3中，通过UWB定位获得游泳池内人员的位置的具体步骤如下：第一步：以游泳池水平面为基准，选取其中一角为坐标原点，建立直角坐标系；第二步：计算4个基站相对坐标原点的位置（x
b1
,y
b1
,z
b1
）,（x
b2
,y
b2
,z
b2
）,（x
b3
,y
b3
,z
b3
）,（x
b4
,y
b4
,z
b4
）,获得人员定位位置（x
u
,y
u
,z
u
）；第三步：测试UWB定位的准确性、延时性，计算UWB定位的误差范围。4.根据权利要求1所述的基于UWB模块、语义地图与视觉信息的定位方法，其特征在于，在步骤3中，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置的具体步骤如下：第...

【专利技术属性】
技术研发人员：杜宏林，李金屏，马亮，夏英杰，闫子硕，姜晓凤，
申请(专利权)人：山东上水环境科技集团有限公司，
类型：发明
国别省市：