一种基于监控视频和PDR在线融合定位方法技术

本发明专利技术公开了一种基于监控视频和PDR在线融合定位方法。该方法包括采集用户手机运动传感器数据，根据PDR算法得到用户的PDR轨迹；采集实时监控摄像头视频流数据，采用深度学习行人检测框架和特征加权算法获得视频行人轨迹；利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配；根据匹配结果确定用户当前位置及追踪轨迹。本发明专利技术为了解决现有定位技术中系统部署成本和定位精度之间难以平衡、系统成本高和实际应用可行性低等问题，综合运用视频行人追踪技术和PDR技术，充分利用了室内环境已广泛部署的监控摄像头设备以及用户随身携带的智能手机，不需要额外部署定位设备，降低了定位系统的成本，同时还相互弥补了两种技术各自的缺点，提高了定位精度。

【技术实现步骤摘要】
一种基于监控视频和PDR在线融合定位方法
本专利技术涉及一种定位方法，尤其涉及一种基于监控视频和PDR在线融合定位方法。
技术介绍
现有的室内定位技术主要分为两大类，第一类是利用Wi-Fi、PDR、地磁、蓝牙、UWB以及射频等无线信号进行定位，该类定位技术主要问题是系统部署成本和定位精度之间难以平衡，如果采用Wi-Fi、PDR、地磁等定位技术可以利用现有的硬件设备，降低定位成本，但是信号不稳定，容易受到环境的干扰，定位精度低；如果采用蓝牙、UWB、射频等定位技术可以得到很好的定位精度，但是需要额外部署硬件设备，系统构建成本高，不利于实际的推广应用。第二类是利用多种定位技术进行融合定位，定位精度比单一定位技术要高，但目前依然存在系统成本高或实际应用可行性低等问题。
技术实现思路
针对现有技术中的上述不足，本专利技术提供了一种基于监控视频和PDR在线融合定位方法。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于监控视频和PDR在线融合定位方法，包括以下步骤：S1、采集用户手机运动传感器数据，根据PDR算法得到用户的PDR轨迹；S2、采集实时监控摄像头视频流数据，采用深度学习行人检测框架和特征加权算法获得视频行人轨迹；S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配；S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。本专利技术具有以下有益效果：融合了监控视频和手机PDR信息来进行定位，基于视频行人追踪技术存在遮挡问题及无法识别用户身份问题，难以单独为用户提供自主定位服务，基于PDR技术需要确定用户的起始位置点，且存在累积误差问题，也不适用于单独定位。本专利技术采用两种技术融合，既互相弥补了各自的缺点，提高了定位精度，还避免了额外硬件设备的部署，同时采用了双重轨迹匹配算法进行PDR轨迹和视频行人轨迹的匹配，不仅提高了匹配速度，确保了定位系统的响应时间，还提高了两种轨迹的匹配精度。优选地，步骤S1包括以下分步骤：S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据，采用滤波算法对传感器数据进行处理，再利用坐标系转换算法，将手机载体坐标系数据转换到平面坐标系上；S12、基于步骤S11采集的手机传感器数据，采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角，并根据起始位置点通过PDR算法得到用户的PDR轨迹。该优选方案具有以下有益效果：利用了用户随身携带的智能手机传感器信息进行了数据采集，进而计算出了用户的PDR轨迹，数据采集过程和计算过程方便快捷。优选地，步骤S2包括以下分步骤：S21、采集实时监控摄像头视频流数据；S22、将步骤S21得到的视频流按帧处理成图像，并利用深度学习行人检测框架进行处理得到每帧图像中所有行人检测结果，将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹；S23、对步骤S22得到的每帧视频行人检测结果提取特征，利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度，并将当前视频图像帧行人检测结果关联到初始视频行人轨迹中进行更新，得到新的视频行人轨迹；S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系。该优选方案具有以下有益效果：利用了室内环境已广泛部署的监控摄像头设备来得到视频行人轨迹，不需要额外部署定位设备，降低了定位系统的成本。优选地，步骤S3包括以下分步骤：S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配；S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配。该优选方案具有以下有益效果：采用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹的匹配，不仅提高了匹配速度，确保了定位系统的响应时间，还提高了两种轨迹的匹配精度。优选地，步骤S31包括以下分步骤：S311、根据用户单步步长、航向和手机系统时间，通过处理服务器进行时间同步得到单步对应的视频行人轨迹；S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合，得到该段视频行人轨迹的拟合轨迹；S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征，基于步骤S12计算的用户步长和航向角得到PDR轨迹特征；S314、基于步骤S313提取的视频行人轨迹特征，采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j，依次计算每条PDR轨迹段和所有视频轨迹段的总相似度，确定相似度矩阵M；S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配，具体内容为：首先基于步骤S314的相似度矩阵M计算匈牙利算法的代价矩阵C，计算公式为：C＝I-M再根据代价矩阵进行匈牙利算法匹配得到结果矩阵R，若R中的元素ri,j＝1，则认为第i条PDR轨迹段和第j条视频轨迹段匹配。该优选方案具有以下有益效果：单步匹配算法计算数据量少，运算速度快适用于实时在线匹配定位，可以快速确定用户当前所在位置。优选地，步骤S312具体包括：基于视频行人轨迹段WAB中的L个数据样本，其中视频行人轨迹段WAB为起始点为A，结束点为B的单步视频行人轨迹段，采用如下拟合函数hθ(x)对数据进行拟合：hθ(x)＝θ0x+θ1其中θ1和θ0为拟合参数，将起始点A和结束点B的横坐标输入到拟合函数中求出两点对应的纵坐标，得到起始点A坐标(xA,yA)和结束点B坐标(xB,yB)。该优选方案具有以下有益效果：行人检测算法得到的行人检测框会存在抖动，且从像素坐标转换到平面坐标系也会引入一定的噪声，单步PDR轨迹对应的视频行人轨迹较短，直接提取视频轨迹特征的效果不太好，在视频轨迹段AB之间采用最小二乘法进行数据拟合得到该段视频轨迹的拟合轨迹，后续对拟合的轨迹进行特征提取，可以减少噪声影响，得到更加精确的视频行人轨迹。优选地，步骤S313具体包括：计算视频行人轨迹段WAB的长度LA,B，计算公式为：再采用反正切函数计算视频行人轨迹段WAB的运动方向计算公式为：将步骤S12得到的单步的步长作为单步PDR轨迹段Rab的长度La,b，单步的航向角作为PDR轨迹段Rab的运动方向该优选方案具有以下有益效果：行人行走的轨迹长度和运动方向两种特征是判断行人运动状态相对有效的特征，且计算方式简单，可提高轨迹匹配算法的精确度和算法运行速度。优选地，步骤S314具体包括：计算单步PDR轨迹段Rab的长度La,b和视频行人轨迹段WAB的长度LA,B的比值χ，并归一化到[0,1]范围，计算公式为：再计算单步PDR轨迹段Rab的运动方向和视频行人轨迹段WAB的运动方向的余弦相似度φ，并归一化到[0,1]范围，计算公式为：再通过对轨迹长度和运行方向两种特征的相似度进行加权计算第i条PDR轨迹本文档来自技高网...

【技术保护点】
1.一种基于监控视频和PDR在线融合定位方法，其特征在于，包括以下步骤：/nS1、采集用户手机运动传感器数据，根据PDR算法得到用户的PDR轨迹；/nS2、采集实时监控摄像头视频流数据，采用深度学习行人检测框架和特征加权算法获得视频行人轨迹；/nS3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配；/nS4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。/n

【技术特征摘要】
1.一种基于监控视频和PDR在线融合定位方法，其特征在于，包括以下步骤：
S1、采集用户手机运动传感器数据，根据PDR算法得到用户的PDR轨迹；
S2、采集实时监控摄像头视频流数据，采用深度学习行人检测框架和特征加权算法获得视频行人轨迹；
S3、利用双重轨迹匹配算法进行PDR轨迹和视频行人轨迹匹配；
S4、根据步骤S3的匹配结果确定用户当前位置及追踪轨迹。


2.如权利要求1所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S1包括以下分步骤：
S11、采集用户手机内置的加速度计、磁力计和陀螺仪运动传感器数据，采用滤波算法对传感器数据进行处理，再利用坐标系转换算法，将手机载体坐标系数据转换到平面坐标系上；
S12、基于步骤S11采集的手机传感器数据，采用步数检测、步长估计和航向角估计算法得到用户运动过程中的步数、每步对应的步长和航向角，并根据起始位置点通过PDR算法得到用户的PDR轨迹。


3.如权利要求2所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S2包括以下分步骤：
S21、采集实时监控摄像头视频流数据；
S22、将步骤S21得到的视频流按帧处理成图像，并利用深度学习行人检测框架进行处理得到每帧图像中所有行人检测结果，将第一帧视频流的所有行人检测框像素坐标作为初始视频行人轨迹；
S23、对步骤S22得到的每帧视频行人检测结果提取特征，利用特征加权算法计算当前视频图像帧检测结果和初始视频行人轨迹的相似度，并将当前视频图像帧行人检测结果关联到初始视频行人轨迹中进行更新，得到新的视频行人轨迹；
S24、采用有标定点的DLT平面空间校正方法将步骤S23得到的视频行人轨迹从像素坐标系转换到平面坐标系。


4.如权利要求3所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S3包括以下分步骤：
S31、采用单步快速匹配算法进行PDR轨迹和视频行人轨迹的实时匹配；
S32、采用多步全局匹配算法进行PDR轨迹和视频行人轨迹的匹配。


5.如权利要求4所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S31包括以下分步骤：
S311、根据用户单步步长、航向和手机系统时间，通过处理服务器进行时间同步得到单步对应的视频行人轨迹；
S312、采用最小二乘法对步骤S311得到的视频行人轨迹进行拟合，得到该段视频行人轨迹的拟合轨迹；
S313、基于步骤S312得到的拟合轨迹提取得到视频行人轨迹特征，基于步骤S12计算的用户步长和航向角得到PDR轨迹特征；
S314、基于步骤S313提取的视频行人轨迹特征，采用特征加权算法计算第i条PDR轨迹段和第j条视频轨迹段的总相似度Mi,j，依次计算每条PDR轨迹段和所有视频轨迹段的总相似度，确定相似度矩阵M；
S315、采用匈牙利算法进行PDR轨迹和视频行人轨迹匹配，具体内容为：
首先基于步骤S314的相似度矩阵M计算匈牙利算法的代价矩阵C，计算公式为：
C＝I-M
再根据代价矩阵进行匈牙利算法匹配得到结果矩阵R，若R中的元素ri,j＝1，则认为第i条PDR轨迹段和第j条视频轨迹段匹配。


6.如权利要求5所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S312具体包括：
基于视频行人轨迹段WAB中的L个数据样本，其中视频行人轨迹段WAB为起始点为A，结束点为B的单步视频行人轨迹段，采用如下拟合函数hθ(x)对数据进行拟合：
hθ(x)＝θ0x+θ1
其中θ1和θ0为拟合参数，将起始点A和结束点B的横坐标输入到拟合函数中求出两点对应的纵坐标，得到起始点A坐标(xA,yA)和结束点B坐标(xB,yB)。


7.如权利要求6所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S313具体包括：
计算视频行人轨迹段WAB的长度LA,B，计算公式为：



再采用反正切函数计算视频行人轨迹段WAB的运动方向计算公式为：



再将所述步骤S12得到的单步的步长作为单步PDR轨迹段Rab的长度La,b，单步的航向角作为PDR轨迹段Rab的运动方向


8.如权利要求7所述的一种基于监控视频和PDR在线融合定位方法，其特征在于，所述步骤S314具体包括：
计算单步PDR轨迹段Rab的长度La,b和视频行人轨迹段WAB的长度LA,B的比值χ，并归一化到[0,1]范围，计算公式为：

<...

【专利技术属性】
技术研发人员：杨帆，黄翠彦，苟柳燕，胡丁文，胡凯翔，霍永青，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51