一种人机物融合场景下对用户透明的轨迹监测方法技术

本发明专利技术提供一种人机物融合场景下对用户透明的轨迹监测方法，涉及计算机系统领域，在无线轨迹监测的基础上结合计算机视觉中的目标跟踪技术，利用摄像头采集到的图像信息提高定位信息的精准度，解决Wi

【技术实现步骤摘要】
一种人机物融合场景下对用户透明的轨迹监测方法


[0001]本专利技术涉及计算机系统领域，具体为一种对用户透明的轨迹监测方法。

技术介绍

[0002]用户轨迹监测，是指对一个区域内用户经过的位置序列进行监测。用户轨迹监测对智能安防等领域具有重要意义。在人机物融合场景下，人、计算单元与物理对象在网络环境中高度集成交互，这些物理对象为用户的轨迹监测提供了数据来源。可以通过智能手机、智能手环等物理单元采集到用户的位置信息，进而实现轨迹监测。
[0003]目前，用户轨迹监测的主流方法主要分为三类：基于视觉信号的轨迹监测、基于无线信号的轨迹监测以及基于视觉和无线信号相结合的轨迹监测。
[0004]现有的基于视觉信号的轨迹监测方法的不足是：在实际的应用场景中，视觉信号跨摄像头导致视觉信号的不连续性，使得基于视觉信号判断用户身份的准确性较低，同时视觉信号的识别准确率对环境光线、人体姿势、衣着变化、摄像头分辨率等因素敏感。
[0005]现有的基于无线信号的轨迹监测方法主要是基于用户智能手机的无线信号进行监控，这些方法主要基于两种方案，一种是用户在智能设备上开启GPS功能，并主动上传GPS信息，例如安装APP定时上传其GPS模块采集到的地理位置；二是要求用户与信息收集方建立特定的连接，如Wi
‑
Fi，蓝牙，从而使监控方能够在信号的接收端根据信号强度、信道状态信息等推算出用户所处的位置。这些方法的不足之处在于只考虑了无线信号一个维度的数据，而通过无线信号采集位置信息的方式存在较大的误差，在室内环境或人群较为密集、存在无线信号相互干扰的环境中尤为明显。
[0006]现有的基于视觉信号和无线信号相结合的轨迹监测方法考虑了两个维度的数据，可以减少单一视觉信号或无线信号的上述问题，减少由于单一信号的特性带来的固有缺陷。但是，现有的视觉信号和无线信号相结合的轨迹监测方法主要存在的不足是：从获取定位信息的途径上来说，现有方法需要预先获取用户的信息或要求用户的主动配合。这些方法需要假定能够预先获取用户的人脸信息，或者被监测的用户安装特定的移动APP并主动上报数据，或者连接到特定的网络，而这只能针对特定的用户群体进行轨迹监测，极大地局限了轨迹监测的应用场景。在智能安防等应用场景下，监测方希望监测的范围是某个区域内不特定的人群，例如监测并记录在一时间段内在该区域所有人的轨迹，此时往往很难满足预先获取用户的信息或用户主动配合的假设，这些场景需要采用一种对用户透明的轨迹监测方式，从而在采集到不特定人群的轨迹信息。
[0007]Wi
‑
Fi探针技术在无线信号方面为用户透明的轨迹监测提供了一种可能。Wi
‑
Fi探针是指基于Wi
‑
Fi探测来识别附近已开启Wi
‑
Fi的无线终端的技术。Wi
‑
Fi探针通过抓取附近无线终端发出数据帧的方式，获取智能终端的MAC地址，以及该终端的RSSI信号强度。MAC地址可以用来对无线终端进行标识，RSSI信号强度则可以用于估算Wi
‑
Fi探针与无线终端的距离，这些数据可以用于用户的轨迹监测。但是，根据实验表明，基于Wi
‑
Fi探针技术进行用户轨迹识别存在侦测到的MAC地址跳变的问题。本专利技术使用Data
‑
Sky DS006 Wi
‑
Fi探针
分别采集了目前主流智能手机发出的数据帧，包括小米手机(机型为小米10Pro，操作系统为 MIUI 12.5.10)、华为手机(机型为华为畅享Z，操作系统为EMUI 10.1)、苹果手机(机型为 iPhone12，操作系统为IOS 14.3)。结果发现，目前手机厂商为了保护用户的隐私，在发送数据帧时均默认开启了随机切换MAC地址的功能。具体来说，智能手机会为SSID不同的无线接入点随机生成一个不同的MAC地址，并使用此随机的MAC地址与无线接入点进行通信。当用户连接到SSID不同的无线接入点时，其发出帧的MAC地址会发生变化。在这种情况下，因为用户的MAC地址在监测区域内可能会发生变化，无法直接使用MAC地址作为唯一 ID标识用户，MAC地址跳变问题对轨迹监控带来显著影响。具体来说，MAC地址信息是轨迹监测方获取的无线终端的标识，它的跳变导致同一个用户在一段时间内的标识发生变化，即同一个用户的会因为MAC地址跳变被监测方认为是多个用户，这导致轨迹无法被准确、完整地识别。
[0008]计算机视觉中的目标跟踪技术是指基于一段视频追踪用户在视频中轨迹的技术。采用目标跟踪技术可以为单个摄像头中出现的每个用户标识ID、获取用户的视觉特征向量以及用户在摄像头中移动的位置序列。目标跟踪技术不需要预先获取用户的任何信息，可以应用于用户透明的轨迹监测。但是，结合目标跟踪技术实现多维用户透明的轨迹监测，有两个问题尚待解决。第一，如何将多个摄像头目标跟踪的结果进行匹配以获取用户基于视觉信号的完整轨迹；第二，在Wi
‑
Fi探针采集到MAC地址会发生跳变的情况下，如何将基于视觉信号的用户ID与基于无线信号的MAC地址相匹配，从而实现两个维度数据的结合。
[0009]综上所述，如何结合多维数据，实现用户透明的、高精度的轨迹监测，是一个尚待解决的问题。

技术实现思路

[0010]为了克服现有技术的不足，本专利技术提供一种人机物融合场景下对用户透明的轨迹监测方法，在无线轨迹监测的基础上结合计算机视觉中的目标跟踪技术，利用摄像头采集到的图像信息提高定位信息的精准度，解决Wi
‑
Fi探针技术中MAC地址跳变的问题，实现多维度、高精度、用户透明的轨迹监测。
[0011]本专利技术解决其技术问题所采用的技术方案是：
[0012]一种人机物融合场景下对用户透明的轨迹监测方法，包括以下步骤：
[0013]在待监测空间部署若干个Wi
‑
Fi探针和摄像头，使待测空间内任意一个位置被至少三个 Wi
‑
Fi探针覆盖；
[0014]将待监测空间划分为若干个大小相同的网格，对每一个网格采集若干次各个Wi
‑
Fi探针的RSSI信号强度，并将信号强度与采集时的地理位置记录在数据库中；如果采集时的地理位置在摄像头的监视范围内，则将所述地理位置在摄像头中的像素坐标记录在所述数据库中；
[0015]监测时，处理摄像头采集到的每一帧图像，获得基于视觉信号的用户ID、用户在摄像头中的位置坐标以及用户的视觉特征向量，记录到数据库中；
[0016]使用Wi
‑
Fi探针采集来自用户的无线数据，从Wi
‑
Fi探针采集到的数据中提取各个时刻的用户的无线MAC地址以及信号强度RSSI，记录到数据库中；
[0017]当查询一个时间段内监测区域的用户轨迹时，从数据库中获取所述时间段内每个
视觉ID 的在摄像头中的位置序列，该视觉ID是指基于视觉信号的用户ID，根据RSSI信号强度与摄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机物融合场景下对用户透明的轨迹监测方法，其特征在于，包括以下步骤：在待监测空间部署若干个Wi
‑
Fi探针和摄像头，使待测空间内任意一个位置被至少三个Wi
‑
Fi探针覆盖；将待监测空间划分为若干个大小相同的网格，对每一个网格采集若干次各个Wi
‑
Fi探针的RSSI信号强度，并将信号强度与采集时的地理位置记录在数据库中；如果采集时的地理位置在摄像头的监视范围内，则将所述地理位置在摄像头中的像素坐标记录在所述数据库中；监测时，处理摄像头采集到的每一帧图像，获得基于视觉信号的用户ID、用户在摄像头中的位置坐标以及用户的视觉特征向量，记录到数据库中；使用Wi
‑
Fi探针采集来自用户的无线数据，从Wi
‑
Fi探针采集到的数据中提取各个时刻的用户的无线MAC地址以及信号强度RSSI，记录到数据库中；当查询一个时间段内监测区域的用户轨迹时，从数据库中获取所述时间段内每个视觉ID的在摄像头中的位置序列，该视觉ID是指基于视觉信号的用户ID，根据RSSI信号强度与摄像头像素坐标的对应关系，估算视觉ID的RSSI信号强度，将RSSI信号强度序列记录为视觉轨迹；从数据库中获取所述时间段内的Wi
‑
Fi探针监测到的每一个MAC地址的所有信号强度RSSI，按时间排序后获得无线轨迹；从数据库中获取每个摄像头在所述时间段内监测到的用户视觉ID集合，将视觉ID在所述时间段内的视觉特征向量取均值得到用户的视觉ID特征向量；将用户视觉ID集合中的每个视觉ID特征向量两两计算余弦相似度，作为用户视觉ID间的初始距离；从数据库中获取在所述时间段内监测到的用户无线ID集合，用户无线ID是指无线MAC地址；将用户视觉ID集合中每个视觉ID的轨迹与无线ID集合中每个无线ID的轨迹按时间进行对齐，计算对齐后的平均欧几里得距离并归一化，将归一化数值作为每个视觉ID与无线ID间的初始距离，得到距...

【专利技术属性】
技术研发人员：薛昕磊，严伟，边凯归，
申请(专利权)人：北京大学，
类型：发明
国别省市：