一种基于5G的多传感器巡检系统及方法技术方案

本发明专利技术公开了一种基于5G的多传感器巡检系统及方法，包括双摄像头视频打卡模块(1),音频打卡模块(2),视频标签标定模块(3),音频标签标定模块(4),多传感巡检点库模块(5),多传感混合巡检点识别模块(6),北斗/GPS定位打卡模块(7),5G基站定位打卡模块(8)，标签打卡模块(9)，5G上传模块(10)，巡检链式存储模块(11)，一种基于5G的多传感器巡检方法根据填补现有标签与北斗/GPS巡检打卡缺陷，标签需要提前设置及北斗/GPS无信号问题，使用视频对象深度信息与声音频率特征进行巡检打卡。一种基于5G的多传感器巡检方法使用多个传感器增加巡检的可信度，避免单个传感器巡检容易造假问题。题。题。

【技术实现步骤摘要】
一种基于5G的多传感器巡检系统及方法


[0001]本专利技术涉及巡检领域，具体涉及一种基于5G的多传感器巡检系统及方法。

技术介绍

[0002]目前，巡更巡检系统广泛应用于办公区、商贸区、工厂区、住宅区以及宾馆、仓储等场所，现有巡检巡更主要有两种手段，一是基于标签巡更，这个需要提前放置标签点。二基于北斗/GPS位置定位巡更，使用灵活，但在有遮物北斗/GPS信号弱，无法实现定位影响使用范围。
[0003]在现有技术中，有一种基于GPS和RFID的电力设备巡检系统公开号为CN103714586A，包括手持终端和本地管理服务器，所述手持终端包括GPS天线、GPS接收电路、RFID识别电路和通讯接口。该专利技术采用GPS和RFID相结合的技术方案，无需接触或瞄准就可以方便地读取到设备信息并能准确定位，便于操作，但其巡检方法单一，在有遮挡物或GPS信号弱的情况下有可能打卡失败。

技术实现思路

[0004]本专利技术的目的在于供一种基于5G的多传感器巡检系统及方法根据填补现有标签与北斗/GPS巡检打卡缺陷，使用多个传感器增加巡检的可信度，避免单个传感器巡检容易造假问题。
[0005]为实现上述目的，本专利技术提供以下技术方案：
[0006]一种基于5G的多传感器巡检系统，包括：
[0007]双摄像头视频打卡模块：采用两个摄像头采样视频，将巡检点ID与获得的图像对象列表发送至视频标签标定模块进行视频标定，将图像对象列表发送到多传感混合巡检点识别模块进行视频打卡；
[0008]音频打卡模块：用于采集周边声音，生成PCM音频数据进行数据分片，将获得的频域数据分片发送给音频标签标定模块进行音频标定，将频域数据分片发送给多传感混合巡检点识别模块进行音频打卡；
[0009]视频标签标定模块：接收双摄像头视频打卡模块发送的图像对象列表，从多传感巡检点库模块获取所有巡检点的图像对象列表数据进行标定后将图像对象列表与巡检点ID发送给多传感巡检点库模块；
[0010]音频标签标定模块：接收音频打卡模块发送的频域数据分片，从多传感巡检点库模块获取所有巡检点的频域数据分片进行标定后将频域数据分片与巡检点ID发送给多传感巡检点库模块；
[0011]多传感巡检点库模块：保存与查询巡检点的信息，巡检点的信息包含巡检点ID，标签ID，位置坐标，频域数据分片，图像对象列表数据；
[0012]多传感混合巡检点识别模块：读取多传感巡检点库模块的所有巡检点的信息，结合多传感器识别巡检点，打卡信息通知5G上传模块；
[0013]北斗/GPS定位打卡模块：接收北斗/GPS卫星在空中连续发送带有时间和位置信息的无线电信号，获取定位信息后把定位信息发送给多传感混合巡检点识别模块；
[0014]5G基站定位打卡模块：接收5G基站定位信号定位获取定位信息，把定位数据发送多传感混合巡检点识别模块；
[0015]标签打卡模块：集成RFID标签读卡器，标签打卡模块读取RFID标签ID值，标签打卡模块把标签ID值发送给多传感混合巡检点识别模块；
[0016]5G上传模块：接收并缓存打卡信息，检查5G网络连接成功后，传输巡检点打卡信息到巡检链式存储模块；
[0017]巡检链式存储模块：接收5G上传模块巡检点打卡信息，按巡检员ID生成巡检链，打卡信息按照打卡时间顺序存储在巡检链，可以按照巡检员ID与打开时间检索到该巡检员的历史记录。
[0018]本专利技术还包括一种基于5G的多传感器巡检方法，采用上述一种基于5G的多传感器巡检系统，包括以下步骤：
[0019]S1：双摄像头视频打卡模块采用两个摄像头采样视频，将巡检点ID与获得的图像对象列表发送至视频标签标定模块进行视频标定，将图像对象列表发送到多传感混合巡检点识别模块进行视频打卡；
[0020]S2：音频打卡模块采集周边声音，生成PCM音频数据进行数据分片，将获得的频域数据分片发送给音频标签标定模块进行音频标定，将频域数据分片发送给多传感混合巡检点识别模块进行音频打卡；
[0021]S3：北斗/GPS定位打卡模块接收北斗/GPS卫星在空中连续发送带有时间和位置信息的无线电信号，获取定位信息后把定位信息发送给多传感混合巡检点识别模块；
[0022]S4：5G基站定位打卡模块接收5G基站定位信号定位获取定位信息，把定位数据发送多传感混合巡检点识别模块；
[0023]S5：标签打卡模块集成RFID标签读卡器，读取RFID标签ID值，标签打卡模块把标签ID值发送给多传感混合巡检点识别模块；
[0024]S6：视频标签标定模块接收双摄像头视频打卡模块发送的图像对象列表，从多传感巡检点库模块获取所有巡检点的图像对象列表数据进行标定后将图像对象列表与巡检点ID发送给多传感巡检点库模块；
[0025]S7：音频标签标定模块：接收音频打卡模块发送的频域数据分片，从多传感巡检点库模块获取所有巡检点的频域数据分片进行标定后将频域数据分片与巡检点ID发送给多传感巡检点库模块；
[0026]S8：多传感巡检点库模块保存与查询巡检点的信息，巡检点的信息包含巡检点ID，标签ID，位置坐标，频域数据分片，图像对象列表数据；
[0027]S9：多传感混合巡检点识别模块：读取多传感巡检点库模块的所有巡检点的信息，结合多传感器识别巡检点进行打卡，打卡信息通知5G上传模块；
[0028]S10：5G上传模块接收到多传感混合巡检点识别模块的打卡信息，缓存打卡信息，5G上传模块检查5G网络连接成功后，传输巡检点打卡信息到巡检链式存储模块；
[0029]S11：巡检链式存储模块接收5G上传模块巡检点打卡信息，巡检链式存储模块按巡检员ID生成巡检链，打卡信息按照打卡时间顺序存储在巡检链，打卡信息包含打卡巡检点
ID，打卡信息包含：标签ID，位置坐标，频域数据分片，图像对象列表数据，巡检链式存储模块按照巡检员ID与打开时间可以检索到该巡检员的历史记录。
[0030]所述步骤S1包含如下步骤：
[0031]1.1双摄像头视频打卡模块采用两个摄像头采样视频，生成的两个摄像头的YUV视频帧；
[0032]1.2双摄像头视频打卡模块分对两个摄像头的YUV视频帧使用YOLO目标检测算法进行对象识别出两个摄像头拍摄的图像对象列表，图像对象列表中的对象包含类型、大小与坐标；
[0033]1.3双摄像头视频打卡模块利用Harris角点检测法提取两个摄像头的YUV视频帧的Y分量的特征点；
[0034]1.4双摄像头视频打卡模块得到两个摄像头的YUV视频帧上角点坐标与对象的类型、大小与坐标，判断根据对象大小、坐标与角点坐标，获取两个摄像头的YUV视频帧上对象的角点；
[0035]1.5双摄像头视频打卡模块对两个摄像头的YUV视频帧相同类型对象的分别对以角点为中心利用序贯相似度检测SSDA融合算法进行计算确信同一个特征点，以此两个摄像头的YUV视频帧上对象为同一个对象，使用视差法距离计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于5G的多传感器巡检系统，其特征在于，包括：双摄像头视频打卡模块(1)：采用两个摄像头采样视频，将巡检点ID与获得的图像对象列表发送至视频标签标定模块(3)进行视频标定，将图像对象列表发送到多传感混合巡检点识别模块(6)进行视频打卡；音频打卡模块(2)：用于采集周边声音，生成PCM音频数据进行数据分片，将获得的频域数据分片发送给音频标签标定模块(4)进行音频标定，将频域数据分片发送给多传感混合巡检点识别模块(6)进行音频打卡；视频标签标定模块(3)：接收双摄像头视频打卡模块(1)发送的图像对象列表，从多传感巡检点库模块(5)获取所有巡检点的图像对象列表数据进行标定后将图像对象列表与巡检点ID发送给多传感巡检点库模块(5)；音频标签标定模块(4)：接收音频打卡模块(2)发送的频域数据分片，从多传感巡检点库模块(5)获取所有巡检点的频域数据分片进行标定后将把频域数据分片与巡检点ID发送给多传感巡检点库模块(5)；多传感巡检点库模块(5)：保存与查询巡检点的信息，巡检点的信息包含巡检点ID，标签ID，位置坐标，频域数据分片，图像对象列表数据；多传感混合巡检点识别模块(6)：读取多传感巡检点库模块(5)的所有巡检点的信息，结合多传感器识别巡检点，打卡信息通知5G上传模块(10)；北斗/GPS定位打卡模块(7)：接收北斗/GPS卫星在空中连续发送带有时间和位置信息的无线电信号，获取定位信息后把定位信息发送给多传感混合巡检点识别模块(6)；5G基站定位打卡模块(8)：接收5G基站定位信号定位获取定位信息，把定位数据发送多传感混合巡检点识别模块(6)；标签打卡模块(9)：集成RFID标签读卡器，标签打卡模块(9)读取RFID标签ID值，标签打卡模块(9)把标签ID值发送给多传感混合巡检点识别模块(6)；5G上传模块(10)：接收并缓存打卡信息，检查5G网络连接成功后，传输巡检点打卡信息到巡检链式存储模块(11)；巡检链式存储模块(11)：接收5G上传模块(10)巡检点打卡信息，按巡检员ID生成巡检链，打卡信息按照打卡时间顺序存储在巡检链，可以按照巡检员ID与打开时间检索到该巡检员的历史记录。2.一种基于5G的多传感器巡检方法，采用如权利要求1所述的一种基于5G的多传感器巡检系统，其特征在于，所述方法包括以下步骤：S1：双摄像头视频打卡模块(1)采用两个摄像头采样视频，将巡检点ID与获得的图像对象列表发送至视频标签标定模块(3)进行视频标定，将图像对象列表发送到多传感混合巡检点识别模块(6)进行视频打卡；S2：音频打卡模块(2)采集周边声音，生成PCM音频数据进行数据分片，将获得的频域数据分片发送给音频标签标定模块(4)进行音频标定，将频域数据分片发送给多传感混合巡检点识别模块(6)进行音频打卡；S3：北斗/GPS定位打卡模块(7)接收北斗/GPS卫星在空中连续发送带有时间和位置信息的无线电信号，获取定位信息后把定位信息发送给多传感混合巡检点识别模块(6)；S4：5G基站定位打卡模块(8)接收5G基站定位信号定位获取定位信息，把定位数据发送
多传感混合巡检点识别模块(6)；S5：标签打卡模块(9)集成RFID标签读卡器，读取RFID标签ID值，标签打卡模块(9)把标签ID值发送给多传感混合巡检点识别模块(6)；S6：视频标签标定模块(3)接收双摄像头视频打卡模块(1)发送的图像对象列表，从多传感巡检点库模块(5)获取所有巡检点的图像对象列表数据进行标定后将图像对象列表与巡检点ID发送给多传感巡检点库模块(5)；S7：音频标签标定模块(4)：接收音频打卡模块(2)发送的频域数据分片，从多传感巡检点库模块(5)获取所有巡检点的频域数据分片进行标定后将频域数据分片与巡检点ID发送给多传感巡检点库模块(5)；S8：多传感巡检点库模块(5)保存与查询巡检点的信息，巡检点的信息包含巡检点ID，标签ID，位置坐标，频域数据分片，图像对象列表数据；S9：多传感混合巡检点识别模块(6)读取多传感巡检点库模块(5)的所有巡检点的信息，结合多传感器识别巡检点进行打卡，打卡信息通知5G上传模块(10)；S10：5G上传模块(10)接收到多传感混合巡检点识别模块(6)的打卡信息，缓存打卡信息，5G上传模块(10)检查5G网络连接成功后，传输巡检点打卡信息到巡检链式存储模块(11)；S11：巡检链式存储模块(11)接收5G上传模块(10)巡检点打卡信息，巡检链式存储模块(11)按巡检员ID生成巡检链，打卡信息按照打卡时间顺序存储在巡检链，打卡信息包含打卡巡检点ID，打卡信息包含：标签ID，位置坐标，频域数据分片，图像对象列表数据，巡检链式存储模块(11)按照巡检员ID与打开时间可以检索到该巡检员的历史记录。3.根据权利要求2所述的一种基于5G的多传感器巡检方法，其特征在于，所述步骤S1包含如下步骤：1.1双摄像头视频打卡模块(1)采用两个摄像头采样视频，生成的两个摄像头的YUV视频帧；1.2双摄像头视频打卡模块(1)分对两个摄像头的YUV视频帧使用YOLO目标检测算法进行对象识别出两个摄像头拍摄的图像对象列表，图像对象列表中的对象包含类型、大小与坐标；1.3双摄像头视频打卡模块(1)利用Harris角点检测法提取两个摄像头的YUV视频帧的Y分量的特征点；1.4双摄像头视频打卡模块(1)得到两个摄像头的YUV视频帧上角点坐标与对象的类型、大小与坐标，判断根据对象大小、坐标与角点坐标，获取两个摄像头的YUV视频帧上对象的角点；1.5双摄像头视频打卡模块(1)对两个摄像头的YUV视频帧相同类型对象的分别对以角点为中心利用序贯相似度检测SSDA融合算法进行计算确信同一个特征点，以此两个摄像头的YUV视频帧上对象为同一个对象，使用视差法距离计算方法计算出该对象的摄像头的距离，合并为一个有距离信息的图像对象列表；1.6双摄像头视频打卡模块(1)按照对象距离从近到远把有距离信息的图像对象列表进行排序，计算每个对象的相对距离，对象相对距离为对象的距离减去图像对象列表的第一对象的距离，最终得到有相对距离且从近到远排序的图像对象列表，图像对象列表的对
象包含对象类型与相对距离；1.7双摄像头视频打卡模块(1)做标定操作，双摄像头视频打卡模块(1)把巡检点ID与有相对距离且从近到远排序的图像对象列表发送视频标签标定模块(3)，其中巡检点ID由用户手动录入；1.8双摄像头视频打卡模块(1)做巡检打卡操作，双摄像头视频打卡模块(1)把有相对距离且从近到远排序的图像对象列表发送多传感混合巡检点识别模块(6)。4.根据权利要求2所述的一种基于5G的多传感器巡检方法，其特征在于，所述步骤S2包含如下步骤：2.1音频打卡模块(2)采集周边的声音，生成PCM音频数据；2.2音频打卡模块(2)将PCM音频数据进行数据分片得到4毫秒时域数据分片；2.3音频打卡模块(2)计算4毫秒时域数据分片，每个采样点绝对值相加得到分片能力值，分片能力值大于设定阀值，则进入下一步流程；2.4音频打卡模块(2)进行FFT傅里叶变化把时域数据分片转为频域数据分片，频域数据分片为各个频率在时域分片中能量值；2.5音频标签标定模块(4)对频域数据按照能量值从大到小排序，按照能量值进行标准化，第一个频率的标准值100，其他频率为标准值为100*能量值/第一个频率的能量值；2.6音频打卡模块(2)得到按照能量值从大到小且标准化的频域数据分片；2.7音频打卡模块(2)做标定操作，把按照能量值从大到小且标准化的频域数据分片发送给音频标签标定模块(4)；2.8音频打卡模块(2)做巡检打卡操作，把按照能量值从大到小且标准化的频域数据分片发送给多传感混合巡检点识别模块(6)。5.根据权利要求2所述的一种基于5G的多传感器巡检方法，其特征在于，所述步骤S3包含如下步骤：3.1北斗/GPS定位打卡模块(7)接收北斗/GPS卫星在空中连续发送带有时间和位置信息的无线电信号，卫星和北斗/GPS定位打卡模块(7)同时产生同样的伪随机码，当两个码实现时间同步，测得时延，将时延乘上光速，得到伪距离；3.2北斗/GPS定位...

【专利技术属性】
技术研发人员：陈尚武，倪仰，杨欣，
申请(专利权)人：杭州叙简科技股份有限公司，
类型：发明
国别省市：