一种入侵警戒光电监测系统及方法技术方案

本发明专利技术公开了一种入侵警戒光电监测系统，包括五个可见光数字相机，一个连续可变焦大变倍长焦相机，一个电动云台，一个警戒平台底座，一个中央控制处理单元，一个显示终端，五个可见光数字相机进行全景图像采集，并送回中央控制处理单元进行处理，当监测到入侵可疑目标后，对其进行识别与分类，并依据设定的警戒级别将目标方位通过中央控制处理单元传送至电动云台，使得长焦相机对准入侵可疑目标，进行持续跟踪，同时将识别结果传至显示终端显示。还公开了其入侵可疑目标识别及跟踪方法。本发明专利技术方法可以进行水平全景成像并进行目标识别与跟踪，识别准确率高，利用运动区域确定目标监测区域的方法更加快速，易于实现并保证实时性要求。

【技术实现步骤摘要】
一种入侵警戒光电监测系统及方法
本专利技术属于可见光图像目标识别领域，涉及地面周视目标监测跟踪与区域警戒，尤其涉及一种入侵警戒光电监测系统，以及入侵可疑目标识别及跟踪方法。
技术介绍
重点区域的安全是社会及企业赖以生存和发展的基础，随着科技进步，犯罪手段更为隐蔽。对周围环境的不间断监视并对入侵可疑目标的准确快速判断，有助于预防盗窃，减少巡逻值班人员工作强度，提高效率。一般来说，具有安全威胁的车辆与人员在场景中总是运动的，并有接近警戒区域的运动趋势。安防警戒技术主要有三种：一种对固定区域内长时间监视，如有入侵可疑目标则抓拍并报警；一种为固定地点不断扫描监视；还有一种为周围环境的全景实时监视。相比于前两种警戒系统，全景实时监视系统优势明显，利用光电成像设备，可以对需要监控的环境进行周视360°成像，既可以实时对周围的360°场景进行不间断观察，又可以对入侵可疑目标进行告警，是用于重点区域防护的一种有效的方式。
技术实现思路
本专利技术的目的之一是针对现有技术中，固定方位监视与巡扫监视难以做到全景区域实时监视、快速捕捉及入侵可疑目标识别错误率高的问题，提供一种能够准确快速对入侵可疑目标监测识别与跟踪的告警系统。本专利技术解决其技术问题所采用的技术方案是：一种入侵警戒光电监测系统，包括五个可见光数字相机，用于实现全景图像采集；一个连续可变焦大变倍长焦相机，用于感兴趣目标的跟踪与抓拍；一个电动云台，用于控制长焦相机水平转动和俯仰运动；一个警戒平台底座，用于承载电动云台、长焦相机和可见光数字相机；一个中央控制处理单元，用于图像采集、处理，目标识别、跟踪，以及电动云台的控制；一个显示终端，用于人机交互、图像显示与威胁告警；五个可见光数字相机进行全景图像采集，并送回中央控制处理单元进行处理，当监测到入侵可疑目标后，对其进行识别与分类，并依据设定的警戒级别将目标方位通过中央控制处理单元传送至电动云台，使得长焦相机对准入侵可疑目标，进行持续跟踪，同时将识别结果传至显示终端显示。本专利技术的目的之二是提供一种基于上述入侵警戒光电监测系统的入侵可疑目标识别及跟踪方法，包括如下步骤：S1、将五个可见光数字相机构成的全景相机设于警戒平台底座上，用于获取水平全周视360°范围内的场景图像；将一个长焦相机安装于电动云台上，再置于警戒平台底座上，用于对感兴趣目标进行观察与跟踪；S2、对监视全景区域进行入侵可疑目标监测，并根据当前拍摄的外界环境设定自适应阈值，当监测到运动目标时，比较相邻帧差分结果与自适应阈值，判定目标区域；S3、对S2步骤中目标区域内的入侵可疑目标进行可疑目标的识别及分类；S4、可以依据预先设定的警戒级别，人为或自动对入侵可疑目标进行跟踪；S5、基于入侵可疑目标的坐标，控制电动云台转动，使长焦相机持续对准入侵可疑目标，并在显示终端上显示图像与告警结果。所述的入侵可疑目标识别及跟踪方法，其步骤S2中确定运动目标的方法包括如下步骤：S21、通过全景相机不断对周围环境进行拍摄，建立背景模型，并将该背景模型作为其余帧做差值的标准；S22、设定阈值，将全景相机拍摄到的当前帧与背景模型进行差分运算，大于阈值的区域判定为运动区域；S23、由于受到光照、湿度、风力情况导致的晃动等因素影响，持续拍摄的背景变化缓慢，因此设定动态的自适应阈值，以适应多种天气变化导致的背景模板不同；S24、自适应阈值设置为：AdpBG(x,y,t)＝αL(x,y,t)+βH(x,y,t)+γW(x,y,t)上式中的AdpBG(x,y,t)表示自适应阈值，受像素点位置及时间的影响，L表示光照因素，α为权重因子，H表示湿度因素，β为权重因子，W表示风力因素，γ为权重因子，所述影响阈值的三个因素，可以通过当时环境情况获得初始值，其范围约束为：L+H+W＝255α+β+γ＝1；依据每天的早、中、晚三个时间段，及晴天、阴天、雨天等不同天气情况调整光照因素，依据天气湿度变化调整湿度因素和风力情况；S25、基于设定的自适应阈值，将当前帧图像中像素点与自适应阈值进行差分运算，查找当前帧中满足的区域，将与背景有显著差异的区域确认为目标区域：D(x,y,t)＝|f(x,y,t)-f(x,y,t-1)|上式中的D(x,y,t)表示差分结果，ROI(x,y,t)表示运动图像，该图像中的非零像素为运动目标所在区域。所述的入侵可疑目标识别及跟踪方法，其步骤S3中对入侵可疑目标进行识别的方法包括如下步骤：S31、对选取的ROI区域进一步通过形态学处理，进行区域填充，考虑到全景相机的分辨率一般不低于1920×1080，为了便于目标快速分类，目标区域不宜选择过小；S32、选取卷积神经网络作为网络模型，并在网络最后添加额外的卷积层，通过卷积层的运算使得特征尺度减小；S33、以ImageNet图像库中的图像数据为基础，加入其它所需监测的入侵可疑目标，构建自建数据库作为卷积神经网络训练的正样本，通过反向传播算法进行训练，得到入侵可疑目标识别网络模型。所述的入侵可疑目标识别及跟踪方法，其步骤S4中对入侵可疑目标跟踪的方法包括如下步骤：S41、对于某个希望可以持续跟踪拍摄的目标物，可以人为选择矩形区域，也可根据预先设定的入侵可疑目标威胁程度，选择优先跟踪的目标；S42、选定矩形区域后，选择相邻两帧作为全卷积非对称孪生网络的输入，其中第一帧x'为模板图片，下一帧图像z'为测试图片，对应目标物搜索图像，用于在矩形区域内利用滑动窗口进行搜索，从而确定目标物的真正位置；S43、将这两张图像分别用学习参数为ρ的卷积神经网络CNN处理，而两个CNN网络结构分别由卷积层、归一化层、非线性激活层、池化层、卷积层、归一化层、非线性激活层、池化层、卷积层、非线性激活、卷积层、非线性激活、卷积层、非线性激活构成；S44、在每帧中重新计算一个新模板，然后将其与前一个移动平均模板结合起来，为了实现实时跟踪，在全卷积非对称孪生网络中一个网络后加入相关滤波，并将网络两个分支做互相关：hρ,s,b(x',z')＝sω(fρ(x'))*fρ(z')+b上式中的ω＝ω(x)为互相关滤波模块，从一个训练特征映射x＝fρ(x')，通过在频域中求解岭回归问题，计算一个标准的相关滤波器模板ω；同时需要引入标量参数幅度s和偏置b，使分数范围适合回归，然后进行离线训练；S45、每两张图像的互相关结果都用一个标签ci的空间映射来表达，其值范围{-1,1}，真实对象位置属于正类，用1表示，所有其他属性属于负类，用-1表示；S46、定义损失函数，并在训练集上最小化损失函数l：在训练过程中，需要提供一个大区域的相关滤波器，为了减少圆形边界对结果的影响，x'特征映射被预乘以一个余弦窗口，最后对模板进行裁剪，回归的代价函数如下：上式中的ω是长度为n的向量，不包括截距项的系数θ0；θ是长度为n+1的向量，包括截距项的系数θ0；m为样本数；n为特征数；S47、训练好网络，做目标跟踪时，只需要基于前向模型进行计算，其特征映射中最大值就是目标位置。所述的入侵可疑目标识别及跟踪方法，其步骤S5中控制电动云台运动的方法包括如下步骤：S51、以某一可见光数字相机的图像中心作为方位轴的0°，以其为1号相机，则其顺时针方向第二个可见光数字相机的图像中心为方位轴的72°，则其它几个可见本文档来自技高网...

【技术保护点】
1.一种入侵警戒光电监测系统，其特征在于：包括五个可见光数字相机(3)，用于实现全景图像采集；一个长焦相机(1)，用于感兴趣目标的跟踪与抓拍；一个电动云台(2)，用于控制长焦相机(1)水平转动和俯仰运动；一个警戒平台底座(4)，用于承载电动云台(2)、长焦相机(1)和可见光数字相机(3)；一个中央控制处理单元，用于图像采集、处理，目标识别、跟踪，以及电动云台(2)的控制；一个显示终端，用于人机交互、图像显示与威胁告警；五个可见光数字相机(3)进行全景图像采集，并送回中央控制处理单元进行处理，当监测到入侵可疑目标后，对其进行识别与分类，并依据设定的警戒级别将目标方位通过中央控制处理单元传送至电动云台(2)，使得长焦相机(1)对准入侵可疑目标，进行持续跟踪，同时将识别结果传至显示终端显示。

【技术特征摘要】
1.一种入侵警戒光电监测系统，其特征在于：包括五个可见光数字相机(3)，用于实现全景图像采集；一个长焦相机(1)，用于感兴趣目标的跟踪与抓拍；一个电动云台(2)，用于控制长焦相机(1)水平转动和俯仰运动；一个警戒平台底座(4)，用于承载电动云台(2)、长焦相机(1)和可见光数字相机(3)；一个中央控制处理单元，用于图像采集、处理，目标识别、跟踪，以及电动云台(2)的控制；一个显示终端，用于人机交互、图像显示与威胁告警；五个可见光数字相机(3)进行全景图像采集，并送回中央控制处理单元进行处理，当监测到入侵可疑目标后，对其进行识别与分类，并依据设定的警戒级别将目标方位通过中央控制处理单元传送至电动云台(2)，使得长焦相机(1)对准入侵可疑目标，进行持续跟踪，同时将识别结果传至显示终端显示。2.一种如权利要求1所述入侵警戒光电监测系统的入侵可疑目标识别及跟踪方法，其特征在于，包括如下步骤：S1、将五个可见光数字相机(3)构成的全景相机设于警戒平台底座(4)上，用于获取水平全周视360°范围内的场景图像；将一个长焦相机(1)安装于电动云台(2)上，再置于警戒平台底座(4)上，用于对感兴趣目标进行观察与跟踪；S2、对监视全景区域进行入侵可疑目标监测，并根据当前拍摄的外界环境设定自适应阈值，当监测到运动目标时，比较相邻帧差分结果与自适应阈值，判定目标区域；S3、对S2步骤中目标区域内的入侵可疑目标进行识别及分类；S4、依据预先设定的警戒级别，对入侵可疑目标进行跟踪；S5、基于入侵可疑目标的坐标，控制电动云台(2)转动，使长焦相机(1)持续对准入侵可疑目标，并在显示终端上显示图像与告警结果。3.根据权利要求2所述的入侵可疑目标识别及跟踪方法，其特征在于，所述的步骤S2中确定运动目标的方法包括如下步骤：S21、通过全景相机不断对周围环境进行拍摄，建立背景模型，并将该背景模型作为其余帧做差值的标准；S22、设定阈值，将全景相机拍摄到的当前帧与背景模型进行差分运算，大于阈值的区域判定为运动区域；S23、设定动态的自适应阈值，以适应多种天气变化导致的背景模板不同；S24、自适应阈值设置为：AdpBG(x,y,t)＝αL(x,y,t)+βH(x,y,t)+γW(x,y,t)上式中的AdpBG(x,y,t)表示自适应阈值，受像素点位置及时间的影响，L表示光照因素，α为权重因子，H表示湿度因素，β为权重因子，W表示风力因素，γ为权重因子，所述影响阈值的三个因素，可以通过当时环境情况获得初始值，其范围约束为：L+H+W＝255α+β+γ＝1；依据每天的早、中、晚三个时间段，及晴天、阴天、雨天等不同天气情况调整光照因素，依据天气湿度变化调整湿度因素和风力情况；S25、基于设定的自适应阈值，将当前帧图像中像素点与自适应阈值进行差分运算，查找当前帧中满足的区域，将与背景有显著差异的区域确认为目标区域：D(x,y,t)＝|f(x,y,t)-f(x,y,t-1)|上式中的D(x,y,t)表示差分结果，ROI(x,y,t)表示运动图像，该图像中的非零像素为运动目标所在区域。4.根据权利要求3所述的入侵可疑目标识别及跟踪方法，其特征在于，所述的步骤S3中对入侵可疑目标进行识别的方法包括如下步骤：S31、对选取的ROI区域通过形态学处理，进行区域填充；S32、选取卷积神经网络作为网络模型，并在网络最后添加额外的卷积层，通过卷...

【专利技术属性】
技术研发人员：范强，雷波，张智杰，徐寅，邹尔博，
申请(专利权)人：华中光电技术研究所中国船舶重工集团有限公司第七一七研究所，
类型：发明
国别省市：湖北,42