基于PSPNet-RCNN的球机监控异常检测方法技术

本发明专利技术公开了一种基于PSPNet

【技术实现步骤摘要】
基于PSPNet
‑
RCNN的球机监控异常检测方法


[0001]本专利技术涉及图像异常检测领域，具体为一种基于PSPNet
‑
RCNN的球机监控异常检测方法。

技术介绍

[0002]球机摄像头(PTZ Dome)作为监控领域的重要设备，一直被广泛应用于各种需要动态监视的开阔场景中，其具有控制方式灵活、运转速度快、变焦定位精准等特点，已经在电力、水务、工业、教育等行业具备了良好的使用表现。随着监控行业的网络化、数字化、高清化程度的不断增强与发展，PTZ监控器相配套软件系统的产品研发的投入与推广市场的开拓也迈入了一个崭新的台阶。
[0003]通过监控设备检测被监控场景异常以达到预警效果是监控行为的重要目的，为实现此目的，在未引入计算机相关技术前，一直由人工进行监控的判断与记录，但这种方式受限于人工的工作时间与精力，有可能因为监控人员长时间的注意力高度集中而无法持续进行大面积监控和精神疲累导致的误检与漏检的问题。在引入计算机自动检测技术后，传统监控图像处理的检测方法利用并分析连续采集的监控视频流中图像帧在一定时间内的像素概率密度与模式数量等统计信息表示背景，再对检测目标图像使用统计差分或者特征概率等进行前景目标与背景图像的区分，以此实现监控图像异常检测的目的，这种研究方向通过统计概率或者时间序列等对图像进行背景模型的建立，实现对前背景像素的二分类的判断，具有实时性高、目标检出率高、目标检测距离远等优势，但同时对图像采集的场景要求较高，需要在摄像头固定并且具有连续采集能力的条件下才可以具有相对良好的表现，此外对于环境因素或者成像条件的变化，例如光照，震动，曝光等也对此方法精度有较大的影响。
[0004]球机摄像头具有监控范围广，镜头随巡检需求不定点拍摄，动态曝光，检测间隔时间长等特点，但是无法直接使用传统算法进行图像变化与差异的实时分析。

技术实现思路

[0005]本专利技术的目的在于提供一种基于PSPNet
‑
RCNN的球机监控异常检测方法，从而提升球机监控异常检测方法的通用性与准确性，加强检测结果的实时性与鲁棒性。
[0006]实现本专利技术目的的技术解决方案为：一种基于PSPNet
‑
RCNN的球机监控异常检测方法，包括步骤如下：
[0007]步骤1：通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像；
[0008]步骤2：对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像；
[0009]步骤3：对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，得到增强后的配准HDR图像；
[0010]步骤4：将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络；
[0011]步骤5：将改进多尺度PSPNet网络与提取HDR图像中目标信息的Mask R
‑
CNN网络相融合，得到PSPNet
‑
RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域。
[0012]本专利技术与现有技术相比，其显著优点为：(1)能够更加准确的检测出异常区域，算法通过封闭目标分割与不同时段曝光较为准确的计算出HDR图像，再使用基于边缘特征的图像配准算法，提高了图像特征点匹配的精度，最后采用多尺度网络融合，结合改进多尺度PSPNet网络与目标检测Mask R
‑
CNN网络，提高了异常检测质量，具有很高的准确度；(2)具有更高的稳定性，通过算法间的迭代预处理，将图像采集到最终结果输出的流程进行全面覆盖测试，考虑到成像与图像处理的不同因素影响，在动态PTZ移动采集与恶劣天气环境下依旧具备较为良好的鲁棒性和异常处理能力；(3)算法设计流程充分考虑到对象回收与图像内存调优等场景，优化神经网络算法时间复杂度与空间复杂度适应监控器硬件应用环境，能够在实际场景使用中到达实时分析效果。
附图说明
[0013]图1是基于HDR图像改进的多尺度PSPNet网络图。
[0014]图2是基于PSPNet
‑
RCNN的球机监控异常检测网络图。
[0015]图3是本专利技术检测结果与现有技术检测结果的比较图。
具体实施方式
[0016]PSPNet(Pyramid Scene Parsing Network)金字塔场景解析网络能够通过空洞卷积与全局均值池化操作增大分隔层感受野，使网络训练过程中引入更多的上下文信息，在图像分割结果更能兼顾全局信息，有效降低了误分割概率，PSPNet通过金字塔池化的方式充分抓取全文上下文先验知识，缓解了对象关系错误匹配，目标种类混淆，大目标分割不连续等问题，在基于场景解析领域中具有良好的表现效果。Mask R
‑
CNN具有速度快、准确率高、简单易用等特点，是在经典的检测算法Fast R
‑
CNN通过RPN网络融合改进而来，在图像目标检测中具有较强的适用性与泛化能力。本专利技术针对球机摄像头的实际应用场景与现有技术上的不足和缺陷，提出了一种基于PSPNet
‑
RCNN的球机监控异常检测方法。
[0017]结合图1～图2，基于PSPNet
‑
RCNN的球机监控异常检测方法具体过程为：
[0018]一种基于PSPNet
‑
RCNN的球机监控异常检测方法。包括步骤如下：
[0019]步骤1：通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像；
[0020]步骤2：对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像；
[0021]步骤3：对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，得到增强后的配准HDR图像；
[0022]步骤4：将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加
编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络；
[0023]步骤5：将改进多尺度PSPNet网络与提取HDR图像中目标信息的Mask R
‑
CNN网络相融合，得到PSPNet
‑
RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域。
[0024]进一步地，步骤1所述通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像，具体步骤如下：
[0025]1.1)定义场景辐照强度与图像像素的函数关系为f，E表示像素值Z的场景辐照强度，其中Z
ij
表示第j张图像的第i个像素点的像素值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PSPNet
‑
RCNN的球机监控异常检测方法，其特征在于，包括步骤如下：步骤1：通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像；步骤2：对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像；步骤3：对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，得到增强后的配准HDR图像；步骤4：将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络；步骤5：将改进多尺度PSPNet网络与提取HDR图像中目标信息的Mask R
‑
CNN网络相融合，得到PSPNet
‑
RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域。2.根据权利要求1所述的基于PSPNet
‑
RCNN的球机监控异常检测方法，其特征在于，步骤1所述通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像，具体步骤如下：1.1)定义场景辐照强度与图像像素的函数关系为f，E表示像素值Z的场景辐照强度，其中Z
ij
表示第j张图像的第i个像素点的像素值，Δt
j
表示第j张图像的曝光时间，则有关系表达式：Z
ij
＝f(E
i
Δt
j
)对上述关系表达式f取反，有：f
‑1(Z
ij
)＝E
i
Δt
j
1.2)定义函数g为像素Z的特征向量，根据特征向量与场景辐照强度的关系有：g(Z
ij
)＝ln f
‑1(Z
ij
)＝ln E
i
+ln Δt
j
RGB图像的像素取值范围为0
‑
255，所以非线性彩色图像共有256种像素值，即特征向量g是256维且平滑的，其中E
i
为像素点i的辐照强度，固定场景中多次采集图像的场景光照幅值不变，得出辐照强度的累计误差平方w为：其中N是选取的像素点的个数，P代表图像数量，i代表第i个像素点，初始值为0，j代表第j张图像，初始值为1；1.3)根据误差表达式，实际特征向量g的求解转化为最小二乘问题，通过加权将多张RGB图像融合成HDR图像，若RGB图像的数量为k，每张RGB图像以P表示，则融合的HDR图像I加权公式为：其中w为辐照强度的累计误差平方，i从0开始累加，P
i
表示第i张图像，t
i
表示第i张图像
的曝光时间，根据加权公式融合生成HDR图像。3.根据权利要求1所述的基于PSPNet
‑
RCNN的球机监控异常检测方法，其特征在于，步骤2所述对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像，具体步骤如下：2.1)计算每个HDR区域图像的中心点像素与邻域像素LBP算子值，以各区域进行3
×
3大小的窗口m滑动，其中心点像素坐标为m
c
，邻域的8个点像素坐标分别分别为m0,m1,...,m7，则纹理特征T的表达式为：T≈(m0‑
m
c
,m1‑
m
c
,...,m7‑
m
c
)以像素矩阵的中心点的像素值作为阈值，以实现对中心周围邻域的像素阈值标准化操作，当邻域灰度值大于中心像素值则设置为1，反之设置为0，其中m为中心点m
c
的像素值，则像素阈值x的实际数值s(x)的表达式为：2.2)对每个像素分配对应的权值，将编码的二进制值转换为十进制用于替代中心点阈值，p表示对应位置的像素值，邻域像素共8个位置，p
i
,p
c
分别表示第i个位置与中心位置的像素值，转换为十进制的LBP纹理特征表达式为：2.3)对纹理图像f
LBP
(x...

【专利技术属性】
技术研发人员：乔金明，朱耀琴，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：