一种仿人眼感知的目标主动抓拍方法和装置制造方法及图纸

本发明专利技术提供了一种仿人眼感知的目标主动抓拍方法和装置，属于视频监控技术领域。本发明专利技术装置包括一台视角固定的全景摄像机、一台PTZ摄像机、运动目标检测模块、目标感知抓拍模块和主从摄像机协同控制模块。本发明专利技术方法包括：对全景监控视频进行运动目标检测，获得时域运动变化区域；通过卷积神经网络进行目标分类识别，并结合时域运动变化区域增强特征；利用PTZ摄像机对目标进行感知抓拍，并优化多目标感知顺序，调整各个目标抓拍的视野参数。本发明专利技术通过软硬件结合，仿生模拟人眼的注意机制和人眼中央凹功能，兼顾大小视野，抓拍运动目标的有效信息，降低检测的误检率和漏检率，实现室外复杂场景中运动目标的准确检测。

【技术实现步骤摘要】
一种仿人眼感知的目标主动抓拍方法和装置
本专利技术属于视频监控
，涉及一种基于摄像机协同的仿照人眼注意机制和主动感知特征的目标抓拍方法和装置。
技术介绍
视频监控已成为保障公共安全的重要基础设施，如何有效抓拍目标是一个难题。监控摄像机数量庞大，寻找的目标极有可能出现在某些摄像机的画面中，监控视频对于案件侦查极为重要。为了能够从视频画面中发现寻找的目标，需要对比搜寻目标的某些部位的特征，如人脸、体型、衣物等来锁定目标。但现有的视频监控摄像机因为安装位置固定，虽然获得大量图像，但有效信息的比例相对较低。大量低质量视频数据已经严重影响了案件侦查工作，因此迫切地需要一种能够对监控视频中目标进行有效抓拍的技术。公开号为CN1960479的中国专利申请在2007年5月9日公开了一种利用单个摄像机进行主从视频跟踪的方法，主要实现步骤包括：采用单个高分辨固定摄像机，获取大范围主监控场景的图像序列；对获取的图像序列进行分析；保持对主监控场景中运动对象(也称目标)的跟踪；将指定的运动对象在从场景窗口中做放大显示。该方法采用背景建模检测运动目标，对指定的运动对象在从场景窗口中放大显示。在计算机进行目标属性仔细分析时，一般要求人脸尺寸大于120*120、行人大于320*320像素。目前常见的高清监控摄像机像素为1280*720，最高级别4K摄像机像素也只能达到3840*2160。如果采用提高普通高清摄像机(1280*720)的分辨率，使监控场景中远处的小目标(如16*16)提高到320*320，则摄像机分辨率要提升到25600*14400，目前市场上没有这样的摄像机。即使要做这样的专用摄像机，其价格也会很贵、体积很大，显然无法用于视频监控。因此该方法无法实际应用于提高监控视频质量，也不能帮助在视频监控中寻找目标，以助于案件侦查。XuhuiZhou等人在2003年提出了基于两个摄像机的主从跟踪方法(XuhuiZhou,RobertT,Collins,etc.AMaster-SlaveSystemtoAcquireBiometricImageryofHumansatDistance.RoboticsInstitute.CarnegieMellonUniversityPittsburgh,PA15213.)，该方法使用一个摄像机发现目标，用另一个摄像机进一步跟随目标，从而能够获取相对更清晰的目标图像。但该方法仍然存在以下三个问题：检测运动目标时仅使用了背景去除方法，若目标较小，则难以区分目标运动和场景中其它物体的轻微扰动，因此该方法只适用于目标离摄像机较近的场景；无论视野中存在单个或多个目标，该方法都只能跟随一个目标，直到该目标走出视野为止，显然这样会大量遗漏视野中的其它目标的信息；该方法的小视野仅跟随目标，而没有进一步的判别，若大视野提供了一个虚警目标，则小视野会一直跟随该虚警目标。以上问题使得该方法无法实际应用于提高监控视频质量和帮助案件侦查。JamesW.Davis等人在2007年公开了一种自适应的、具有注意力机制的视频监控方案(JamesW.Davis,AlexanderM.Morison.DavidD.Woods.AnAdaptiveFocus-of-attentionModelforVideoSurveillanceandMonitoring.MachineVisionandApplications.2007.18:41-64.)，该方案认为当前的视频监控系统一般不能够对观测的整个完整视域进行自动扫描，所以提出在可旋转、缩放视野的监控摄像机中引入注意力机制。由于当前监控系统视频数据量大，但传统的随机扫描的方法针对性不强，有效信息少，因此该文献提出一种具有注意力机制的视频监控方案，提高摄像机对区域的监控频率，但是该方案无法同时兼顾大场景的整体监视和感兴趣目标的仔细观测。邵宇辉在2019年公开了一种针对微小运动目标的检测方法(邵宇辉.基于背景建模的微小运动目标检测算法研究[J].西安理工大学，2019.)，该方法利用背景建模进行运动目标检测，但不能有效地去除背景中周期性运动的树叶晃动、水波等干扰。光线强度变化使得图像像素值发生改变，使得变化的背景误检为前景区域，产生误检，干扰运动目标检测的准确性。该方法存在检测出现虚假目标，导致目标检测的虚警率高的问题。
技术实现思路
为了解决上述现有技术不能有效进行目标监控，对目标观测质量不高、虚警率高、观测设备成本高等问题，本专利技术针对视频监控应用场景，提出一种仿人眼感知的目标主动抓拍方法和装置，通过仿照人眼的注意机制和人眼中央凹结构功能特点，从大量的视觉信号中选取相对较少的感兴趣区域，从而进行目标观测。本专利技术提供的一种仿人眼感知的目标主动抓拍装置，包括：一台视角固定的全景摄像机、一台PTZ(Pan/Tilt/Zoom)摄像机、运动目标检测模块、目标感知抓拍模块和主从摄像机协同控制模块。其中，全景监控摄像机为主摄像机，用于获取全景监控视频并提供给运动目标检测模块；PTZ摄像机为从摄像机，用于进一步观测目标，对运动目标进行抓拍，获取目标的高质量图像。所述运动目标检测模块，对视频进行运动目标检测，包括：利用背景建模获取时域的运动变化区域；利用卷积神经网络CascadeR-CNN对视频图像提取特征，并结合运动变化区域增强特征，利用增强特征进行目标分类识别；运动目标检测模块输出检测到的运动目标位置坐标给主从摄像机协同控制模块。所述主从摄像机协同控制模块，用于建立和存储主从摄像机间的位置转换模型，优化从摄像机对运动目标的感知顺序，并输出给目标感知抓拍模块。所述目标感知抓拍模块，通过位置转换模型，获得运动目标在从摄像机中的位置，调整PTZ摄像机的视场角和转动角度，使得抓拍目标位于拍摄画面的中央，并且大小满足预设范围要求。本专利技术提供的一种仿人眼感知的目标主动抓拍方法，利用固定式摄像机和PTZ摄像机组成主从结构，固定式摄像机以较低的质量观测较大的视野，PTZ摄像机以较高的质量细致观测一些较小的区域，形成层次性视觉，实现人眼中央凹结构的主动感知功能。本专利技术方法包括如下步骤：步骤1、将一台视角固定的全景摄像机和一台PTZ摄像机组成主从结构，标定主摄像机与从摄像机间的位置映射关系；步骤2、全景摄像机实时监控场景，对获取的视频基于时空注意机制检测运动目标，包括：首先，基于背景建模获取视频中的时域运动变化区域，由运动变化区域得到运动目标在图像中的空间位置；其次，利用卷积神经网络对视频图像提取特征，并结合运动变化区域增强特征，利用增强特征进行目标分类识别；然后，利用运动目标的历史轨迹，以及PTZ摄像机对疑似区域的详查，排除误检的目标；步骤3、当场景中有多个目标时，从摄像机的姿态需要随着感知目标的改变而做出调整，根据目标的相对位置关系和目标离开视野的距离计算最优感知顺序，PTZ摄像机根据最优感知顺序进行抓拍；步骤4、根据目标在全景图像中的位置，由步骤1中标定的位置映射关系，计算目标在PTZ摄像机中的位置和大小，调整PTZ摄像机的感知参数，包括视场角和转动角度，使得本文档来自技高网...

【技术保护点】
1.一种仿人眼感知的目标主动抓拍方法和装置，其特征在于，包括：一台视角固定的全景摄像机、一台PTZ摄像机、运动目标检测模块、目标感知抓拍模块和主从摄像机协同控制模块；PTZ摄像机是指具有旋转、俯仰和变焦功能的摄像机；/n所述全景摄像机为主摄像机，用于获取全景监控视频并输出给运动目标检测模块；/n所述PTZ摄像机为从摄像机，用于对运动目标进行抓拍；/n所述运动目标检测模块，对视频进行运动目标检测，包括：利用背景建模获取视频中的时域运动变化区域；利用卷积神经网络Cascade R-CNN对视频图像提取特征，并结合运动变化区域增强特征，利用增强特征进行目标分类识别；运动目标检测模块输出检测到的运动目标位置坐标给主从摄像机协同控制模块；/n所述主从摄像机协同控制模块，用于建立主从摄像机间的位置转换模型，优化从摄像机对运动目标的感知顺序，并输出给目标感知抓拍模块；/n所述目标感知抓拍模块，通过主从摄像机协同控制模块中的位置转换模型，获得运动目标在从摄像机中的位置，调整PTZ摄像机的视场角和转动角度，使得抓拍的运动目标位于拍摄画面的中央，并且满足预设范围要求。/n

【技术特征摘要】
20191210 CN 20191125540631.一种仿人眼感知的目标主动抓拍方法和装置，其特征在于，包括：一台视角固定的全景摄像机、一台PTZ摄像机、运动目标检测模块、目标感知抓拍模块和主从摄像机协同控制模块；PTZ摄像机是指具有旋转、俯仰和变焦功能的摄像机；
所述全景摄像机为主摄像机，用于获取全景监控视频并输出给运动目标检测模块；
所述PTZ摄像机为从摄像机，用于对运动目标进行抓拍；
所述运动目标检测模块，对视频进行运动目标检测，包括：利用背景建模获取视频中的时域运动变化区域；利用卷积神经网络CascadeR-CNN对视频图像提取特征，并结合运动变化区域增强特征，利用增强特征进行目标分类识别；运动目标检测模块输出检测到的运动目标位置坐标给主从摄像机协同控制模块；
所述主从摄像机协同控制模块，用于建立主从摄像机间的位置转换模型，优化从摄像机对运动目标的感知顺序，并输出给目标感知抓拍模块；
所述目标感知抓拍模块，通过主从摄像机协同控制模块中的位置转换模型，获得运动目标在从摄像机中的位置，调整PTZ摄像机的视场角和转动角度，使得抓拍的运动目标位于拍摄画面的中央，并且满足预设范围要求。


2.一种仿人眼感知的目标主动抓拍方法和装置，其特征在于，包括如下步骤：
步骤1，将一台视角固定的全景摄像机和一台PTZ摄像机组成主从结构，利用两摄像机对准同一场景在同一时刻采集的图像对两摄像机的位置映射关系进行标定；
步骤2，通过全景摄像机对场景进行监控，对全景摄像机采集的视频执行如下(2.1)～(2.3)，通过(2.1)和(2.2)检测获得场景中的运动目标及其位置：
(2.1)利用背景建模获取视频图像序列中的时域运动变化区域；
(2.2)利用卷积神经网络CascadeR-CNN对视频图像提取特征，并结合时域运动变化区域增强特征；设利用背景建模获取第n帧图像的时域运动变化区域为m(n)，利用卷积神经网络提取第n帧图像的特征图为f(n)，则获取增强特征图利用增强特征图进行目标分类识别；
(2.3)启用PTZ摄像机对运动目标的潜在区域进行拍摄，排除误检目标；
步骤3，当场景中存在1个以上的运动...

【专利技术属性】
技术研发人员：李思成，牛家祺，段海滨，
申请(专利权)人：李思成，牛家祺，
类型：发明
国别省市：北京;11