基于多摄像机协同的运动目标主动感知方法和装置制造方法及图纸

本发明专利技术提供了一种基于多摄像机协同的运动目标主动感知装置和方法。该方法包括：依据主摄像机画面与从摄像机画面进行标定，建立位置映射关系；实时监测主摄像机画面内运动目标，得到候选目标集合；依据目标重要性选取候选目标，依据位置映射关系选取从摄像机进行跟踪拍摄；计算镜头方位角和变焦倍数，调整从摄像机对准候选目标区域，获取该候选目标的高质量图像；根据高质量图像分析候选目标类别，把属于预定设置类型的目标确认为关注目标，放入关注目标集合。本发明专利技术利用主从摄像机间位置对应关系，调动从摄像机获取主摄像机画面内候选目标的高质量图像，提取目标图像特征，确认目标类别，实现目标的主动确认。

Moving target active sensing method and device based on multi camera cooperation

The invention provides a moving target active sensing device and method based on multi camera cooperation. The method includes: the position mapping relationship is established according to the main camera picture and the camera picture, the moving target in the main camera is monitored in real time, the candidate target set is obtained, the candidate target is selected according to the importance of the target, and the tracking and shooting of the camera are selected according to the position mapping relation, and the lens is calculated. The azimuth and zoom multiple are adjusted from the camera to the candidate target area to obtain the high quality image of the candidate target. According to the high quality image analysis candidate target category, the target which belongs to the set type is recognized as the focus target and the target set is put into the target. This invention utilizes the position correspondence between the master and slave camera, mobilizes the high quality image from the camera to obtain the candidate target in the main camera, extracts the feature of the target image, confirms the target category, and realizes the active confirmation of the target.

【技术实现步骤摘要】
基于多摄像机协同的运动目标主动感知方法和装置
本专利技术涉及一种多摄像机监控系统中的成像方法和装置，尤其涉及一种基于多摄像机协同的目标主动感知方法和装置，属于视频监控领域。
技术介绍
当今，各式视频监控设备在生产、生活环境中广泛应用。视频监控一个重要任务是发现并记录场景中的目标，更进一步的，发现并记录关于目标身份的关键信息，为后续识别目标的身份信息提供帮助。摄像机拍摄到的诸如人脸、车牌、车辆年检标识等，均可以用于确定目标身份，是包含目标唯一性描述信息的部分。摄像机拍摄到更多包含唯一性描述信息，能够为目标身份的识别带来帮助。现有视频监控设备通过采集监控场景的视频图像，分析视频图像，达到识别和发现场景中目标的效果。但是，由于视频监控应用场景不一，目标的位置和姿态多种多样，部分目标远离或侧对摄像机的目标图像成像质量差，造成基于图像特征的识别方法对部分目标结果差。而现有监控设备使用被动成像策略。设备在固定位置拍摄监控场景，无法主动调整摄像机位置和成像参数改善成像效果。被动成像设备无法主动获取高质量的目标图像，无法获取目标唯一性描述信息，因而无法对目标进行有效识别，在应用中存在着误报、漏报的问题。需要设计一种具有主动成像功能的主动感知设备，解决目标主动确认的问题。一类卡口相机系统通过在限制目标通过姿态的区域假设监控设备，避免了目标姿态对成像带来的影响，在受限的场景内，解决了目标唯一性描述信息获取的问题。此类系统通过在出入口等区域架设摄像机，辅以闪光灯、红外灯等设备，能够获取质量较高的图像。此类系统拍摄的目标图像分辨率高、质量好，易于提取目标关键信息，目标识别准确率高。但是受限于场景要求，此类系统仅能部署在收费卡口、大楼出入口等少数位置，应用场景有限。本专利技术通过摄像机协同，对于主摄像机中发现的待确认目标，调动从摄像机进行跟踪抓拍，并根据抓拍到的高质量目标图像，确认目标类别，在满足了目标主动确认的需求的同时，解决了卡口相机应用场景有限的问题。本专利技术设计了一种基于多摄像机协同的运动目标主动感知方法，该方法中从主摄像机画面中检测画面中运动区域，得到候选目标集合，利用摄像机联动关系，调动从摄像机获取每一个候选目标的高质量图像；使用分类器分析目标高质量图像，提取目标图像特征，分析目标类别，根据分类结果将预定设置类型的目标确认关注目标。
技术实现思路
本专利技术解决的问题在于，对主摄像机检测出的候选目标，调动周边从摄像机获取候选目标的高质量图像，提取目标图像特征，分析目标类别，确认候选目标是否为关注目标(interestedobject)。本专利技术使用的摄像机分为两类，相对监控场景固定的全景摄像机和具有旋转(Pan)、俯仰(Tilt)、变焦(Zoom)功能的PTZ摄像机。本专利技术公开了一种运动目标主动感知装置，包括一台不动全景摄像机和多台PTZ摄像机和所述的运动目标主动感知装置。其中全景监控摄像机为主摄像机，用于获取全景监控视频，PTZ摄像机为从摄像机，用于跟踪和拍摄目标，获取目标高质量图像。运动目标主动感知装置用于在主摄像机画面中提取待确认目标，调动从摄像机拍摄高质量目标图像，分析目标类别，将属于预定设置类型待确认目标的确认为目标。本专利技术公开了一种基于多摄像机协同的运动目标自主感知成像方法，其特征在于包括如下步骤：(1)依据主摄像机画面与从摄像机画面，通过特征提取和特征匹配的方式进行主摄像机与从摄像机间自动标定，建立位置映射关系,(2)依据检测阈值设定，对主摄像机视场中的多个运动区域进行实时检测，得到候选目标的集合，(3)依据重要性评价函数选取候选目标集合中重要性最高的候选目标，依据位置映射关系将选取从摄像机跟踪拍摄。(4)依据候选目标位置和主摄像机与从摄像机间位置映射关系，从摄像机计算镜头方位角和变焦倍数，调整从摄像机对准候选目标区域，获取该候选目标的高质量图像，(5)提取目标的高质量图像的特征，分析确认目标类别，根据目标分类结果，把属于预定设置类型的目标确认为关注目标，放入关注目标集合，把不属于预定设置类型的目标确认为非关注目标，不放入关注目标集合，(6)确认是否完成所有候选目标的确认，是则退出，否则返回步骤3。如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于所述步骤1具有如下流程：1.1选取任意未标定的从摄像机。1.2手动调整从摄像机焦距为最小值，调整从摄像机镜头方向，直至从摄像机与主摄像机具有最大化重叠视野。1.3分别提取主摄像机画面和从摄像机画面加速鲁棒特征(Speeded-UpRobustFeatures)。1.4使用K最近邻(k-NearestNeighbor)算法和暴力搜索算法匹配加速鲁棒(SURF)特征点，得到匹配结果GoodMatches。1.5主摄像机由匹配结果GoodMatches，使用最小二乘法计算主摄像画面与从摄像机画面间的仿射矩阵，建立位置映射关系，完成主从摄像机标定。1.6判断所有从摄像机是否配准完毕，是则返回步骤1.1，否则退出。如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤1中，特征匹配步骤中使用K最近邻算法和暴力搜索算法，匹配主摄像机画面和从摄像机画面中的加速鲁棒特征点。对于从摄像机画面每个加速鲁棒特征点，在主摄像机加速鲁棒特征点集合中使用K最近邻(KNN)算法搜索欧式距离最近的3个特征点，结果记入集合Matches；计算Matches中所有加速鲁棒特征点对的欧氏距离，记其中最小的距离为d，取Matches中所有距离小于的min(2d,minDist)点对构成集合GoodMatches，该集合即为匹配特征点对集合。其中minDist为预先设定的阈值，可根据实际情况调整，但应保证GoodMatches中点对个数不少于15个。如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤1中，主摄像机和从摄像机间位置映射关系包括两部分：主摄像机画面坐标和从摄像机对应关系；主摄像机和从摄像机画面坐标转换关系，主摄像机画面坐标和从摄像机由包围主摄像机画面中匹配特征点的凸包表示，根据GoodMatches中的匹配特征点对，计算出主摄像机画面中能够包围所有特征点的凸包，在步骤中C中，落在该凸包中的候选目标分配给该从摄像机。主摄像机和从摄像机画面坐标转换关系由仿射变换表示，根据集合GoodMatches中点对的图像坐标位置对应关系，由最小二乘法计算得出的主摄像机画面到从摄像机画面的仿射变换。如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤2中，使用帧差法检测主摄像机画面中的候选目标，使用连续自适应均值偏移算法跟踪主摄像机画面中的候选目标，且候选目标的实时检测的结果具有以下形式：[ObjectID,Time,PosX_Left,PosY_Left,PosX_Right,PosY_Right]；其中：ObjectID表示的是候选目标的编号，Time表示候选目标的出现时间,PosX_Left、PosY_Left、PosX_Right、PosY_Right分别表示包围盒左上角和右下角的坐标的时间序列。如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于所述步骤3中，使用以下公式描述目标的重要性：E＝Eleave+α×Ewait其中，El本文档来自技高网...

【技术保护点】
一种基于多摄像机协同的运动目标主动感知方法，其特征在于包括：A)依据主摄像机画面与从摄像机画面，通过特征提取和特征匹配的方式进行主摄像机与从摄像机间自动标定，建立位置映射关系,B)依据检测阈值设定，对主摄像机视场中的多个运动区域进行实时检测，得到候选目标的集合，C)依据重要性评价函数，选取候选目标的集合中重要性最高的候选目标，依据位置映射关系选取相应的从摄像机跟踪拍摄，D)依据候选目标位置和主摄像机与从摄像机间位置映射关系，从摄像机计算镜头方位角和变焦倍数，调整从摄像机对准候选目标区域，获取该候选目标的高质量图像，E)提取目标的高质量图像的特征，分析确认目标类别，根据目标分类结果，把属于预定设置类型的目标确认为关注目标，放入关注目标集合，把不属于预定设置类型的目标确认为非关注目标，不放入关注目标集合。

【技术特征摘要】
1.一种基于多摄像机协同的运动目标主动感知方法，其特征在于包括：A)依据主摄像机画面与从摄像机画面，通过特征提取和特征匹配的方式进行主摄像机与从摄像机间自动标定，建立位置映射关系,B)依据检测阈值设定，对主摄像机视场中的多个运动区域进行实时检测，得到候选目标的集合，C)依据重要性评价函数，选取候选目标的集合中重要性最高的候选目标，依据位置映射关系选取相应的从摄像机跟踪拍摄，D)依据候选目标位置和主摄像机与从摄像机间位置映射关系，从摄像机计算镜头方位角和变焦倍数，调整从摄像机对准候选目标区域，获取该候选目标的高质量图像，E)提取目标的高质量图像的特征，分析确认目标类别，根据目标分类结果，把属于预定设置类型的目标确认为关注目标，放入关注目标集合，把不属于预定设置类型的目标确认为非关注目标，不放入关注目标集合。2.根据权利要求1所述的基于多摄像机协同的运动目标主动感知方法，其特征在于所述步骤A)包括：A1)选取任意未标定的从摄像机，A2)把从摄像机焦距调整为最小值，调整从摄像机镜头方向，直至从摄像机与主摄像机具有最大化重叠视野，A3)分别提取主摄像机和从摄像机画面的加速鲁棒特征，A4)使用K最近邻(k-NearestNeighbor)算法和暴力搜索算法匹配加速鲁棒特征点，得到匹配结果GoodMatches。A5)由匹配结果GoodMatches，使用最小二乘法计算主从摄像机画面的仿射矩阵，完成主从摄像机标定。A6)判断所有从摄像机是否配准完毕，是则返回步骤A1)，否则退出。且所述基于多摄像机协同的运动目标主动感知方法进一步包括：F)确认是否完成所有候选目标的确认，是则退出，否则返回步骤C)。3.根据权利要求1所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤A)中的特征匹配操作使用K最近邻算法和暴力搜索算法，匹配主摄像机和从摄像机画面中的加速鲁棒特征点，对于从摄像机画面每个加速鲁棒特征点，在主摄像机加速鲁棒特征点集中使用K最近邻算法搜索欧式距离最近的3个特征点，把结果记入集合Matches，计算集合Matches中所有加速鲁棒特征点对的欧氏距离，记其中最小的距离为d，取集合Matches中所有距离小于min(2d,minDist)的点对构成集合GoodMatches，该集合GoodMatches即为匹配特征点对集合，其中minDist为预先设定的阈值，可根据实际情况调整，但应保证集合GoodMatches中点对的个数不少于15个。4.根据权利要求1所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤A中，主摄像机和从摄像机间位置映射关系包括两部分：主摄像机画面坐标和从摄像机对应关系；主摄像机和从摄像机画面坐标转换关系，主摄像机画面坐标和从摄像机由包围主摄像机画面中匹配特征点的凸包表示，根据集合GoodMatches中的匹配特征点对，计算出主摄像机画面中能够包围所有特征点的凸包，在步骤中C中，落在该凸包中的候选目标分配给该从摄像机。主摄像机和从摄像机画面坐标转换关系由仿射变换表示，根据集合GoodMatches中点对的图像坐标位置对应关系，由最小二乘法计算得出的主摄像机画面到从摄像机画面的仿射变换。5.根据权利要求1所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤B)中，使用帧差法检测主摄像机画面中的候选目标，使用连续自适应均值偏移算法跟踪主摄像机画面中的候选目标，且候选目标的实时检测的结果具有以下形式：[ObjectID,Time,PosX_Left,PosY_Left,PosX_Right,PosY_Right]；其中：ObjectID表示的是候选目标的编号，Time表示候选目标的出现时间,PosX_Left、PosY_Left、PosX_Right、PosY_Right分别表示包围盒左上角和右下角的坐标的时间序列。6.如权利要求1所述的基于多摄像机协同的运动目标主动感知方法，其特征在于所述步骤C)中，使用以下公式表征目标的重要性：E＝Eleave+α×Ewait其中，Eleave为描述目标离开画面时间的评价函数，目标离开画面的时间越短，该函数数值越大，Ewait为描述目标在目标队列中等待时长的评价函数，未被抓取的时间越久，该函数数值越大，α为可调节参数，α越大越关注目标进入次序，目标离开画面的时间由下述函数表征：其中，w,h为主摄像机图像宽高，(x,y)为目标当前位置,[x0,y0]为目标进入画面时的位置，为目标运动速度估计值，由上式表征的时间表示了目标在主摄像机画面中沿当前运动方向以匀速直线运动走到画面的边界的时间。7.如权利要求1所述的基于多摄像机协同...

【专利技术属性】
技术研发人员：胡海苗，田荣朋，胡子昊，李波，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11