一种虚实融合场景中多PTZ相机的联合控制系统及方法技术方案

本发明专利技术提出了一种虚实融合场景中多PTZ相机的联合控制系统及方法，分别是相机筛选、局部画面规划和相机姿态计算。本发明专利技术能够为虚实融合视频场景提供多PTZ相机的联合控制功能，提高多相机的利用率，扩大场景的画面捕捉范围，优化相机监控区域，从而提升用户观看体验。

A Joint Control System and Method for Multi-PTZ Cameras in Virtual-Real Fusion Scene

【技术实现步骤摘要】
一种虚实融合场景中多PTZ相机的联合控制系统及方法
本专利技术涉及增强虚拟环境
，更具体的讲，涉及一种虚实融合场景中多PTZ相机的联合控制系统及方法。
技术介绍
增强虚拟环境(AVE)是用于在三维虚拟环境中以任意视角展示多路图片或者视频流的一项技术，该项技术将视频画面与三维模型融合显示，在城市漫游、交通分析、视频等一体化监控系统领域有着重要的应用。PTZ相机具有灵活度高，监控范围广的优点，PTZ相机在增强虚拟环境中的加入，极大地增强了虚实融合场景的信息捕捉量、提高了相机资源的使用率。然而当场景中存在多个PTZ相机时，调用单个PTZ相机并不能充分利用相机资源，获得的视野范围也有限。考虑到上述问题，选择使用场景中所有的PTZ相机有助于扩展视频的拍摄画面范围，同时设计多PTZ联合控制方法能够有效的增加有效的拍摄面积，同时减少视频画面的重叠。本专利技术前，已经有人对多PTZ相机联合控制方法进行了相关设计，但大多算法用于目标追踪和信息收集而非指定空间位置持续监控。FaisalZ.Qureshi等人发表论文“SurveillanceinVirtualReality:SystemDesignandMulti-CameraControl”(IEEEConferenceonComputerVisionandPatternRecognition，2007)将每个PTZ活动相机视为基于行为的自主代理。摄像机的整体行为由行人跟踪模块和当前任务确定。相机行为控制器模拟为增强的有限状态机，使自主相机能够实现其当前任务所确定的高级感应目标。典型的感应目标可能是，在位置(x，y，z)观察行人i持续t秒，或者跟踪特定外观特征的行人。但并不适应于用户指定的特定空间点的PTZ相机调度。另外一些研究关注于常规的多个固定相机的部署。XueboZhang等人发表的论文“3-DModel-BasedMulti-CameraDeployment:ARecursiveConvexOptimizationApproach”(IEEE/ASMETransactionsonMechatronics，2015：3157-3169)基于凸优化方法，提出一种用于视觉覆盖三维物体表面的多摄像头部署方法。首先，单个相机的最佳位置被公式化为一组在目标对象上覆盖的三角形碎片上的平移和旋转凸优化问题。然后递归地应用凸优化，扩展单个相机的覆盖区域，扩展过程从物体选择最初覆盖的三角形片开始、沿着由一定的标准选择出的物体边界进行；然后应用相同的优化程序来放置其后的相机。虽然强化了对单个物体的画面捕捉和相机姿态的计算，但没有使用PTZ相机，也不适用于指定特定的目标点的场景捕捉。因此目前缺少针对监控方面的、用户随意指定的、特定空间位置的PTZ联合控制方法，且缺少针对虚实融合场景的相机姿态控制方法和相机筛选流程。
技术实现思路
本专利技术的技术解决问题：克服现有技术的确不足，提供一种虚实融合场景中多PTZ相机的联合控制系统及方法，解决目前虚实融合场景中多PTZ相机的联合控制的问题，在用户观察指定位置时，能自主选择合适范围和角度的相机，同时降低PTZ相机的画面重合，提高PTZ相机的利用率、增加视频捕捉画面，优化相机的监控区域，提高用户的视觉体验。本专利技术的技术解决方案：一种虚实融合场景中多PTZ相机的联合控制系统及方法，原理为：分别是相机筛选、局部画面规划和相机姿态计算。相机筛选是在虚实融合场景中输入待观察目标点坐标和用户漫游视角之后，对场景中需要调用的相机进行距离、对冲、遮挡筛选和相机数目控制；局部画面规划是根据筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式，同时计算各局部画面的中心坐标；相机姿态计算是指，计算相机在垂直于用户漫游视角的方向上的垂直投影坐标，根据相机垂直投影的相对位置，进行局部画面和相机的匹配，计算相机与匹配的局部画面的对应偏转值，再根据用户输入的单个局部画面的观测范围，计算出各个相机的缩放值。相机筛选是为了保证相机画面的有效性和清晰度，同时还要保证在用户指定的场景和角度下，相机捕获的画面应和用户所期望的画面角度一致，首先进行距离筛选，保留离待观察目标点较近的相机，保证较高的图像分辨率，然后进行对冲筛选，排除与用户漫游视角对冲的相机；之后进行遮挡筛选，排除被建筑物遮挡的不能获得有效画面的相机，最后挑选距离目标点最近的不超过5个相机。局部画面规划需要根据筛选出的相机的数目，选择合适的局部画面排布方式，在得到用户输入的观测范围之后，进一步计算各个局部画面的中心点坐标。局部画面排布后，需要对各个相机姿态进行计算，求出过待观察目标点并垂直于用户漫游视角的直线，将筛选后的相机在该直线上进行投影，并按照一定顺序规则为相机标号，然后按照图2所示的方式进行局部画面和相机的匹配，之后根据相机和局部画面的匹配情况计算各个相机的偏转值，使得相机的视线中心对准局部画面的画面中心，然后使用相机偏转值、用户漫游视角、待观察目标点坐标计算各个相机的缩放值。本专利技术系统包括：相机筛选模块、局部画面规划模块、相机姿态计算模块；其中PTZ相机是一种在安防监控中常用的相机，PTZ为Pan(左右转动)/Tilt(俯仰转动)/Zoom(变焦)简写，代表相机云台能够上下、左右转动并实现镜头变倍、变焦控制；相机筛选模块，结合虚实融合场景、相机信息、待观察目标点坐标和用户漫游视角，对当前虚实融合场景下需要调用的相机进行筛选；局部画面规划模块，根据相机筛选模块中筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式；同时根据用户输入的单个局部画面的观测范围，计算各个局部画面的中心点坐标；相机姿态计算模块，计算相机筛选模块中筛选出的相机在垂直于用户漫游视角的方向上的垂直投影坐标，根据相机垂直投影的相对位置，进行局部画面和相机的匹配，计算相机与匹配的局部画面的对应偏转值，再根据用户输入的单个局部画面的观测范围，计算出各个相机的缩放值。所述相机筛选模块的实现为：(1)距离筛选，保留与待观察目标点的距离小于等于相机最大观测范围的相机；(2)对步骤(1)中保留的相机进行对冲筛选，保留与用户漫游视角非对冲的相机；(3)对步骤(2)中保留的相机进行遮挡筛选，若相机对目标点的观测视野内，虚实融合场景中的建筑物模型对相机画面的遮挡面积小于30％，则保留该相机；(4)对步骤(3)中保留的相机进行相机数目控制，保留不多于5个且距待观察目标点最近的相机。所述步骤(2)中，判断对冲的角度为相机所在点到待观察目标点的向量和用户漫游视角的夹角。所述步骤(3)中，采用OpenGL遮挡查询进行遮挡面积的计算。所述局部画面规划模块中，根据筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式具体实现如下：所述局部画面规划模块中，根据相机筛选模块最终筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式具体实现如下：(1)确定一条过待观察目标点且垂直于用户漫游视角的直线；(2)根据相机筛选模块最终筛选出的相机个数，选择一种排布方式：相机个数为1时，画面排布为单镜头的且以待观察点为中心的方形区域；相机个数为2时，画面排布为“一”字形的、中心点过步骤(1)直线的两个方形画面并排，待观察点位于两画面交线中点；相机个数为3本文档来自技高网...

【技术保护点】
1.一种虚实融合场景中多PTZ相机的联合控制系统，其特征在于：包括，相机筛选模块、局部画面规划模块、相机姿态计算模块；所述PTZ相机是一种在安防监控中常用的相机；相机筛选模块，结合虚实融合场景、相机信息、待观察目标点坐标和用户漫游视角，对当前虚实融合场景下需要调用的相机进行筛选；局部画面规划模块，根据相机筛选模块中筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式；同时根据用户输入的单个局部画面的观测范围，计算各个局部画面的中心点坐标；相机姿态计算模块，计算相机筛选模块中筛选出的相机在垂直于用户漫游视角的方向上的垂直投影坐标，根据相机垂直投影的相对位置，进行局部画面和相机的匹配，计算相机与匹配的局部画面的对应偏转值，再根据用户输入的单个局部画面的观测范围，计算出各个相机的缩放值。

【技术特征摘要】
1.一种虚实融合场景中多PTZ相机的联合控制系统，其特征在于：包括，相机筛选模块、局部画面规划模块、相机姿态计算模块；所述PTZ相机是一种在安防监控中常用的相机；相机筛选模块，结合虚实融合场景、相机信息、待观察目标点坐标和用户漫游视角，对当前虚实融合场景下需要调用的相机进行筛选；局部画面规划模块，根据相机筛选模块中筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式；同时根据用户输入的单个局部画面的观测范围，计算各个局部画面的中心点坐标；相机姿态计算模块，计算相机筛选模块中筛选出的相机在垂直于用户漫游视角的方向上的垂直投影坐标，根据相机垂直投影的相对位置，进行局部画面和相机的匹配，计算相机与匹配的局部画面的对应偏转值，再根据用户输入的单个局部画面的观测范围，计算出各个相机的缩放值。2.根据权利要求1所述的一种虚实融合场景中多PTZ相机的联合控制系统，其特征在于：所述相机筛选模块的实现为：(1)距离筛选，保留与待观察目标点的距离小于等于相机最大观测范围的相机；(2)对步骤(1)中保留的相机进行对冲筛选，保留与用户漫游视角非对冲的相机；(3)对步骤(2)中保留的相机进行遮挡筛选，若相机对目标点的观测视野内，虚实融合场景中的建筑物模型对相机画面的遮挡面积小于30％，则保留该相机；(4)对步骤(3)中保留的相机进行相机数目控制，保留不多于5个且距待观察目标点最近的相机。3.根据权利要求2所述的一种虚实融合场景中多PTZ相机的联合控制系统，其特征在于：所述步骤(2)中，判断对冲的角度为相机所在点到待观察目标点的向量和用户漫游视角的夹角。4.根据权利要求2所述的一种虚实融合场景中多PTZ相机的联合控制系统，其特征在于：所述步骤(3)中，采用OpenGL遮挡查询进行遮挡面积的计算。5.根据权利要求2所述的一种虚实融合场景中多PTZ相机的联合控制系统，其特征在于：所述局部画面规划模块中，根据筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式具体实现如下：所述局部画面规划模块中，根据相机筛选模块最终筛选出的相机的数量和用户漫游视角的角度，确定局部画面的排布方式具体实现如下：(1)确定一条过待观察目标点且垂直于用户漫游视角的直线；(2)根据相机筛选模块最终筛选出的相机个数，选择一种排布方式：相机个数为1时，画面排布为单镜头的且以待观察点为中心的方形区域；相机个数为2时，画面排布为“一”字形的、中心点过步骤(1)直线的两个方形画面并排，待观察点位于两画面交线中点；相机个数为3时，画面排布为“一”字形的、中心点过步骤(1)直线的三个方形画面并排，待观察点位于中央局部画面中心；相机个数为4时，画面排布为“田”字形的、对称分布于步骤(1)直线两侧的四个方形画面，待观察点位于四画面交点；相机个数为5时，画面排布为“十”字形的、对称分布于步骤(1)直线的五个方形画面，待观察点位于中央局部画面中心。6.根据权利要求1所述的一种虚实融合场景中多PTZ相机的联合控制系统，其特征在于：所述相机姿态计算模块中，计算相机在垂直于用户漫游视角的方向上的垂直投影坐标的过程包括步骤...

【专利技术属性】
技术研发人员：周忠，周颐，马翰元，游景帝，
申请(专利权)人：北京大视景科技有限公司，
类型：发明
国别省市：北京,11