【技术实现步骤摘要】
本专利技术涉及多目标检测，尤其是指一种基于多目摄像头的多目标检测方法、系统及摄像机。
技术介绍
1、随着社会的发展，监控的需求也逐渐在升级。在某些监控的场景中，我们需要既看到大范围的背景画面，同时也关注场景中不同目标物的细节特征，有的时候既需要图像上的二维信息，也需要图像中特定目标的特定三维信息。
2、然而，而市场上现有的产品无法满足该种监控需求。现有的摄像机仅限于捕捉特定视角下的监控，由于可能存在的视觉遮挡，无法实现全面的监控。例如：教育行业，既需要看清整个班级内的情况也需要看清不同学生的细节情况。传统的监控摄像机只能提供单一的监控视角，无法提供多角度的监控，不能全面地评估学生的学习状态和考试行为；在线教育平台或软件提供的视频监控功能仅能提供固定的视角，无法提供特写监控、眼球注视监控、姿态检测等多种监控功能；传统的监控摄像机不具备智能化分析和识别功能，无法提供监控区域内的目标的深度信息。
3、为了解决上述问题，现有的方案一般是增加摄像机的数量，采取组合方式解决问题，但是该方案存在着费用较高，同时在某些特殊场景受环境限制，不宜增加布控点位。
4、针对这些缺点，本专利技术的目的是提供一种集全景监控、多目标特写监控、双目摄像机的融合监控摄像头，可解决特殊场景的监控难题。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于多目摄像头的多目标检测方法、系统及摄像机，其能够提供全景监控、多目标的可变焦的特写监
2、根据本专利技术实施例的一种基于多目摄像头的多目标检测方法，该方法包括：
3、提供一个枪机光学镜头，以及多个可变焦球机光学镜头；
4、将枪机光学镜头和任意一个或多个可变焦球机光学镜头组合，进行不同视角和焦距的拍摄，采用摄像头视角估计，进行多目标跟踪特写监控；
5、将任意两个可变焦球机光学镜头成像平面共面组合为双目深度摄像模式，采用双目深度估计，进行目标深度监控。
6、根据本专利技术实施例的一种基于多目摄像头的多目标检测方法，所述视角估计的方法包括为：
7、(2)获取点云数据；在计算得到头部姿势之后，利用头部姿势信息对点云数据作几何逆变换，从而得到前视视角的人脸或眼睛图像；
8、(2)使用前视视角的样本训练gaze模型，再把估计得到的gaze利用头部姿势信息变换到相机坐标系,实现视角估计；
9、其中视线向量由眼球位移和头部姿势组成，使用g来表示自然的视线向量，在头部坐标系和相机坐标系中分别表示为gh和gc；
10、眼球位移：眼球运动定义为注视向量g与头部坐标轴之间的夹角，记为(θ，φ)，其中θ和φ分别表示水平和垂直旋转角度，在头部坐标系中可以表示为：
11、gh＝[-cos(φ)sin(θ),sin(φ),-cos(φ)cos(θ)]t；
12、头部坐标系的建立：第一阶段先初步确定头部坐标系，在第二个训练步骤中，视线变换层将自动学习准确的头部坐标系；
13、头部姿势r为反映头部和相机坐标系之间的旋转矩阵；数据归一化后，3d的头部姿势采用二维的(y,p)表示，其中y是偏角，p是仰角，r＝f(y,p)；
14、视线变换层：视线向量gc在相机坐标系中定义，gc和gh之间的转换由头部姿势r定义：gc＝rgh。
15、根据本专利技术实施例的一种基于多目摄像头的多目标检测方法，所述gaze模型的训练方法为：
16、
17、gaze transform layer的输入为head cnn输出的(y,p)与eye cnn输出的其结构如下：
18、
19、其中，其中multi-head attention结构如下：
20、
21、根据本专利技术实施例的一种基于多目摄像头的多目标检测方法，所述多目标跟踪的方法为：
22、步骤1、枪机光学镜头获取全景视频图像；
23、步骤2、使用目标检测技术自动检测目标，并提取目标图片；
24、步骤3、使用提取的目标图片在多个可变焦球机光学镜头拍摄的画面中进行模板匹配，识别出多个可变焦球机光学镜头中对应的目标；
25、步骤4、多个可变焦球机光学镜头根据目标坐标距画面中心点坐标偏移情况进行转动，直到目标位于画面中心；
26、步骤5、对于多目标的跟踪，根据步骤2的结果，多个可变焦球机光学镜头中的候选摄像头重复上述第步骤3、4，直至完成对所有目标的跟踪监控。
27、根据本专利技术实施例的一种基于多目摄像头的多目标检测方法，所述双目深度估计的方法为：
28、
29、其中，o为目标，(x,z)为目标在三维空间中的横向坐标和深度坐标，xl,xr为目标在左右相机成像平面中的横向位置；
30、多个可变焦球机光学镜头共有n个可用可变焦球机光学镜头，可以组合成n*(n-1)/2个组合，基于这些组合采用平均计算获得坐标值，公式如下：
31、
32、b为基线长度，f为相机的焦距，d为视差，目标深度z＝fb/d。
33、根据本专利技术实施例的一种基于多目摄像头的多目标检测方法，所述视差d为(xl-xr)，所述视差d的估算方法为：
34、(1)、左右图像上采用共享的卷积网络进行特征提取；
35、(2)、左右特征图构建cost volume；
36、(3)、3d卷积提取左右特征图以及不同视差级别之间的信息；
37、(4)、上采样到原始分辨率，找到匹配误差最小的视差值。
38、根据本专利技术实施例的一种基于多目摄像头的多目标检测方法，将枪机光学镜头和任意一个或多个可变焦球机光学镜头组合，或将两个或多个可变焦球机光学镜头组合，并将获取的图像进行图像拼接，图像拼接的顺序有：图像匹配、重投影、缝合和融合，具体包括有如下步骤：
39、a.基于sruf的特征点的提取与匹配；其中，surf特征点提取与描述包含4个步骤：
40、a1)检测尺度空间极值；
41、a2)精炼特征点位置；
42、a3)计算特征点的描述信息；
43、a4)生成描述特征点的特征向量；
44、b.图像配准
45、b1)检测每幅图像中特征点；
46、b2)计算特征点之间的匹配；
47、b3)计算图像间变换矩阵的初始值；
48、b4)迭代精炼h变换矩阵；
49、b5)引导匹配，用估计的h去定义对极线附近的搜索区域，进一步确定特征点的对应；
50、6)重复迭代b4)和b5)直到对应点的数目稳定为止；
51、c.图像合成
52、根据图像间变换矩阵h，可以对相应图像进行变换以确定图像间的重叠区域，并将待融和图像本文档来自技高网...
【技术保护点】
1.一种基于多目摄像头的多目标检测方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述视角估计的方法包括为：
3.根据权利要求2所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述gaze模型的训练方法为：
4.根据权利要求1所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述多目标跟踪的方法为：
5.根据权利要求1所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述双目深度估计的方法为：
6.根据权利要求5所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述视差d为(xl-xr)，所述视差d的估算方法为：
7.根据权利要求1所述的一种基于多目摄像头的多目标检测方法，其特征在于，将枪机光学镜头和任意一个或多个可变焦球机光学镜头组合，或将两个或多个可变焦球机光学镜头组合，并将获取的图像进行图像拼接，图像拼接的顺序有：图像匹配、重投影、缝合和融合，具体包括有如下步骤：
8.根据权利要求1所述的一种基于多目摄像头的多目标检测
9.一种基于多目摄像头的多目标检测系统，其特征在于，包括有权利要求1至8任意一项所述的一种基于多目摄像头的多目标检测方法。
10.一种摄像机，其特征在于，包括有权利要求9所述的一种基于多目摄像头的多目标检测系统。
...【技术特征摘要】
1.一种基于多目摄像头的多目标检测方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述视角估计的方法包括为：
3.根据权利要求2所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述gaze模型的训练方法为：
4.根据权利要求1所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述多目标跟踪的方法为：
5.根据权利要求1所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述双目深度估计的方法为：
6.根据权利要求5所述的一种基于多目摄像头的多目标检测方法，其特征在于，所述视差d为(xl-xr)，所述视差d的估算方法为：
7.根据权利要求1所述的一种基于多...
【专利技术属性】
技术研发人员：周斌，文高，
申请(专利权)人：珠海安士佳电子有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。