一种无相机标定条件下的多视角多人场景检测方法技术

本发明专利技术涉及一种无相机标定条件下的多视角多人场景检测方法，包括下列步骤：步骤一，水平视角到顶视的转换；步骤二，在无相机标定条件下获取顶视下的相机标定：选取一个视角为主视角，别的视角称为候选视角，依次将每个候选视角与主视角组成视角对，计算出顶视下的相对相机标定；步骤三，多视角相同目标融合；步骤四，构建自监督伪标签训练特征提取网络。构建自监督伪标签训练特征提取网络。构建自监督伪标签训练特征提取网络。

【技术实现步骤摘要】
一种无相机标定条件下的多视角多人场景检测方法


[0001]本专利技术属于多视角多人场景检测领域，涉及一种多视角多人场景检测方法。

技术介绍

[0002]多视角多目标检测(参见文献[1
‑
3])：在传统的多视角多目标检测任务中，一方面需要关联不同视角中的相同的目标，另外一方面要通过相机标定来对齐不同视角的空间关系，从而能够实现不同视角在统一空间上的对齐。而相机标定的获取往往依赖于测绘等传统方法，限制了相关的应用拓展到移动相机领域。
[0003]参考文献
[0004][1]Baqu
é
,Pierre,Fleuret,and Pascal Fua."Deep occlusion reasoning for multi
‑
camera multi
‑
target detection."Proceedings of the IEEE International Conference on Computer Vision.2017.
[0005][2]Hou,Yunzhong,Liang Zheng,and Stephen Gould."Multiview detection with feature perspective transformation."Computer Vision
–
ECCV 2020:16th European Conference,Glasgow,UK,August 23
–/>28,2020,Proceedings,Part VII 16.Springer International Publishing,2020.
[0006][3]Hou,Yunzhong,and Liang Zheng."Multiview detection with shadow transformer(and view
‑
coherent data augmentation)."Proceedings of the 29th ACM International Conference on Multimedia.2021.
[0007][4]Kreiss,Sven,Lorenzo Bertoni,and Alexandre Alahi."Openpifpaf:Composite fields for semantic keypoint detection and spatio
‑
temporal association."IEEE Transactions on Intelligent Transportation Systems 23.8(2021):13498
‑
13511.

技术实现思路

[0008]本专利技术的目的是提出一种在没有相机标定的条件下完成多视角多人场景检测的方法，不仅能够在水平视角中有效地对空间进行对齐，从而计算出顶视下的相机位置，还能够在相机位置确定之后，结合外貌和几何特征，从而更好地得到目标检测的结果。本专利技术采用的技术方案为：
[0009]一种无相机标定条件下的多视角多人场景检测方法，包括下列步骤：
[0010]步骤一，水平视角到顶视的转换：
[0011]检测出第v个视角中的第i个目标，然后对每个目标提取骨骼特征对提取的每个目标的骨骼特征经过定位网络的预测得到每个目标的在顶视下的位置和朝向实现每个视角从水平视角到顶视的转换；
[0012]步骤二，在无相机标定条件下获取顶视下的相机标定：选取一个视角为主视角，别的视角称为候选视角，依次将每个候选视角与主视角组成视角对，计算出顶视下的相对相
机标定；方法如下：
[0013](1)选取候选视角与主视角组成视角对，利用特征提取网络提取每个目标的外观特征，使用余弦相似度，计算侯选视角与主视角之间目标的相似度；设定相似度阈值，选择相似度高于相似度阈值的多个视角对目标，从而选出两个视角中最可能的相同的目标，其中，主视角目标的目标表示为p
ref
＝(x
ref
,y
ref
,r
ref
)，候选视角与之对应的相同目标表示为P
unr
＝(x
unr
,y
unr
,r
unr
)，其中(x
ref
,y
ref
)和x
unr
,y
unr
)表示目标在其视角转换之后的到的BEV位置，r
ref
和r
unr
表示目标的朝向角度；
[0014](2)通过几何变换方法在空间上对齐P
ref
和P
unr
，通过人的对齐实现相机的空间对齐，从而得到相机在顶视下的相对标定(δ
x
,δ
y
,δ
θ
)，(δ
x
,δ
y
)表示候选视角相机相对于主视角相机的相对位置，δ
θ
表示相机的相对角度差；
[0015](3)通过对此候选视角下的K个相同的目标进行步骤(2)的操作，得到K个候选的顶视下的相机标定，表示为
[0016](4)使用最小质心距离筛选策略，从K个候选的顶视下的相机标定中选择一个最合适的相机标定，从而完成主视角和候选视角的顶视下的相对相机标定；
[0017](5)所有的候选视角都通过相同的方式实现主视角和候选视角的顶视下的相对相机标定，得到相机位姿；
[0018]步骤三，多视角相同目标融合
[0019]实现多视角的相同的目标的融合：设定多视角的目标中属于同一个目标的条件，只有在同时满足外观特征余弦相似度大于相似度阈值，质心距离小于预设距离，跨视角目标角度差小于预设角度差的目标被认为是同一个目标需要进行融合；如果存在超过两个目标满足匹配的情况，优先挑选相似度最高的目标对；完成相同的目标融合之后，得到最终的目标检测结果；
[0020]步骤四，构建自监督伪标签训练特征提取网络。
[0021]进一步地，所采用的特征提取网络为ResNet
‑
50。
[0022]进一步地，所述的定位网络为LocoNet。
[0023]进一步地，设定相似度阈值为70％，
[0024]进一步地，步骤二的(2)中，求取相机在顶视下的相对标定(δ
x
,δ
y
,δ
θ
)的公式为：
[0025][0026]进一步地，步骤二的(4)中，使用最小质心距离筛选策略，从K个候选的顶视下的相机标定中选择一个最合适的相机标定，从而完成主视角和候选视角的顶视下的相对相机标定，方法如下：
[0027]1)以主视角构建世界坐标系，即主视角的位置为坐标系原点(0,0,0)，相对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无相机标定条件下的多视角多人场景检测方法，包括下列步骤：步骤一，水平视角到顶视的转换：检测出第v个视角中的第i个目标，然后对每个目标提取骨骼特征对提取的每个目标的骨骼特征经过定位网络的预测得到每个目标的在顶视下的位置和朝向实现每个视角从水平视角到顶视的转换；步骤二，在无相机标定条件下获取顶视下的相机标定：选取一个视角为主视角，别的视角称为候选视角，依次将每个候选视角与主视角组成视角对，计算出顶视下的相对相机标定；方法如下：(1)选取候选视角与主视角组成视角对，利用特征提取网络提取每个目标的外观特征，使用余弦相似度，计算侯选视角与主视角之间目标的相似度；设定相似度阈值，选择相似度高于相似度阈值的多个视角对目标，从而选出两个视角中最可能的相同的目标，其中，主视角目标的目标表示为P
ref
＝(x
ref
,y
ref
,r
ref
)，候选视角与之对应的相同目标表示为P
unr
＝(x
unr
,y
unr
,r
unr
)，其中(x
ref
,y
ref
)和x
unr
,y
unr
)表示目标在其视角转换之后的到的BEV位置，r
ref
和r
unr
表示目标的朝向角度；(2)通过几何变换方法在空间上对齐P
ref
和P
unr
，通过人的对齐实现相机的空间对齐，从而得到相机在顶视下的相对标定(δ
x
,δ
y
,δ
θ
)，(δ
x
,δ
y
)表示候选视角相机相对于主视角相机的相对位置，δ
θ
表示相机的相对角度差；(3)通过对此候选视角下的K个相同的目标进行步骤(2)的操作，得到K个候选的顶视下的相机标定，表示为(4)使用最小质心距离筛选策略，从K个候选的顶视下的相机标定中选择一个最合适的相机标定，从而完成主视角和候选视角的顶视下的相对相机标定；(5)所有的候选视角都通过相同的方式实现主视角和候选视角的...

【专利技术属性】
技术研发人员：冯伟，钱泽坤，韩瑞泽，王松，
申请(专利权)人：天津大学，
类型：发明
国别省市：