一种高遮挡多目标环境下基于多视角进行全景重构的方法技术

本发明专利技术属于图像分析技术领域，具体涉及一种高遮挡多目标环境下基于多视角进行全景重构的方法，根据目标物安装位置的分布关系建立全局及局部虚拟二维坐标映射模型；通过相机获取模板图；标定虚拟二维坐标映射模型，并映射到全局虚拟二维坐标映射模型；重新拍摄局部目标图，修正局部虚拟二维坐标映射模型；识别各局部目标图中目标物的位置及类别，根据目标图中目标物位置坐标与目标图中的目标物的安装位置中心对齐后的局部虚拟二维坐标映射模型做欧式距离判断，排除欧式距离大的点，筛选出目标物对应的位置标号及类别，并映射到全局虚拟二维坐标映射模型。最终快速准确地识别出目标物的个数、种类以及安装位置和分布关系以及背景固定物的分布关系。背景固定物的分布关系。背景固定物的分布关系。

【技术实现步骤摘要】
一种高遮挡多目标环境下基于多视角进行全景重构的方法


[0001]本专利技术属于图像分析
，具体涉及一种高遮挡多目标环境下基于多视角进行全景 重构的方法。

技术介绍

[0002]目前，许多机器内部的工件的检测以及装换均是依靠人工进行，有的工件被安装于水下 深处的安装盘上，且工件数量和种类众多，监管部门大多依靠工人的劳动经验，对工件进行 定时监测；而采用上述方式进行监测不仅用时长、识别效率低、人工成本高，而且依靠人眼 检测因疲劳不能有效保证工件的放置或更换是否正确，因此利用非人工的现代方法，对工件 的装换进行快速且正确的识别，来辅助工人劳动，就显得尤为重要和有意义。
[0003]目前用于安装工件的安装盘上存在许多大小不一的管道(又名背景固定物或遮挡物)遮 挡工件(又名目标物)，因此在使用相机进行监控时，管道将会对相机造成遮挡，使得单个相 机难以全部检测到各工件的安装位置和种类，并且为了更好的节省空间，部分工件被设计为 不规则的形状，难以准确提取到特征。目前，为了准确提取到目标物特征并识别其类别，采 用多个相机对高遮挡的多种目标物进行多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，包括以下步骤：步骤1：在用于安装目标物的安装盘的四周及中间位置的上方，根据需要布置多个由云台控制俯仰和旋转角度的相机；步骤2：根据实际目标物的物理位置分布关系，对每个目标物所处的位置赋予不同的标号，分别建立目标物的全局虚拟二维坐标映射模型和各角度的局部虚拟二维坐标映射模型；步骤3：通过各相机拍摄各自正视角度下的图像作为标定用的模板图；步骤4：通过深度学习算法获取每个模板图中的每个目标物的位置坐标以及每个背景固定物的位置坐标；步骤5：根据每个模板图中的目标物和背景固定物的位置坐标之间的拓扑分布关系，标定各角度的虚拟二维坐标映射模型，使各角度的局部虚拟二维坐标映射模型与各自对应的模板图中的目标物的安装位置中心对齐；步骤6：通过云台调整各个相机拍摄角度，在不同角度下拍摄图像，获得各个角度的目标图；步骤7：通过SIFT、最小二乘法和RANSAC算法计算模板图与目标图的映射矩阵，并通过映射矩阵，把标定后的各局部虚拟二维坐标映射模型，映射到各角度下的目标图中；再通过深度学习算法识别出目标图中各目标物的位置坐标及类别；步骤8：根据各目标图中的目标物的位置坐标与各目标图下的局部虚拟二维坐标映射模型个点坐标的欧式距离之差，排除欧式距离大于所设定的阈值的点，筛选出通过深度学习识别出的目标图对应的标号及类别，遍历全局虚拟二维坐标映射模型中的目标物的坐标节点，依次输出目标物的类别，使目标物的类别映射到全局虚拟二维坐标映射模型。2.根据权利要求1所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，步骤2中所述的全局虚拟二维坐标映射模型根据真实目标物所对应的安装位置分布情况生成；且每个目标物所对应的安装位置用六边形绘制，遍历多次渲染出目标物，每个安装位置对应一个标号。3.根据权利要求1所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，所述步骤5中根据深度学习算法识别出每个角度下的模板图中的目标物的位置坐标计算控制点、旋转因子、旋转修正因子和尺度因子，使得各角度下的局部虚拟二维坐标映射模型与模板图中的各目标物的安装位置中心对齐。4.根据权利要求4所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，步骤5中所述坐标计算控制点、旋转因子、旋转修正因子以及尺度因子的确定如下所述：坐标计算控制点的确定：根据目标物的分布规律，固定相机安装方式，寻找控制点；旋转因子的确定：旋转因子为各局部虚拟二维坐标映射模型的坐标系与相机像素坐标系之间的旋转角度；旋转修正因子的确定：根据深度学习算法识别出目标物的坐标位置，确定多个点的拟合直线，并计算直线的旋转角度，确定旋转修正因子；尺度因子的确定：根据控制点周围的目标物的位置坐标，计算目标物的位置坐标之间
的平均欧式距离，取平均值作为尺度因子。5.根据权利要求1所述的一种高遮挡多目标环境下基于多视角进行全景重构的方法，其特征在于，步骤5包括以下步骤：步骤5.1：基于步骤4中确定的各角度模板图中的每个目标物的位置坐标，记为集合B；比较每个模板图的目标物的y像素坐标，得到y像素坐标位于前三的目标点集，定位到目标物的第一排，定义集合为C；并在集合C内比较每个目标点的x像素，获得x像素坐标最大的点，定位到第一排最右边的点，将该点作为控制点，定义该控制点为Y(x0,y0)；步骤5.2：旋转因子为各局部虚拟二维坐标映射模型的坐标系与相机像素坐标系之间的旋转角度，记为θ1；通过集合C拟合一条直线，并计算出该条直线的旋转角度，确定该条直线的旋转角度为旋转修正因子，记为θ；步骤...

【专利技术属性】
技术研发人员：王学渊，李向东，胥学金，蒋和松，张娟，李小霞，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：