一种多无人机视觉协同的建筑场景识别方法技术

多无人机视觉协同的建筑施工场景识别方法，执行以下操作：建立场景信息与施工进度的对应关系集，对应关系集包括建筑物的外观材料种类及数量与施工进度的对应关系、建筑机械种类及数量与施工进度的对应关系、室外工程种类及数量与施工进度的对应关系；通过无人机实时拍摄施工场景，通过深度学习识别建筑本体、建筑物的外观材料、建筑机械和室外工程的数量和种类，以建筑本体和建筑物的外观材料为主、建筑机械和室外工程为辅，预测当前场景可能处于的施工进度，并按进度可能性的高低排序，给出可能性从高到低的预测结果列表；实现自动化和精细化的施工进度监督。

A method of building scene recognition based on multi UAV visual cooperation

The method of building construction scene recognition based on multi UAV visual cooperation is as follows: establish the corresponding relation set of scene information and construction progress, which includes the corresponding relation between the type and quantity of building appearance materials and construction progress, the corresponding relation between the type and quantity of construction machinery and construction progress, the corresponding relation between the type and quantity of outdoor works and construction progress; Through UAV real-time shooting construction scenes, through in-depth learning to identify the number and types of building body, building appearance materials, building machinery and outdoor works, with building body and building appearance materials as the main, building machinery and outdoor works as the auxiliary, predict the construction progress that the current scene may be in, and rank according to the degree of progress possibility, give the possibility from High to low prediction result list; realize automatic and refined construction progress supervision.

【技术实现步骤摘要】
一种多无人机视觉协同的建筑场景识别方法
本专利技术属于智能建造
，涉及三维重建、目标检测、场景识别等方法，具体的说是一种利用多个无人机获取建筑施工区域的图像，进行三维重建，在此基础上识别建筑施工过程中的各种场景的方法。
技术介绍

技术介绍
的内容只是为了帮助理解
技术实现思路
，并非现有技术。随着信息化技术的发展，越来越多的传统领域可以与信息化技术相结合以提高效率。智能建造正是建筑行业与信息化技术相结合的产物，是工程建造领域未来的发展方向。传统建筑施工过程中存在许多弊端：监管者缺少对整个工程的全局把控、施工计划编排不够科学、资源和人员分配不够合理，这都是因为施工单位对整个施工区域的进度以及施工现场的资源没能进行合理的监控。建筑施工中，根据建筑的类型、结构、现场条件、施工环境等因素的不同，每个单位工程包含的建筑施工场景可能会有所不同，以高层现浇钢筋混凝土结构房屋施工为例，地基施工阶段包括：基坑放线、基坑降水施工、土方开挖、基坑支护、桩基施工等。通过建筑施工场景识别，可以对整个建筑施工区域进行全局的把控，对施工进度进行细本文档来自技高网...

【技术保护点】
1.一种多无人机协同的建筑场景识别方法，其特征在于：该方法执行以下操作：建立场景信息与施工进度的对应关系集，对应关系集包括建筑物的外观材料种类及数量与施工进度的对应关系、建筑机械种类及数量与施工进度的对应关系、室外工程种类及数量与施工进度的对应关系；/n用无人机对当前建筑施工场地进行实时拍照，并且利用无人机获取的图像集重建建筑施工场景的三维模型；对建筑施工场景的三维模型选取视角获得相应的二维场景图，记录每幅二维场景图及其拍摄视角，对每幅二维场景图进行有重叠的滑窗分块；/n对每幅二维场景图一边滑窗、一边进行目标识别，目标为建筑物本体、建筑物的外观材料、建筑机械和室外工程；所有滑窗分块中重叠的目标...

【技术特征摘要】
1.一种多无人机协同的建筑场景识别方法，其特征在于：该方法执行以下操作：建立场景信息与施工进度的对应关系集，对应关系集包括建筑物的外观材料种类及数量与施工进度的对应关系、建筑机械种类及数量与施工进度的对应关系、室外工程种类及数量与施工进度的对应关系；
用无人机对当前建筑施工场地进行实时拍照，并且利用无人机获取的图像集重建建筑施工场景的三维模型；对建筑施工场景的三维模型选取视角获得相应的二维场景图，记录每幅二维场景图及其拍摄视角，对每幅二维场景图进行有重叠的滑窗分块；
对每幅二维场景图一边滑窗、一边进行目标识别，目标为建筑物本体、建筑物的外观材料、建筑机械和室外工程；所有滑窗分块中重叠的目标框仅保留一个，删除冗余的目标框，获得目标集合；
获取建筑物的外观材料种类列表，建筑机械种类列表和室外工程种类列表，获得二维场景图中的建筑物的外观材料种类及数量，建筑机械种类及数量，室外工程种类及数量；将二维场景图中的建筑物的外观材料种类及数量，建筑机械种类及数量，室外工程种类及数量与场景信息与施工进度的对应关系集进行比对，估计实际施工进度。


2.如权利要求1所述的一种多无人机协同的建筑场景识别方法，其特征在于：利用深度学习识别建筑施工场景中建筑物的外观材料，并且，利用深度学习识别建筑施工场景中的建筑机械、建筑物本体和室外工程；建筑物的外观材料的深度学习库采用现有的数据库，建筑机械、建筑物本体和室外工程的数据库采用现有的数据库。


3.如权利要求1所述的一种多无人机协同的建筑场景识别方法，其特征在于：无人机获取的图像集重建建筑施工场景的三维模型的方法包括以下操作：利用无人机搭载的相机和组合定位导航系统采集数据，对每一个无人机使用批处理三维重建的方法重建三维图；利用ICP算法对相邻两个无人机的重建图边缘进行匹配，计算出两者的最优旋转矩阵R和最优平移向量t，用加权平均融合算法进行拼接，这样就获得了整个建筑施工场地的三维图。


4.如权利要求1所述的一种多无人机协同的建筑场景识别方法，其特征在于：采用以YOLOv3网络为基础的目标检测模型进行目标检测，实现对建筑施工场景中物体的检测，检测目标包括；建筑机械、建筑物本体和室外工程；检测过...

【专利技术属性】
技术研发人员：何斌，王英伍，周艳敏，王志鹏，沈润杰，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31