一种城市违章建筑分割检测方法技术

本发明专利技术属于违章建筑检测技术领域，涉及一种城市违章建筑分割检测方法，通过从粗到精的多阶段处理方法，将违章建筑分割出来，实现违章建筑的精细化检测和分割，并通过无人机航拍违规建筑，能够以全景的方式展示，直观反应违建的位置和外形，相对于卫星拍摄更加准确，克服了卫星拍摄违建时雨雪大雾天气拍摄受限的问题，减少了人工拍摄的成本，以低成本实现违章建筑的分割和检测。章建筑的分割和检测。章建筑的分割和检测。

【技术实现步骤摘要】
一种城市违章建筑分割检测方法


[0001]本专利技术属于违章建筑检测
，涉及一种城市违章建筑分割检测方法，特别是一种基于360度全景无人机航拍视频的城市违章建筑分割检测方法。

技术介绍

[0002]随着经济的发展和社会的进步，外来人口不断涌入城市，使得城市的管理变得越来越复杂，尤其是城市中的违章建筑需要时刻关注，因为有非常多的安全问题是由于违章建筑导致的，甚至出现过非常多的违章建筑导致的房屋大面积倒塌，给人民的生命和财产安全造成隐患。
[0003]目前城市的违章建筑主要基于高分辨率的遥感影像，但是这种方式需要非常高的分辨率，且受到天气和遮挡的影响，甚至只能依靠人工统计和拍照才能及时发现，造成非常大的人力物力财力的消耗。
[0004]无人机应用发展非常迅速，尤其是无人机航拍，拍摄的照片清晰且能够实现360度全景拍摄，能够克服复杂条件下的拍摄问题，且无人机机动性好，即使隐蔽性非常强的违章建筑也能及时发现，目前无人机已经应用在各行各业；深度学习技术不断被应用到各行各业中，因为其强大的数据拟合能力，能够迅速提升预测和检测性能，目前发展非常迅速，其对传统行业具有颠覆性的改进，现有基于深度学习的深度学习算法往往基于边缘，不能充分挖掘深度学习特征的内部蕴含的尺度级特征，甚至对于语义信息的利用也很少涉及，而且传统无人机拍摄方法为基于2D相机，但是2D相机拍摄为单一角度，需要手工对齐，存在非常大的盲区，且仅仅为单一角度，无法直观的观察违规建筑的外形。

技术实现思路

[0005]本专利技术的目的在于克服现有技术存在的缺点，设计提供一种基于360度全景无人机航拍视频的城市违章建筑分割检测方法，通过从粗到精的多阶段处理方法，将违章建筑分割出来，且能够实现违章建筑的精细化检测和分割。
[0006]为实现上述目的，本专利技术实现城市违章建筑分割检测的过程具体包括如下步骤：步骤一、构建城市违章建筑数据集：采集基于360度全景无人机航拍视频的城市违章建筑视频数据，组建360度全景无人机航拍视频数据集，视频拍摄帧数为20帧/秒，每段视频包含10秒长度；步骤二、转化鱼眼图片为等距投影（ERP）图片：将无人机拍摄的鱼眼视频截取为鱼眼图片，通过归一化函数将鱼眼的坐标归一化，将鱼眼图片转化为等距投影图片；步骤三、基于等距投影图片的违章建筑粗标注：根据步骤二得到的等距投影图片，采用每间隔10帧标记一帧的方式标注违章建筑数据集，再采用labelImage软件对志愿者进行标注，标注的志愿者为经过违建培训后的志愿者，总共包含N
’
=10个标注的志愿者，数据集标注过程采用交叉标注的方式，每张违建标注数据集被随机发放给N
’
个志愿者，每个志愿者M次，1<M<4，得到ERP粗标注数据；
步骤四、设计违章建筑检测网络：采用粗定位网络和精细化定位网路相结合的双阶段方式构建违章检测网络，将步骤三得到的ERP粗标注数据输入粗定位网络，在输出的检测结果基础上，对相邻帧外围边界框采用帧间平滑的方式引入相邻帧的时序信息，得到违建区域外围边界框BB；步骤五、基于ERP违章建筑检测结果逆投影：采用基于中心点的违建逆投影，将违建区域外围边界框BB的中心点进行逆投影，以球面的形式投影到未失真的360球上得到违建中心点坐标()；步骤六、区域大小自适应投影范围生成：根据步骤五得到的违建中心点坐标()，生采用区域大小自适应的方式生成投影范围（p,q）；步骤七、基于中心点投影的二次投影：将投影范围以及违建中心点()进行二次投影，从而生成不失真的投影区域，精确的定位违规建筑区域，并将中心点()转化为平面区域(,)；步骤八、基于二次违章建筑区域的违章建筑分割：基于平面区域(,)，采用数据集ADE20K Dataset微调MaskRCNN，保留建筑类别，从而生成二值化的建筑分割结果；步骤九、基于分割结果的定位迭代精细化：将步骤八得到的建筑分割结果的外围边界框投影到ERP上从而产生精细化的基于ERP的违规建筑定位结果，从而提升基于ERP的违规建筑的网络训练的精度，达到迭代化提升违规建筑定位结果的目的，实现城市违章建筑分割检测。
[0007]作为本专利技术的进一步技术方案，步骤二将鱼眼图片转化为等距投影图片是先将鱼眼图片转化为三维坐标（x,y,z），再转化为球面坐标()，最后将球面坐标与等角投影坐标映射：其中，将2维的鱼眼转化为经纬度值()，，；将经纬度值()转化为ERP平面坐标(u,)，，。
[0008]作为本专利技术的进一步技术方案，步骤四得到的违建区域外围边界框BB为
ꢀꢀ
代表输入到YoloV5网络的ERP图片，i代表图片的索引，代表所属类别的置信度，N表示时序信息需要的帧数。
[0009]作为本专利技术的进一步技术方案，步骤五的具体过程为：，其中将违建外围边界框BB的中心点坐标(X,Y)进行等距投影得到2D坐标(u,)， 2D坐标到3D转化函数将2D坐标转化为3D坐标（x,y,z），三维坐标转球面坐标函数将3D坐标转化为球面坐标()， 其中
。
[0010]作为本专利技术的进一步技术方案，步骤六生成的投影范围（p,q）为：其中，代表求BB的面积，和分别代表ERP的宽和长。
[0011]作为本专利技术的进一步技术方案，步骤七得到的平面区域(,)具体为：)具体为：。
[0012]作为本专利技术的进一步技术方案，步骤八得到的建筑分割结果为：。
[0013]本专利技术与现有技术相比，通过无人机航拍违规建筑，能够以全景的方式展示，直观反应违建的位置和外形，相对于卫星拍摄更加准确，克服了卫星拍摄违建时雨雪大雾天气拍摄受限的问题，减少了人工拍摄的成本，以低成本实现违章建筑的分割和检测。
附图说明
[0014]图1为本专利技术的工作流程示意框图。
[0015]图2为本专利技术所采用的网络结构图。
具体实施方式
[0016]下面通过实施例并结合附图对本专利技术作进一步说明。
[0017]实施例：本实施例实现城市违章建筑分割检测的流程图和网络图分别为图1和2所示，具体实施包括如下步骤：步骤一、构建城市违章建筑数据集：先采集基于360度全景无人机航拍视频的城市违章建筑视频数据，组建360度全景无人机航拍视频数据集，为节省存储空间，视频拍摄帧数为20帧/秒，每段视频包含10秒长度；无人机采用大疆无人机mini2，搭载ins360全景相机，为拍摄的图片能够用于全景视频生成，本实施例采用将无人机前后拍摄两张鱼眼照片的方式生成鱼眼视频，这样生成的视频为全景的方式且无死角和盲区，而且为节省后续处理时间，采用旋转摄像头180度的方式拍摄，同时，摄像头的拍摄范围固定为180度光圈，解决后续因为拍摄重叠导致需要人工配准的问题；步骤二、转化鱼眼图片为等距投影（ERP）：将无人机拍摄的鱼眼视频截取为鱼眼图片，并通过归一化函数将鱼眼的坐标归一
化，鱼眼图片到等距投影图片的转化方式为先将鱼眼图片转化为三维坐标（x,y,z），再转化为球面坐标()，最后将球面坐标与等角投影坐标映射：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城市违章建筑分割检测方法，其特征在于，具体包括如下步骤：步骤一、构建城市违章建筑数据集：采集基于360度全景无人机航拍视频的城市违章建筑视频数据，组建360度全景无人机航拍视频数据集，视频拍摄帧数为20帧/秒，每段视频包含10秒长度；步骤二、转化鱼眼图片为等距投影图片：将无人机拍摄的鱼眼视频截取为鱼眼图片，通过归一化函数将鱼眼的坐标归一化，将鱼眼图片转化为等距投影图片；步骤三、基于等距投影图片的违章建筑粗标注：根据步骤二得到的等距投影图片，采用每间隔10帧标记一帧的方式标注违章建筑数据集，再采用labelImage软件对志愿者进行标注，标注的志愿者为经过违建培训后的志愿者，总共包含N
’
=10个标注的志愿者，数据集标注过程采用交叉标注的方式，每张违建标注数据集被随机发放给N
’
个志愿者，每个志愿者M次，1<M<4，得到ERP粗标注数据；步骤四、设计违章建筑检测网络：采用粗定位网络和精细化定位网路相结合的双阶段方式构建违章检测网络，将步骤三得到的ERP粗标注数据输入粗定位网络，在输出的检测结果基础上，对相邻帧外围边界框采用帧间平滑的方式引入时序信息，得到违建区域外围边界框BB；步骤五、基于ERP违章建筑检测结果逆投影：采用基于中心点的违建逆投影，将违建区域外围边界框BB的中心点进行逆投影，以球面的形式投影到未失真的360球上得到违建中心点坐标()；步骤六、区域大小自适应投影范围生成：根据步骤五得到的违建中心点坐标()，生采用区域大小自适应的方式生成投影范围（p,q）；步骤七、基于中心点投影的二次投影：将投影范围以及违建中心点()进行二次投影，从而生成不失真的投影区域，精确的定位违规建筑区域，并将中心...

【专利技术属性】
技术研发人员：刘寒松，王国强，王永，刘瑞，翟贵乾，谭连胜，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：