一种基于街景影像的杆状地物多分类提取方法技术

本发明专利技术公开了一种基于街景影像的杆状地物多分类提取方法，步骤为：构建分类体系；构建样本库；构建分类模型LPNet；利用迁移学习完成模型训练和杆状地物分类；完善杆状地物提取结果。本发明专利技术依据杆状地物在街景影像中呈现出的特征，针对杆状地物分割不足、误提取和不连续的问题，分别加入具有多级感受野的Multi

【技术实现步骤摘要】
一种基于街景影像的杆状地物多分类提取方法


[0001]本专利技术属于数据处理的
，尤其涉及一种基于街景影像的杆状地物多分类提取方法。

技术介绍

[0002]准确、快速获取杆状地物的类别信息和空间信息，在智慧城市建设和车辆自动导航中具有较大的应用价值。在国务院发布的《关于促进地理信息产业发展的意见》明确为基础地理信息数据库建设做出指导，要求相关部门要全面提高地理数据获取与信息处理能力。一方面，现有的城市基础设施管理条例缺少明确的杆状地物分类标准。另一方面，受点云质量、手工特征和海量样本需求等条件的限制，现有的基于点云数据的杆状地物提取方法存在相似地物难以区分、复杂场景泛化性不强、自动化程度不高和难以推广使用的问题。因此，寻求一种分类清晰、普适性强的方法是一项具有复杂性与挑战性的任务。
[0003]车载移动采集系统是当前城市数字化建设的前沿技术，在车辆行驶过程中快速获取道路两侧地物详尽的三维空间信息。依据采集的数据类型，车载移动采集系统可分为：车载LiDAR测量系统和车载街景采集系统。车载LiDAR测量系统获取的地物点云包含空间三维坐标、GNSS时间及单点回波强度等信息。单点信息不能为杆状地物分类与提取提供有效的支持，需要依靠邻近点群共同反映该地物的隐含特征，因此需要对点云进行大量的聚类分析。车载街景采集系统获取的街景数据包含双目影像、位置信息和姿态信息。光学影像包含更多真实场景的语义信息和空间信息，为杆状地物分类与自动提取提供了较为充足的数据支持。
[0004]现有的杆状地物分类与提取技术方案，主要以LiDAR点云数据作为研究对象，分为以下几种方式：
[0005](1)基于地物空间特征的分类方法。该方法依据典型杆状地物的不同空间几何特征，如高程、杆部的圆弧特征、最小包围盒体积等实现地物的分类。该方法能较好实现路灯、行道树等杆状地物的提取与分类，但需要设置较多阈值，自动化程度较低，难以推广应用；
[0006](2)基于模板匹配的分类方法。该方法通过获取目标地物的空间特征，预先构建目标样本，然后在三维场景中匹配目标地物点云从而实现杆状地物的分类提取。该方法目标性强，能够精确提取出目标地物，但需要构建目标地物的先验模板，对于模板集中不存在的地物，无法对其提取；
[0007](3)基于机器学习的分类方法。该方法使用训练分类器进行分类，常用的分类器有随机森林、决策树和SVM等。随机森林在噪音较大的分类或回归问题上会出现过拟合现象。当类别很多、噪音较大的时候，决策树分类错误可能出现甚至很多。SVM算法性能主要取决于核函数的选取，目前较成熟的核函数及其参数选择都是根据经验来选取，有一定的随意性，而且SVM算法对大规模训练样本难以实施；
[0008](4)基于点云体元化的分类方法。该方法通过点云数据进行体元构建，根据体元之间的上下文关系与体元内点云特征对杆状地物进行提取与分类。该方法有效利用了杆状地
物的空间特性，但体元大小的选取直接影响到杆状地物的提取精度；
[0009](5)基于多重投票方式的改进Bagging分类模型。该模型以道路场景中典型杆状地物的特征值为基础，使用不同的机器学习算法对杆状地物进行分类，找出分类效果相对较好且具有互补信息的决策树分类算法、支持向量机、K近邻算法，作为基分类器进行集成学习和分类；然后在小样本数据集的基础上，对点云中的杆状地物进行分类。但该方法对点云的完整性要求较高，在分类过程中由于点云部分数据缺失导致路灯被误分为线杆；与部分单分类器相比，分类效率有所降低；
[0010](6)构建神经网络分类模型。该方法通过提取杆状地物的多个特征值并构建特征向量，使用BP神经网络建立分类模型，实现了对杆状地物快速准确的分类。但该方法对样本集的依赖性较高，样本集中地物种类、数量不足会导致柱状红绿灯和线杆特征相近的地物容易出现误分类。
[0011]现有基于LiDAR点云技术的缺点：
[0012](1)对点云的完整性要求较高，在分类过程中由于点云部分数据缺失导致杆状地物的误分类；
[0013](2)由于城市道路场景存在极大的空间异质性，手工构建的杆状地物先验特征模板难以应对复杂的场景变化。并且，对于模板库中不存在的地物，无法对其提取；
[0014](3)大规模训练样本的需求和自动化程度不高，导致方法难以推广使用。
[0015]基于街景数据研究的优势：
[0016]1)相比于车载LiDAR系统所获取的点云数据，车载街景移动采集系统所获取的街景影像能够包含更多真实场景的语义信息和空间信息，为杆状地物的自动提取与分类提供了充足的数据支持；
[0017]2)相较于传统算法手工设计特征在复杂场景下的效果不佳，深度学习算法能够很好地发现隐藏在高维图像空间中的复杂结构和判别信息，具有较强的场景泛化能力，并具备较为理想的应用前景；
[0018]3)针对深度学习算法存在的大样本需求问题，迁移学习方法从目标任务相似性出发，充分利用历史源域数据在计算能力强的设备上训练好的模型信息，解决了目标任务数据稀缺、领域分布异构的问题，能够满足实际应用中杆状地物多分类提取的个性化需求。

技术实现思路

[0019]针对以上研究存在的不足，本专利技术所要解决的问题在于提供一种基于街景影像的杆状地物多分类提取方法，针对杆状地物分类模糊的问题，本文专利技术构建了一个规范的分类体系，针对开源数据集缺乏的问题，构建了一个场景丰富类别多样的样本库，针对杆状地物语义分割结果中的存在的分割不足、误提取和不连续的问题，构建了一个LPNet分类提取模型。
[0020]为了解决上述技术问题，本专利技术通过以下技术方案来实现：
[0021]本专利技术提供的基于街景影像的杆状地物多分类提取方法，包括以下步骤：
[0022]S1：构建分类体系。以沈阳市为例，依据各类杆状地物具备的功能和所属特征，对其类别进行定义；
[0023]S2：构建样本库。依照步骤S1构建的分类体系，制作多类别杆状地物样本集；
[0024]S3：构建分类模型LPNet。依据各类杆状地物的结构特点和影像空间分布情况，进行相关功能模块的设计；
[0025]S4：利用迁移学习完成模型训练和杆状地物分类；
[0026]S5：完善杆状地物提取结果。
[0027]进一步的，所述步骤S1的具体步骤如下：
[0028]步骤S1.1：路灯杆(较为均匀的分布在道路两侧，用于交通照明)；
[0029]步骤S1.2：电力杆(居民区以簇状分布为主，沿街区域以均匀分布为主，生产生活用电)；
[0030]步骤S1.3：交通电杆(较为均匀的沿轻轨分布，轻轨专用)；
[0031]步骤S1.4：交通信号杆(绝大多数分布在岔路口，用于指挥交通)；
[0032]步骤S1.5：监控杆(交管系统，无明显分布规律)；
[0033]步骤S1.6：指路牌杆(杆较高，牌子较大，位置整体偏影像上半部分，以方形为主，用于街道提示)；
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于街景影像的杆状地物多分类提取方法，其特征在于，包括如下步骤：S1：构建分类体系，以沈阳市为例，依据各类杆状地物具备的功能和所属特征，对其类别进行定义；S2：构建样本库，依照步骤S1构建的分类体系，制作多类别杆状地物样本集；S3：构建分类模型LPNet，依据各类杆状地物的结构特点和影像空间分布情况，进行相关功能模块的设计；S4：利用迁移学习完成模型训练和杆状地物分类；S5：完善杆状地物提取结果。2.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法，其特征在于，所述步骤S1包括以下步骤：步骤S1.1：路灯杆(较为均匀的分布在道路两侧，用于交通照明)；步骤S1.2：电力杆(居民区以簇状分布为主，沿街区域以均匀分布为主，生产生活用电)；步骤S1.3：交通电杆(较为均匀的沿轻轨分布，轻轨专用)；步骤S1.4：交通信号杆(绝大多数分布在岔路口，用于指挥交通)；步骤S1.5：监控杆(交管系统，无明显分布规律)；步骤S1.6：指路牌杆(杆较高，牌子较大，位置整体偏影像上半部分，以方形为主，用于街道提示)；步骤S1.7：指示牌杆(杆较小，牌子较小，位置整体偏影像下半部分，用于警示行人和车辆)；步骤S1.8：通讯杆(通讯基站，用于移动网络通信)；步骤S1.9：限高杆(主要分布特殊路段，呈黑黄相间的门洞型结构，入口和出口)。3.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法，其特征在于，所述步骤S2包括以下步骤：步骤S2.1：从98000张双目左侧像中挑选出3408张具有代表性的影像；步骤S2.2：利用Labelme样本标注工具，依照步骤S1构建的杆状地物分类体系进行样本标注；步骤S2.3：针对目标被遮挡的标注抉择；步骤S2.3.1：若杆体中部被遮挡部分小于整体的三分之一，则视为无遮挡，按照人的先验知识进行预估标注；步骤S2.3.2：若杆状地物被遮挡部分超过三分之二，且杆体类别特征不完整，则不予标注；步骤S2.3.3：其他情况下，只标注能看到的部分。4.根据权利要求1所述的一种基于街景影像的杆状地物多分类提取方法，其特征在于，所述步骤S3包括以下步骤：步骤S3.1：针对杆状地物的语义分割结果中存在分割不足的情况，提出具有多级感受野的Multi
‑
scale Phased Controller(MPC)模块，用以减少间距较近的杆状地物之间分割不足的问题；步骤S3.2：依据各类杆状地物独有的结构特征，加入Deformable
‑
Convolution(Def
‑
Conv)模块，使模型具备自适应杆体结...

【专利技术属性】
技术研发人员：戴激光，张子恩，许浩，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：