基于二维纹理和三维姿态融合的局部对象提取方法、装置制造方法及图纸

本发明专利技术公开了一种基于二维纹理和三维姿态融合的局部对象提取方法、装置，所述方法包括：获取的影像序列；根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。采用上述方案，在二维纹理语义的基础上融合三维姿态语义，提取建筑物等城市场景影像的局部对象时，同时考虑纹理语义和姿态语义，显著提高了提取结果的准确度和效率，更具有实用性。有实用性。有实用性。

【技术实现步骤摘要】
基于二维纹理和三维姿态融合的局部对象提取方法、装置


[0001]本专利技术涉及测绘
，尤其涉及一种基于二维纹理和三维姿态融合的局部对象提取方法、装置。

技术介绍

[0002]随着智慧城市的迅速发展，数字实景城市的需求和工作增长迅速，虽然通过无人机等方式可以获取建筑物较为完整的整体轮廓和影像序列。为了满足进一步精细化的数字实景城市的智能管理需求，需要在建筑物或者其他物体上提取出更为细节的影像特征，例如门窗、屋顶、广告牌、管道或外置部件等局部的细节元素。
[0003]现有技术中，在面对提取细节元素或局部对象提取的需求时，通常采用的方式是，基于影像的纹理颜色特征，利用超像素分割或者图像特征提取等方式分割提取出影像中的细节元素。
[0004]但是，仅仅基于影像的纹理颜色特征进行细节元素的提取，在数字实景城市的应用场景下存在较大的局限性，提取结果的准确度较低。原因在于，数字实景城市的影像不同于普通的图像，其影像的尺度很大，而分辨率相对较低、显示较为模糊，特别是阴影区域不可避免，细节元素的边界界线更是难以分辨，同时细节元素在纹理颜色上与周围部分相似，受此限制，基于纹理颜色进行划分提取的方式难以有效、准确的实现局部对象、细节元素的提取，不具备实用性。

技术实现思路

[0005]专利技术目的：本专利技术提供一种基于二维纹理和三维姿态融合的局部对象提取方法、装置，旨在提取建筑物等城市场景影像的局部对象时，同时考虑纹理语义和姿态语义，显著提高了提取结果的准确度和效率，更具有实用性。
[0006]技术方案：本专利技术提供的一种基于二维纹理和三维姿态融合的局部对象提取方法，包括：获取城市场景的影像序列，通过布设的像控点生成真实坐标下的点云，建立影像与点云之间的转换关系；通过第一全卷积网络，根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；其中，所述三维姿态语义包括点云中的点的倾斜方位、倾斜角度和曲率；将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。
[0007]具体的，点云中的点与局部邻域内其他的点进行拟合，形成拟合面；倾斜方位α表示拟合面的垂直法向量投影在水平面坐标系中的角度，取值范围为0
°
~360
°
；倾斜角度β表
示拟合面与水平面之间的夹角，取值范围为0
°
~90
°
；曲率c表示拟合面的曲率。
[0008]具体的，将影像整体预先划分为多个格网单元，根据像素点和周围预设数量格网单元的纹理语义，分别计算像素点与周围预设数量格网单元之间的归属概率。
[0009]具体的，根据影像与点云之间的转换关系，将密集点云中的各个点的三维姿态语义分配至影像上对应的像素点；根据像素点和周围预设数量格网单元的三维姿态语义，分别计算像素点与周围预设数量格网单元之间的归属概率。
[0010]具体的，所述第一全卷积网络的训练过程包括：采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：Loss(M1)=∑
p1
||f
Lab
(p1)
‑ꢀ
f
Lab
’
(p1)||2+m/s||p1
‑
p1
’
||2，其中，M1表示第一归属概率，p1表示影像上的像素点，p1=（x
col , y
row
）
T
表示像素点平面位置坐标，s表示采样间隔，m表示权重控制参数，f
Lab
(p1)=(L,a,b)
T
表示像素点p1的颜色属性，f
Lab
’
(p1)= ∑
G1∈N0
(color
G1
·
q
G1
(p1))，p1
’
=∑
G1∈N0
(position
G1
·
q
G1
(p1))，q
G1
(p1)表示像素点p1与格网单元G1之间的第一归属概率，N0表示像素点P1周围预设数量格网单元的集合，color
G1
=(∑
p1:G1∈N0 (f
Lab
(p1)
·
q
G1
(p1)))/(∑
p1:G1∈N0
(q
G1
(p1)))，position
G1
=(∑
p1:G1∈N0 (p1
·
q
G1
(p1)))/(∑
p1:G1∈N0
(q
G1
(p1)))，∑
p1:G1∈N0
表示在N0范围内与格网单元G1之间存在归属概率的所有像素点p1。
[0011]具体的，所述第二全卷积网络的训练过程包括：采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：Loss(M2)=∑
p2
||f
αβc
(p2)
‑ꢀ
f
αβc
’
(p2)||2+m/s||p2
‑
p2
’
||2，其中，M2表示第二归属概率，p2表示影像上的像素点，p2=（x
col
’
, y
row
’
）
T
表示像素点张量元素平面位置坐标，f
αβc (p2)=( α,β,c)
T
表示像素点p2的三维姿态语义，f
αβc
’
(p2)= ∑
G2∈N0
(occurrence
G2
·
q
G2
(p2))，p2
’
=∑
G2∈N0
(position
G2
·
q
G2
(p2))，q
G2
(p2)表示像素点p2与格网单元G2之间的第二归属概率，N0表示像素点P2周围预设数量格网单元的集合，occurrence
G2
=(∑
p2:G2∈N0 (f
αβc (p2)
·
q
G2
(p2)))/(∑
p2:G2∈N0
(q
G2
(p2)))，position
G2
=(∑
p2:G2∈N0 (p2
·
q
G2
(p2)))/(∑
p2:G2∈N0
(q
G2
(p2)))，∑
p2:G2∈N0
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，包括：获取城市场景的影像序列，通过布设的像控点生成真实坐标下的点云，建立影像与点云之间的转换关系；通过第一全卷积网络，根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率；将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率；其中，所述三维姿态语义包括点云中的点的倾斜方位、倾斜角度和曲率；将第一归属概率和第二归属概率进行融合，得到影像上的各个像素点对应的融合概率；依据影像上各个像素点的融合概率所指向的邻域，进行影像的局部对象划分。2.根据权利要求1所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，通过密集点云中的点的三维坐标，逐个计算各点的三维姿态语义(α，β，c)，其中：点云中的点与局部邻域内其他的点进行拟合，形成拟合面；倾斜方位α表示拟合面的垂直法向量投影在水平面坐标系中的角度，取值范围为0
°
~360
°
；倾斜角度β表示拟合面与水平面之间的夹角，取值范围为0
°
~90
°
；曲率c表示拟合面的曲率。3.根据权利要求2所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述通过第一全卷积网络，根据纹理语义计算影像上的像素点与周围的各个邻域之间的第一归属概率，包括：将影像整体预先划分为多个格网单元，根据像素点和周围预设数量格网单元的纹理语义，分别计算像素点与周围预设数量格网单元之间的归属概率。4.根据权利要求3所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述将三维姿态语义投影至影像上对应的像素点，通过第二全卷积网络，根据三维姿态语义计算影像上的像素点与周围的各个邻域之间的第二归属概率，包括：根据影像与点云之间的转换关系，将密集点云中的各个点的三维姿态语义分配至影像上对应的像素点；根据像素点和周围预设数量格网单元的三维姿态语义，分别计算像素点与周围预设数量格网单元之间的归属概率。5.根据权利要求4所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述第一全卷积网络的训练过程包括：采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：Loss(M1)=∑
p1
||f
Lab
(p1)
‑ꢀ
f
Lab
’
(p1)||2+m/s||p1
‑
p1
’
||2，其中，M1表示第一归属概率，p1表示影像上的像素点，p1=（x
col
, y
row
）
T
表示像素点平面位置坐标，s表示采样间隔，m表示权重控制参数，f
Lab
(p1)=(L,a,b)
T
表示像素点p1的颜色属性，f
Lab
’
(p1)= ∑
G1∈N0
(color
G1
·
q
G1
(p1))，p1
’
=∑
G1∈N0
(position
G1
·
q
G1
(p1))，q
G1
(p1)表示像素点p1与格网单元G1之间的第一归属概率，N0表示像素点P1周围预设数
量格网单元的集合，color
G1
=(∑
p1:G1∈N0 (f
Lab
(p1)
·
q
G1
(p1)))/(∑
p1:G1∈N0
(q
G1
(p1)))，position
G1
=(∑
p1:G1∈N0 (p1
·
q
G1
(p1)))/(∑
p1:G1∈N0
(q
G1
(p1)))，∑
p1:G1∈N0
表示在N0范围内与格网单元G1之间存在归属概率的所有像素点p1。6.根据权利要求5所述的基于二维纹理和三维姿态融合的局部对象提取方法，其特征在于，所述第二全卷积网络的训练过程包括：采用训练集进行训练，直到如下损失函数达到预设阈值时训练完成：Loss(M2)=∑
p2
||f
αβc

【专利技术属性】
技术研发人员：张荣春，衣雪峰，李浩，杨立君，卢官明，解琨，江畅，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：