一种高分辨率城市卫星立体图像的视差图计算方法技术

本发明专利技术属于高分辨率卫星影像三维重建技术领域，具体涉及一种高分辨率城市卫星立体图像的视差图计算方法。本发明专利技术解决了现有卫星影像稠密立体匹配方法在遮挡区域出现匹配漏洞以及在视差不连续区域出现误匹配的问题。本发明专利技术在Census代价和Patch代价加权和的基础上引入对于纹理特征敏感的PHOW特征计算卫星图像的匹配代价，提高了光照变化区域、弱纹理区域和建筑物犄角等区域的匹配代价的描述能力。本发明专利技术将匹配代价优化问题转化为区域标记问题，通过区域边界和区域模型来约束区域内匹配代价的优化，能够定位深度不连续的视差断层区域，填补视差图中的空洞，区域边界和模型是动态更新的，有效地提高了区域边界和区域模型的准确性。准确性。准确性。

【技术实现步骤摘要】
一种高分辨率城市卫星立体图像的视差图计算方法


[0001]本专利技术属于高分辨率卫星影像三维重建
，具体涉及一种高分辨率城市卫星立体图像的视差图计算方法。

技术介绍

[0002]城市三维信息对于城市智能交通，城市智能规划和灾害防控等应用都起到了至关重要的作用，因此城市三维地理信息具有巨大的经济价值和国防战略意义。因此，通过高分辨率城市卫星影像进行城市三维重建的方法已经受到了很大的关注。该方法一般包括立体校正，稠密视差图计算和三角测量三个过程。作为三维重建的核心，已经提出的适用于卫星立体图像对的稠密视差图构建方法大致可以分成两类，一类是基于半全局匹配(SGM)的方法，另一类是基于区域的匹配方法。
[0003]原始半全局匹配(SGM)方法首先通过互信息熵计算匹配代价，然后利用代价聚合获得准确的视差图。存在利用Census变换替代互信息熵计算匹配代价的方法，进而获得视差结果。但是Census是通过构建中心像素点与周围像素点灰度值的大小关系来表示当前像素的特征的，利用大小关系计算不同像素之间的相似程度经常导致匹配代价丧失匹配的单一性。基于区域的匹配方法大多利用切块匹配(Patch Match，PM)获取匹配代价。PM计算匹配代价是以参考图像的像素为中心开辟支撑窗口，然后在第二图像中移位该支撑窗口将，最低代价像素点作为匹配点。但是，该过程存在隐含的假设，即支撑窗口内的所有像素具有恒定的视差，这导致支撑窗口内的其他像素视差被中心像素“归一化”。在视差不连续区域PM方法误差会很大。
[0004]此外，在匹配代价优化阶段，动态规划的方法被用于减少“归一化”的影响。也有研究者利用自适应支持权重的导向滤波器法对代价量进行滤波，目的是还原深度不连续区域的真实物体边缘。但是高分辨率城市卫星影像是卫星在高速运动条件下获取的，因此在卫星立体图像中存在更多倾斜的建筑，导致图像中存在大量遮挡区域，上述两类方法在在遮挡区域无法获取可靠的匹配信息，因此获取的视差图包含很多视差空洞。同时，在大幅面的城市卫星影像中存在大量的密集的建筑，不同高度的建筑物之间、建筑物屋顶和立墙之间以及立墙与地面之间都形成了视差不连续的视差断层。通过上述两类方法获得的视差图在深度不连续的视差断层区域都存在大量的误差。这些视差空洞和视差不连续区域处的误差都严重影响了城市三维重建的精度。

技术实现思路

[0005]本专利技术的目的在于提供能够有效的填充遮挡区域的视差空洞，并优化视差不连续区域的视差结果，为高分辨率城市卫星影像三维重建提供准确的稠密视差结果的一种高分辨率城市卫星立体图像的视差图计算方法。
[0006]本专利技术的目的通过如下技术方案来实现：包括以下步骤：
[0007]步骤1：通过超像素分割方法将立体校正的高分辨率城市卫星立体图像对应的参
考图像划分成贴合实际目标轮廓的超像素区域，得到n个超像素区域集合
[0008]步骤2：使用基于PHOW特征的下采样匹配方法在每个超像素区域内获得分布均匀的匹配点，并利用多模型拟合的方法计算每个超像素区域对应的单应模型；
[0009]步骤3：利用三种相似性度量的联合加权的方法计算高分辨率城市卫星立体图像中同名点之间的匹配代价COST；
[0010]步骤4：使用双重传播动态模型优化方法，在超像素区域模型的约束下对原始匹配代价的进行迭代优化，实现区域模型的动态更新，以解决遮挡区域和视差不连续区域对匹配造成的影响，并通过最小化能量函数的方式获得优化后的城市卫星立体图像对应的视差图；
[0011]首先执行外部传播，通过置信传播BP构建外传播概率图模型，超像素块作为图的节点，超像素之间的相邻关系作为图的边；为了解决因BP结构中的“环结构”导致消息的循环传播，在每次迭代中会通过区域面积筛选出对应的“目标节点”，这些节点只作为消息的接收者，不会向外传播消息，“目标节点”融合成新的“非目标节点”之后会继续向外传播消息，具体传播步骤如下：
[0012]步骤4.1：计算外部传播中的消息；
[0013][0014][0015][0016][0017][0018]其中，表示节点j传到相邻节点i第t次迭代的消息；φ
i
(x
i
)为φ
i
(x
i
,y
i
)的简写，表示似然函数；ψ
j
→
i
(
·
)表示势函数；表示排除节点x
i
的x
j
邻域系统中所有传入节点x
j
的消息的乘积；g表示超像素区域i中的像素索引；f
g
表示在超像素区域i中的第g个像素的图像特征；δ
i
和μ
i
分别为在超像素区域i中的标准差和均值；DisG(
·
)和DisH(
·
)分别为超像素区域i与超像素区域j之间的灰度距离和单应模型距离；τ
g
和τ
h
分别对应于灰度距离和单应模型距离的截断值，被用于控制区域间视差差值在合理范围内；和分别为超像素区域i与超像素区域j内的像素点集合；I
p
为像素点p的灰度值；Num(p)为超像素区域内像素点p的数量；和分别为超像素区域i与超像素区域j内下采样点集合，合，||H
j
·
l
t
,l
t
′
||2表示下采样点t的坐标l
t
在单应模型H
j
作用下获得的坐标与匹配点坐标l
t
′
之间的欧氏距离，下采样点t和单应模型H
j
分别属于超像素区域i和超像素区域j；
[0019]步骤4.2：计算外部传播的置信度；节点i的置信度b
i
(x
i
)是所有传入节点i的消息与节点i似然函数的乘积；
[0020][0021]其中，k为归一化常数；
[0022]步骤4.3：外部传播迭代；“目标节点”与置信度最大的节点融合，形成新的“非目标节点”；如果结构中存在“目标节点”，则返回步骤4.1；否则，终止迭代，执行步骤4.4，进入内部传播；
[0023]步骤4.4：执行内部传播的惩罚传播；内部传播对外部传播形成的各个区域中的每个像素的匹配代价都沿着扫描线的路径进行迭代更新，内部传播包括八个方向的区域扫描线迭代；通过增加对区域边缘的惩罚来保护视差断层，同时也平滑区域内部代价；区域内沿扫描线的方向的惩罚传播计算公式如下：
[0024][0025]其中，为超像素区域S中迭代计算的匹配代价；C
s
(p,d)为超像素区域S中当前点匹配代价；N
r
(p)为超像素区域S中r路径上像素p的邻域；为超像素区域S中上一轮计算的匹配代价，q为位于超像素区域S中路径r上像素点p的前一个像素点；V
s
(D
p
,D
q<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高分辨率城市卫星立体图像的视差图计算方法，其特征在于，包括以下步骤：步骤1：通过超像素分割方法将立体校正的高分辨率城市卫星立体图像对应的参考图像划分成贴合实际目标轮廓的超像素区域，得到n个超像素区域集合步骤2：使用基于PHOW特征的下采样匹配方法在每个超像素区域内获得分布均匀的匹配点，并利用多模型拟合的方法计算每个超像素区域对应的单应模型；步骤3：利用三种相似性度量的联合加权的方法计算高分辨率城市卫星立体图像中同名点之间的匹配代价COST；步骤4：使用双重传播动态模型优化方法，在超像素区域模型的约束下对原始匹配代价的进行迭代优化，实现区域模型的动态更新，以解决遮挡区域和视差不连续区域对匹配造成的影响，并通过最小化能量函数的方式获得优化后的城市卫星立体图像对应的视差图；首先执行外部传播，通过置信传播BP构建外传播概率图模型，超像素块作为图的节点，超像素之间的相邻关系作为图的边；为了解决因BP结构中的“环结构”导致消息的循环传播，在每次迭代中会通过区域面积筛选出对应的“目标节点”，这些节点只作为消息的接收者，不会向外传播消息，“目标节点”融合成新的“非目标节点”之后会继续向外传播消息，具体传播步骤如下：步骤4.1：计算外部传播中的消息；步骤4.1：计算外部传播中的消息；ψ
j
→
i
(x
i
,x
j
)＝u
·
min(DisG(x
i
,x
j
),τ
g
)+v
·
min(DisH(x
i
,x
j
),τ
h
))其中，表示节点j传到相邻节点i第t次迭代的消息；φ
i
(x
i
)为φ
i
(x
i
,y
i
)的简写，表示似然函数；ψ
j
→
i
(
·
)表示势函数；表示排除节点x
i
的x
j
邻域系统中所有传入节点x
j
的消息的乘积；g表示超像素区域i中的像素索引；f
g
表示在超像素区域i中的第g个像素的图像特征；δ
i
和μ
i
分别为在超像素区域i中的标准差和均值；DisG(
·
)和DisH(
·
)分别为超像素区域i与超像素区域j之间的灰度距离和单应模型距离；τ
g
和τ
h
分别对应于灰度距离和单应模型距离的截断值，被用于控制区域间视差差值在合理范围内；和分别为超像素区域i与超像素区域j内的像素点集合；I
p
为像素点p的灰度值；Num(p)为超像素区域内像素点p的数量；和分别为超像素区域i与超像素区域j内下采样点集合，分别为超像素区域i与超像素区域j内下采样点集合，||H
j
·
l
t
,l
t
′
||2表示下采样点t的坐标l
t
在单应模型H
j
作用下获得的坐标与匹配点坐标l
t
′
之间的欧氏距离，下采样点t和单应模型H
j
分别属于超像素区域i和超像
素区域j；步骤4.2：计算外部传播的置信度；节点i的置信度b
i
(x
i
)是所有传入节点i的消息与节点i似然函数的乘积；其中，k为归一化常数；步骤4.3：外部传播迭代；“目标节点”与置信度最大的节点融合，形成新的“非目标节点”；如果结构中存在“目标节点”，则返回步骤4.1；否则，终止迭代，执行步骤4.4，进入内部传播；步骤4.4：执行内部传播的惩罚传播；内部传播对外部传播形成的各个区域中的每个像素的匹配代价都沿着扫描线的路径进行迭代更新，内部传播包括八个方向的区域扫描线迭代；通过增加对区域边缘的惩罚来保护视差断层，同时也平滑区域内部代价；区域内沿扫描线的方向的惩罚传播计算公式如下：其中，为超像素区域S中迭代计算的匹配代价；C
s
(p,d)为超像素区域S中当前点匹配代价；N
r
(p)为超像素区域S中r路径上像素p的邻域；为超像素区域S中上一轮计算的匹配代价，q为位于超像素区域S中路径r上像素点p的前一个像素点；V
s
(D
p
,D
q
)为超像素区域S中的惩罚函数，计算方法如下：其中，p1，p2和p3是惩罚因子，并且满足p2＞p3＞p1；p1惩罚超像素区域内视差变化为1个像素的情况；p2惩罚位于视差断层处的代价；p3惩罚超像素区域内视差变化大于1个像素的情况；惩罚函数既支持超像素内相邻像素之间的相似的视差和轻微的视差变化，也允许在超像素边缘处出现大的视差变化；步骤4.5：通过对每个方向上的代价求和获得超像素区域内优化后的能量S
s
(p,d)；通过对所有区域内的代价求和获得整张图像的能量函数E(D)；对所有区域内的代价求和获得整张图像的能量函数E(D)；步骤4.6：通过最小化能量函数的方式获得优化后的城市卫星立体图像对应的视差图；最小化能量函数的计算公式为：D＝arg min E(D)。2.根据权利要求1所述的一种高分辨率城市卫星立体图像的视差图计算方法，其特征在于：所述的步骤2中使用基于PHOW特征的下采样匹配方法在每个超像素区域内获得分布
均匀的匹配点，并利用多模型拟合的方法计算每个超像素区域对应的单应模型的方法具体为：步骤2.1：使用基于PHOW特征的下采样匹配方法在M个像素(x,y)处获取描述子PHOW(x,y)；PHOW(x,y)＝SIFT4(x,y)+SIFT8(x,y)+SIFT
12
(x,y)其中，...

【专利技术属性】
技术研发人员：门朝光，赵礼，李晗，李金龙，薛嘉明，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：