【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别是涉及一种双目图像的立体匹配方法。
技术介绍
1、传统的立体匹配方法是针对可见光谱范围内的图像对而设计的，在可见光谱范围内，图像结构和强度表现出一致性。然而，在描绘同一场景的跨光谱图像中，不同波长的光线与物体特性之间错综复杂的相互作用带来了巨大的结构和强度差异，给跨光谱立体匹配任务带来了严峻的挑战。为了缩小跨光谱图像对之间的差距，现有研究通常采用将这些图像对映射到一个共同领域的方法。这种转换有效地将跨光谱立体匹配的挑战转变为统一领域内的传统立体匹配任务。尽管如此，这些领域映射技术在面对有明显差距的区域时仍然会遇到困难。
2、卡内基梅隆大学的ilim实验室提出了一种新颖的深度学习框架，可以进行光谱转换并估计视差。视差预测网络中纳入了材质感知损失函数，以处理匹配不可靠的区域，例如光源、玻璃挡风玻璃和光滑表面。该框架包含三个模块，即光谱转换模块、视差估计模块、语义分割模块，光谱转换用于将可见光图转换为伪近红外图像，并通过在伪近红外图像和原近红外图像构建视差估计模块的损失函数。同时，由于转换得倒的伪近红外图像和原近红外图像之间在某些类别上存在显著差异，因此引入了语义分割模块，获得材料先验，针对各个类别分别设计损失函数。这种方案针对具体类别设计的损失函数，当应用到不同环境中，原先设计的先验条件失效，模型需要重新获取语义材料先验并训练，可迁移性差。同时，对于近红外和可见光两种光成像的域差较大区域效果仍不理想。
技术实现思路
1、本专利技术所要解决的技术
2、本专利技术解决其技术问题所采用的技术方案是：提供一种双目图像的立体匹配方法，包括以下步骤：
3、获取双目图像；
4、采用立体匹配模型对所述双目图像进行分析获得视差估计；所述立体匹配模型包括：
5、视差估计网络，用来提取所述双目图像的多尺度双目融合特征，并根据所述双目融合特征预测视差估计；
6、光谱转换网络，用来分别提取所述双目图像不同视角的多尺度单目特征进而生成单目伪图像，且在任一尺度的多尺度单目特征提取后嵌入特征交互模块对所述任一尺度的所述单目特征进行优化；
7、所述视差估计网络和所述光谱转换网络通过所述单目伪图像和所述视差估计来调整网络参数。
8、进一步的，所述双目图像的不同视角的图像分别采样于不同谱段。
9、进一步的，所述对所述任一尺度的所述单目特征进行优化包括：
10、将相同尺度的所述双目融合特征与所述单目特征进行特征融合，获得单目融合特征；
11、将不同视角的所述单目融合特征进行特征交叉。
12、进一步的，所述将所述双目融合特征与所述单目特征进行特征融合，包括：
13、基于自注意力机制将所述双目融合特征转化为不同视角的融合注意向量；
14、将所述融合注意向量以残差方式连接到对应视角的所述单目特征。
15、进一步的，所述将不同视角的单目融合特征进行特征交叉，包括：
16、基于双向注意力机制利用所述单目融合特征计算交叉注意向量；
17、将所述交叉注意向量以残差方式连接到对应视角的所述单目融合特征。
18、进一步的，所述视差损失函数包括域差一致性损失ldiv，所述域差一致性损失ldiv通过以下方法获得：
19、计算所述单目伪图像与相同视角的所述双目图像的域差图s；
20、利用所述视差估计对所述双目图像进行视差扭曲，并计算视差扭曲后获得的图像与另一视角的所述双目图像的域差图d；
21、将所述域差图s和所述域差图d分别转化为直方图hs和直方图hd；
22、计算域差一致性损失ldiv，
23、
24、其中，m为所述直方图hs和所述直方图hd中直条的个数。
25、进一步的，所述视差损失函数包括还包括视差估计损失ldpn
26、
27、其中，和分别为第一、第二视角的对齐项，和分别为第一、第二视角的视图一致性项，和分别为第一、第二视角的平滑项，所述对齐项对齐项平滑项和平滑项是基于置信度加权的。
28、进一步的，所述置信度通过以下公式计算
29、
30、
31、其中，c1(p)和c2(p)分别为第一、第二视角的置信度，和分别为第一、第二视角的所述双目图像，和分别为第一、第二视角的所述单目伪图像，p为像素点，ω是像素坐标空间。
32、进一步的，所述视差损失函数还包括双向光谱转换损失lstn
33、
34、其中，n为像素点数量，p为像素点，和分别为第一、第二视角的所述单目伪图像，和分别为第一、第二视角的所述双目图像，和分别为第二、第一视角的所述双目图像经过视差扭曲后的图像，和分别为第二、第一视角的所述单目伪图像经过视差扭曲后的图像。
35、有益效果
36、由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术通过在进行多尺度特征提取时嵌入特征交互模块，利用自注意力来关注双目融合特征中的关键结构，利用交叉注意力来增强两个单眼域特征之间的差异区域，在反向传播和迭代过程中，增强了对具有显着域差异的区域中的双眼特征的感知；通过在原有损失函数中加入置信度加权视差估计损失，能够最小化由于使用原始图像作为视差估计监督而产生的域差引入的错误；通过加入域差一致性损失，促进光谱转换网络和视差估计网络的协同进化，优化了两个网络在域差较大区域的处理效果。
本文档来自技高网...【技术保护点】
1.一种双目图像的立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述双目图像的不同视角的图像分别采样于不同谱段。
3.根据权利要求2所述的方法，其特征在于，所述对所述任一尺度的所述单目特征进行优化包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述双目融合特征与所述单目特征进行特征融合，包括：
5.根据权利要求3所述的方法，其特征在于，所述将不同视角的单目融合特征进行特征交叉，包括：
6.根据权利要求2所述的方法，其特征在于，所述视差损失函数包括域差一致性损失Ldiv，
7.根据权利要求6所述的方法，其特征在于，所述视差损失函数包括还包括视差估计损失Ldpn
8.根据权利要求7所述的方法，其特征在于，所述置信度通过以下公式计算
9.根据权利要求8所述的方法，其特征在于，所述视差损失函数还包括双向光谱转换损失Lstn
【技术特征摘要】
1.一种双目图像的立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述双目图像的不同视角的图像分别采样于不同谱段。
3.根据权利要求2所述的方法，其特征在于，所述对所述任一尺度的所述单目特征进行优化包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述双目融合特征与所述单目特征进行特征融合，包括：
5.根据权利要求3所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：李杨钦，朱冬晨，张广慧，李嘉茂，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。