【技术实现步骤摘要】
本申请涉及一种视差计算语义分割联合输出网络、避障方法及装置，属于双目视觉领域。
技术介绍
1、多年来，病虫害一直是影响粮食产量的主要问题之一，因此，我国每年需要进行大量的植保作业。使用现代的高科技无人机代替人工作业，喷洒农业，解决农药对人体腐蚀中毒和效率慢的问题。
2、农用无人机需要具备自主航测，全向避障的功能。精准描绘地形和障碍物细节，规划出航线。无人机的避障技术主要分为：红外避障、超声波避障、激光避障以及视觉避障。在视觉避障中又分为单目视觉和双目视觉。
3、双目视觉的基本原理是利用两个平行的摄像头进行拍摄，根据两幅图像之间的差异(视差)获得深度图从而得到障碍物的距离信息。传统的双目深度估计算法在水域、农田、森林这些区域由于他们的纹理十分相近，肉眼难以区分，往往表现较差。如图1所示的农田场景中，无人机进行高空作业时，由于飞行高度较高，图像中天空占比较多对视差预测造成极大的干扰。
技术实现思路
1、本申请的目的在于提供一种视差计算语义分割联合输出网络、避障方法及装置，通过语义分割辅助指导双目立体匹配，提高立体匹配在光照不均及遮挡等恶劣条件下的准确性，实现准确避障。
2、为实现上述目的，本申请第一方面提供了一种视差计算语义分割联合输出网络，包括：
3、特征提取子网络、语义分割子网络以及视差估计子网络；
4、所述特征提取子网络的输入为左目图像及右目图像，通过权重共享的孪生卷积神经网络进行特征提取并输出左特征图及右特征图；>
5、所述视差估计子网络的输入为所述左特征图及右特征图，通过匹配代价计算、代价聚合、视差计算及视差优化方法进行双目立体匹配并输出视差预测结果；
6、所述语义分割子网络的输入为所述左特征图，通过语义分割学习所述左特征图的语义信息并输出语义预测结果；
7、融合所述视差预测结果和所述语义预测结果得到最终预测结果。
8、在一种实施方式中，所述特征提取子网络包括1个卷积层和4个残差模块；
9、所述特征提取子网络具体用于：通过1个卷积层分别对左目图像及右目图像进行通道数变换，然后通过4个残差模块进行卷积、归一化和正则化操作，输出所述左特征图及右特征图，其中，所述左特征图及右特征图均包括下采样4倍、8倍和16倍三种不同分辨率的特征图。
10、在一种实施方式中，所述视差估计子网络具体用于：
11、通过correlation的方式进行匹配代价计算并得到所述左特征图及右特征图的相关性，得到一个大小为w*h*d的三维矩阵，其中，w和h分别为左特征图或右特征图的宽和高，d为视差的搜索范围。
12、在一种实施方式中，所述视差估计子网络还用于：
13、根据所述三维矩阵进行代价聚合并得到聚合后的匹配代价，其中，所述代价聚合包括相同分辨率的匹配代价聚合，以及不同分辨率下的匹配代价聚合。
14、在一种实施方式中，所述视差估计子网络还用于：
15、对聚合后的匹配代价在视差范围d内进行softmax操作，得到所述三维矩阵中各像素位置的视差值并得到视差预测图。
16、在一种实施方式中，所述视差估计子网络还用于：
17、将所述视差预测图上采样到初始的分辨率后与所述左目图像进行融合并得到视差预测结果。
18、在一种实施方式中，所述语义分割子网络包括编码器和解码器；
19、所述编码器用于：基于所述左特征图，通过伪标签方法训练半监督分割网络，并通过训练后的半监督分割网络提取多尺度特征；
20、所述解码器用于：基于深度可分离卷积对所述多尺度特征进行融合，得到所述左特征图的语义预测结果。
21、在一种实施方式中，融合所述视差预测结果和所述语义预测结果得到最终预测结果包括：
22、将所述语义预测结果嵌入至所述视差预测结果中，通过融合网络计算残差图，通过所述残差图对所述视差预测结果进行修正并得到融合视差预测结果，同时通过融合网络将所述视差预测结果中的深度信息与所述语义预测结果融合，得到融合语义分割结果，将所述融合视差预测结果和所述融合语义分割结果作为最终预测结果。
23、本申请第二方面提供了一种避障方法，包括：通过上述第一方面或者上述第一方面的任一实施方式中的步骤得到的最终预测结果进行避障。
24、本申请第三方面提供了一种避障装置，包括：基于上述第二方面中所述方法的步骤进行避障。
25、由上可见，本申请提供了一种视差计算语义分割联合输出网络，通过单独的语义分割子网络来学习更多的语义信息，与视差估计子网络并行处理特征信息，辅助指导双目立体匹配，去除弱纹理区域带来的噪声，这些噪声可能会导致错误的视差结果。通过语义分割提供额外的信息来改善视差预测在某些情况下的不足，提高立体匹配在光照不均及遮挡等恶劣条件下的准确性，准确识别水域、农田、森林等纹理相近的障碍物。避障方法及装置适用于植保作业中农用无人机的避障，提高了农用无人机对环境障碍物的感知能力，从而进一步提高了农用无人机进行高空作业时的安全性。
本文档来自技高网...【技术保护点】
1.一种视差计算语义分割联合输出网络，其特征在于，包括：
2.如权利要求1所述的视差计算语义分割联合输出网络，其特征在于，所述特征提取子网络包括1个卷积层和4个残差模块；
3.如权利要求1或2所述的视差计算语义分割联合输出网络，其特征在于，所述视差估计子网络具体用于：
4.如权利要求3所述的视差计算语义分割联合输出网络，其特征在于，所述视差估计子网络还用于：
5.如权利要求4所述的视差计算语义分割联合输出网络，其特征在于，所述视差估计子网络还用于：
6.如权利要求5所述的视差计算语义分割联合输出网络，其特征在于，所述视差估计子网络还用于：
7.如权利要求1或2所述的视差计算语义分割联合输出网络，其特征在于，所述语义分割子网络包括编码器和解码器；
8.如权利要求1或2所述的视差计算语义分割联合输出网络，其特征在于，所述融合所述视差预测结果和所述语义预测结果得到最终预测结果包括：
9.一种避障方法，其特征在于，包括：通过如权利要求1至8任一项所述的视差计算语义分割联合输出网络得到的最终预测
10.一种避障装置，其特征在于，包括：基于如权利要求9所述方法的步骤进行避障。
...【技术特征摘要】
1.一种视差计算语义分割联合输出网络，其特征在于，包括：
2.如权利要求1所述的视差计算语义分割联合输出网络，其特征在于，所述特征提取子网络包括1个卷积层和4个残差模块；
3.如权利要求1或2所述的视差计算语义分割联合输出网络，其特征在于，所述视差估计子网络具体用于：
4.如权利要求3所述的视差计算语义分割联合输出网络，其特征在于，所述视差估计子网络还用于：
5.如权利要求4所述的视差计算语义分割联合输出网络，其特征在于，所述视差估计子网络还用于：
6.如权利要求5所述的视差计算语义分...
【专利技术属性】
技术研发人员：常志中，汪国会，王香珊，
申请(专利权)人：黑龙江惠达科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。