视差计算语义分割联合输出网络、避障方法及装置制造方法及图纸

技术编号:40922906 阅读:12 留言:0更新日期:2024-04-18 14:47
本申请公开了一种视差计算语义分割联合输出网络、避障方法及装置,属于双目视觉领域,包括:特征提取子网络、语义分割子网络以及视差估计子网络;特征提取子网络的输入为左目图像及右目图像,通过权重共享的孪生卷积神经网络进行特征提取并输出左特征图及右特征图;视差估计子网络的输入为左特征图及右特征图,通过匹配代价计算、代价聚合、视差计算及视差优化方法进行双目立体匹配并输出视差预测结果;语义分割子网络的输入为左特征图,通过语义分割学习左特征图的语义信息并输出语义预测结果;融合视差预测结果和语义预测结果得到最终预测结果,并根据最终预测结果进行避障。增加植保作业中农用无人机对障碍物的感知,提高高空作业时的安全性。

【技术实现步骤摘要】

本申请涉及一种视差计算语义分割联合输出网络、避障方法及装置,属于双目视觉领域。


技术介绍

1、多年来,病虫害一直是影响粮食产量的主要问题之一,因此,我国每年需要进行大量的植保作业。使用现代的高科技无人机代替人工作业,喷洒农业,解决农药对人体腐蚀中毒和效率慢的问题。

2、农用无人机需要具备自主航测,全向避障的功能。精准描绘地形和障碍物细节,规划出航线。无人机的避障技术主要分为:红外避障、超声波避障、激光避障以及视觉避障。在视觉避障中又分为单目视觉和双目视觉。

3、双目视觉的基本原理是利用两个平行的摄像头进行拍摄,根据两幅图像之间的差异(视差)获得深度图从而得到障碍物的距离信息。传统的双目深度估计算法在水域、农田、森林这些区域由于他们的纹理十分相近,肉眼难以区分,往往表现较差。如图1所示的农田场景中,无人机进行高空作业时,由于飞行高度较高,图像中天空占比较多对视差预测造成极大的干扰。


技术实现思路

1、本申请的目的在于提供一种视差计算语义分割联合输出网络、避障方法及装置,通过语义分割辅助指本文档来自技高网...

【技术保护点】

1.一种视差计算语义分割联合输出网络,其特征在于,包括:

2.如权利要求1所述的视差计算语义分割联合输出网络,其特征在于,所述特征提取子网络包括1个卷积层和4个残差模块;

3.如权利要求1或2所述的视差计算语义分割联合输出网络,其特征在于,所述视差估计子网络具体用于:

4.如权利要求3所述的视差计算语义分割联合输出网络,其特征在于,所述视差估计子网络还用于:

5.如权利要求4所述的视差计算语义分割联合输出网络,其特征在于,所述视差估计子网络还用于:

6.如权利要求5所述的视差计算语义分割联合输出网络,其特征在于,所述视差估计子网...

【技术特征摘要】

1.一种视差计算语义分割联合输出网络,其特征在于,包括:

2.如权利要求1所述的视差计算语义分割联合输出网络,其特征在于,所述特征提取子网络包括1个卷积层和4个残差模块;

3.如权利要求1或2所述的视差计算语义分割联合输出网络,其特征在于,所述视差估计子网络具体用于:

4.如权利要求3所述的视差计算语义分割联合输出网络,其特征在于,所述视差估计子网络还用于:

5.如权利要求4所述的视差计算语义分割联合输出网络,其特征在于,所述视差估计子网络还用于:

6.如权利要求5所述的视差计算语义分...

【专利技术属性】
技术研发人员:常志中汪国会王香珊
申请(专利权)人:黑龙江惠达科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1