【技术实现步骤摘要】
一种基于神经网络的环视立体视觉匹配系统、方法及介质
本专利技术涉及图像处理
，尤其是一种基于神经网络的环视立体视觉匹配系统、方法及存储介质。
技术介绍
深度信息是计算机视觉领域最终要的信息之一，目前用于获取深度信息的技术主要有激光雷达、结构光、TOF和立体视觉。这几种技术中激光雷达获得的深度信息准确度最高，但是激光雷达价格非常昂贵，深度稀疏，没有视觉信息，并且体积大，重量重，功耗高，因此无法部署到无人机、机器人等无人系统上；结构光和TOF技术在室内使用时易受到外界光线的影响，而在室外使用时，精度很低，同时距离短，成本也比较高。虽然立体视觉系统能够提供一个比较折中的方案，尤其是基于在深度学习的立体估计提出后，立体视觉系统获得的深度信息精度获得了大幅提升。但传统的立体视觉系统是基于双目视觉的，而双目视觉只能获取单一方向的深度信息，由于无人车、无人机和智能机器人等智能实体的运动自由度比较大，单一方向深度信息无法很好的进行自主避障、自主导航等决策，单一深度信息已无法满足无人系统的应用场景需求。专利技术内...
【技术保护点】
1.一种基于神经网络的环视立体视觉匹配系统，其特征在于，包括：/n特征提取模块，用于利用二值神经网络对多幅原始图像进行特征提取，得到多幅第一图像；/n立体匹配模块，用于对多幅所述第一图像的像素点进行立体匹配，得到多幅第二图像；/n处理模块，用于对多幅所述第二图像进行一致性检测处理和中值滤波处理得到多幅深度图；/n拼接模块，用于对多幅所述深度图进行拼接，得到环视深度图。/n
【技术特征摘要】
1.一种基于神经网络的环视立体视觉匹配系统，其特征在于，包括：
特征提取模块，用于利用二值神经网络对多幅原始图像进行特征提取，得到多幅第一图像；
立体匹配模块，用于对多幅所述第一图像的像素点进行立体匹配，得到多幅第二图像；
处理模块，用于对多幅所述第二图像进行一致性检测处理和中值滤波处理得到多幅深度图；
拼接模块，用于对多幅所述深度图进行拼接，得到环视深度图。
2.根据权利要求1所述的一种基于神经网络的环视立体视觉匹配系统，其特征在于，所述特征提取模块包括：
转换单元，用于将深度学习的神经网络二值化，转换得到二值神经网络；
提取单元，用于通过所述二值神经网络对多幅原始图像进行特征提取。
3.根据权利要求1所述的一种基于神经网络的环视立体视觉匹配系统，其特征在于，所述立体匹配模块包括：
第一计算单元，用于根据第一公式计算得出匹配代价，所述第一公式为：式中，p表示像素点，d表示搜索视差，CBNN(p,d)表示匹配代价，fil表示左边图像的二进制特征向量，fir表示右边图像的二进制特征向量，表示权重，其中，所述左边图像和右边图像互为匹配的图像，所述左边图像和右边图像为多幅第一图像中的任意两幅图像；
第二计算单元，用于根据第二公式计算得出聚合代价，所述第二公式为：Cagg(p,d)＝∑q∈SR(p)CBNN(q,d)，式中，Cagg(p,d)表示聚合代价，p和q表示像素点，d表示搜索视差，SR(p)表示聚合区域；
第三计算单元，用于根据第三公式计算得到匹配成本，所述第三公式为：式中，Cr(p,d)表示匹配成本，p表示像素点，d表示搜索视差，r表示方向，k表示最小代价处的视差值，P1和P2表示惩罚值。
第四计算单元，用于根据第四公式计算得到总代价成本，所述第四公式为：Cf(p,d)＝∑rCr(p,d)，式中，Cf(p,d)表示总代价成本；
第五计算单元，用于根据第五公式计算得到视差值，所述第五公式为：式中，D(p)表示视差值；
匹配单元，用于根据所述视差值，对左边图像的像素点和右边图像的像素点进行匹配。
4.根据权利要求1所述的一种基于神经网络的环视立体视觉匹配系统，其特征在于，所述处理模块包括：
第一处理单元，用于对多幅所述第二图像进行一致性检测处理；
第二处理单元，用于使用视差图对多幅所述第二图像进行中值滤波处理。
5.根据权利要求3所述的一种基于神经网络的环视立体视觉匹配系统，其特征在于，所述拼接模块包括：
转换单元，用于通过第六公式，将所述视差值转换成深度值，所述第六公式为：式中，D表示深度值，B表示相机两个镜头之间的距离，f表示相机焦距，d表示视差...
【专利技术属性】
技术研发人员：陈刚，何涛，张余，凌晔华，黄凯，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。