【技术实现步骤摘要】
一种基于神经网络的双目立体视觉匹配方法及其运算框架
本专利技术涉及双目立体视觉匹配算法领域，更具体地，涉及一种基于神经网络的双目立体视觉匹配方法及其运算框架。
技术介绍
双目立体视觉是一种使用仿生学原理设计的被动测距传感方法，它可以在捕捉到两张图片的同时，通过算法计算得到一张像素点级别的包含深度信息的图片，为计算机视觉的应用提供了更多的可能性。双目立体视觉在场景重建、事件检测、视频跟踪、目标识别、姿态估计、运动估计等等领域应用越来越多。它以其成本低、结构简单、精度高等优点，广泛应用于工业生产非接触式测距、智能机器人导航、无人驾驶汽车、医学诊断、安防监控和无人机等，存在巨大的商业价值和军事价值。在双目立体视觉匹配中，一般来说算法都分为4个步骤：1、匹配代价计算；2、代价聚合；3、视差计算；4、后处理。而目前的双目立体视觉匹配的方法也主要分为三种：局部匹配算法、全局匹配算法、半全局匹配算法。局部匹配算法包括采用匹配窗的代价聚合算法、采用特征点的匹配的算法、采用相位匹配的匹配算法等等。这些算法的优点是运算速度快，能...
【技术保护点】
1.一种基于神经网络的双目立体视觉匹配方法，其特征在于，包括如下步骤：/n步骤一：构建神经网络运算框架、构建二值神经网络并进行训练；/n步骤二：将左图像和右图像输入二值神经网络进行图像特征提取，得到一串二值序列作为图像像素点的特征描述；/n步骤三：二值神经网络通过匹配算法对左图像和右图像进行匹配。/n
【技术特征摘要】
1.一种基于神经网络的双目立体视觉匹配方法，其特征在于，包括如下步骤：
步骤一：构建神经网络运算框架、构建二值神经网络并进行训练；
步骤二：将左图像和右图像输入二值神经网络进行图像特征提取，得到一串二值序列作为图像像素点的特征描述；
步骤三：二值神经网络通过匹配算法对左图像和右图像进行匹配。
2.根据权利要求1所述的一种基于神经网络的双目立体视觉匹配方法，其特征在于，在所述步骤一中，二值神经网络包括浮点卷积神经网络层、批规范化层、二值卷积神经网、二值化层和汉明距离相似度计算层；
批规范化层：用于对数据分布进行归一化调整，批规范化层用于将输入数据按照如下公式进行计算
其中，x代表本层的输入结果，μ代表批数据的均值，σ代表批数据的标准差，γ代表神经网络训练得到的缩放系数，β代表神经网络训练得到的偏置参数，BN代表经过二值化层之后的输出结果；
二值卷积神经网络：二值卷积神经网络层中的权值全部都为+1或者-1。
二值化层：用于将输入数据按照
其中，x代表本层的输入结果，S代表经过二值化层之后的输出结果；
汉明距离相似度计算层：使用汉明距离计算数据之间的相似度，相似度计算公式为：
其中，Vi1为经由神经网络输出的代表图像特征的长度为n的二值向量V1的第i个分量，Vi2为经由神经网络输出的代表图像特征的长度为n的二值向量V2的第i个分量。
3.根据权利要求2所述的一种基于神经网络的双目立体视觉匹配方法，其特征在于，在所述步骤一中，所述二值神经网络在训练过程的前向传播中，将浮点权值进行二值化，并使用二值化后的权值计算结果；在反向传播中，只更新浮点权值，更新之后的浮点权值用于下一次的前向传播过程；所述二值神经网络通过引入缩放系数，使得二值卷积核结果尽量的接近浮点卷积核结果，卷积核缩放系数α的计算公式如下：
其中，h为卷积核的高，w为卷积核的宽，c为卷积层的输入通道个数，W为一个输出通道对应的h×w×c个权值。
4.根据权利要求2所述的一种基于神经网络的双目立体视觉匹配方法，其特征在于，二值神经网络采用图片块进行训练，训练使用正负两对样本，并分别得到正负样本对通过二值神经网络得到的相似分数；使用铰链函数通过计算两个样本对之间的损失并将损失用于反向传播过程进行二值神经网络的训练，损失计算的公式如下：
△＝max(0，S2-S1+margin)
其中，△代表正负样本对之间产生的损失，S1为正样本的相似分数，S2为负样本的相似分数，margin为铰链函数的保险系数。
5.根据权利要求1所述的一种基于神经网络的双目立体视觉匹配方法，其特征在于，在所述步骤三中，包括以下步骤：
S1：视差代价值计算，对两个像素点...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。