内外相似度聚集的立体匹配算法制造技术

本发明专利技术涉及内外相似度聚集的立体匹配算法，首先，本文定义了参考图像彩色空间内部相似度；然后，在彩色与亚像素空间，定义参考图像与目标图像匹配像素间的外部相似度，并给出内外相似度的计算方式；提出了内外相似度聚集的立体匹配算法，根据内部相似度聚集外部相似度，该方法分为四个方向的相似度聚集方式；在候选视差范围内，使用赢者通吃算法找到最大内外聚集相似度对应视差，作为当前像素的视差；最后，提出盒图滤波算法，提纯和平滑视差图像。实验证明，内外相似度聚集的立体匹配算法提取视差图的非闭塞区域错误率低，效率高。

【技术实现步骤摘要】
内外相似度聚集的立体匹配算法
本专利技术涉及内外相似度聚集的立体匹配算法，属于机器视觉与数字图像处理领域。
技术介绍
随着智能制造的发展，作为人类智能体现的机器视觉越显重要，图形图像处理与计算机视觉作为机器人获得外界信息的主要方法，它可以提高工业生产的自动化和智能化程度。立体匹配算法可用于三维重建，医学建模，图像匹配，目标定位与识别，辅助机械躲避障碍物等，为智能制造、智能城市提供技术支持。针对立体匹配算法提取视差图效率低和非闭塞区域错误率高的问题。现有的双目立体匹配算法主要有半全局匹配，动态规划，图割算法和置信度传播算法等。其中，图割立体匹配算法，使用最大流最小割方法寻找最小花费路径，标记出图像的视差，该算法获取视差图的效果好效率最低，适应性不强。半全局立体匹配算法提取的视差图像效果较好，效率比图割算法高，但还需要提高。有效大规模立体匹配算法，并不能得到较好的立体匹配效果。自适应二进制窗口的实时立体匹配算法，速率快误差较大。二进制立体匹配算法提取的视差图噪音密集且效率低。置信度传播和自适应不相似度措施的图割立体匹配算法计算量大。动态规划算法，获取的视差图像噪音严重。分割树的花费聚集立体匹配算法速度快，存在深度图像没有递进性的问题。
技术实现思路
本专利技术要解决的技术问题是立体匹配算法提取视差图效率低和非闭塞区域错误率高的问题。针对以上内容，本文定义了参考彩色图像内部相似度，在彩色与亚像素空间，定义参考图像与目标图像匹配像素间的外部相似度，并给出内外相似度的计算方式；提出内外相似度聚集算法，根据内部相似度聚集外部相似度，包括四个方向的内外相似度聚集方式，使用赢者通吃算法计算视差图；最后，提出盒图滤波算法，提纯和平滑视差图像。本专利技术为实现上述目的所采用的技术方案是：内外相似度聚集的立体匹配算法，包括以下步骤：计算参考图像内部相似度矩阵：使用参考图像当前像素与其近邻像素之间RGB三通道差的绝对值的最大值，得到参考图像内部近邻像素之间的相似度即内部相似度Si，进而构成内部相似度矩阵；计算两图像彩色空间指数：计算参考图像与目标图像相应像素三通道差的绝对值的和的平均值Dc；计算两图像灰度空间指数：如果参考图像像素灰度在目标图像插值灰度范围内，则认为参考图像像素与目标图像像素相似，否则计算参考图像像素灰度与目标图像插值灰度最大的差Dl；如果目标图像像素灰度在参考图像插值灰度范围内，则认为参考图像像素与目标图像像素相似，否则计算目标图像像素灰度与参考图像插值灰度最大的差Dr；Dl与Dr中的最小值，作为Ds；根据两图像彩色空间指数与灰度空间指数计算外部相似度矩阵：根据Dc和Ds得到参考图像与目标图像候选匹配像素之间的相似度即外部相似度Se；根据内部相似度聚集外部相似度：在候选视差下，参考图像当前像素距离目标像素p个像素距离，目标像素外部相似度乘p个内部相似度之后，累加到当前像素外部相似度；通过多个方向的内外相似度聚集方式，获取内外聚集相似度矩阵；使用赢者通吃方法计算视差图：根据内外聚集相似度矩阵，在候选视差范围内，找到参考图像每个像素的最大内外聚集相似度对应视差作为各像素的视差，构成视差图像，实现立体匹配。所述内部相似度如下：其中，Di表示参考图像像素c与其近邻像素n的三通道差的绝对值的最大值；Icr,Icg和Icb分别表示像素c的R,G和B通道的数据；Inr,Ing和Inb分别表示近邻像素n的R,G和B通道的数据；|*|表示求绝对值；Si表示参考图像像素间的内部相似度；Ai表示参考图像与目标图像RGB三通道差的绝对值能取到的最大值；σi取浮点数。所述Dl、Dr如下：其中，Dl表示参考图像像素(xj,y)的灰度与目标图像像素(xi,y)的亚像素灰度Ira和Iri差的最大值，Dr表示目标图像像素(xi,y)的灰度与参考图像像素(xj,y)的插值灰度Ila和Ili差的最大值，xj＝xi+d，d为两像素的视差。所述外部相似度：Se＝e-(Dc2/(Ac*σc)+Ds2/(As*σs)).(4)其中，Ac代表RGB三通道差的绝对值的最大值，As表示灰度图像像素插值灰度的差可以取到的最大值，σc和σs取浮点数。所述根据内部相似度聚集外部相似度，包括以下步骤：通过四个方向的内外相似度聚集，具体为将参考图像的内部相似度矩阵先由上向下、再由下向上聚集外部相似度，得到上下聚集相似度矩阵，将参考图像的内部相似度矩阵再由右向左、由左向右聚集上下聚集相似度得到内外聚集相似度矩阵。所述将参考图像的内部相似度矩阵先由上向下、再由下向上聚集外部相似度，如下：由上向下聚集外部相似度如式(6)第一行，d的范围从最小视差到最大视差，j为从0到参考图像宽度w的自然数，i为从1到参考图像高度h的自然数；其中，Si,j,d表示像素(i,j)在视差为d时的外部相似度，Ei,j,d是Si,j,d的备份，Si,j,u表示像素(i,j)与上近邻的内部相似度，式(6)第二行计算结果Si,j,d表示迭代乘加后，减去原外部相似度；由下向上聚集外部相似度如式(7)第一行，Si,j,d表示像素(i,j)与下近邻的内部相似度，j从0到w，i从h到1；式(7)第二行表示由上向下、再由下向上聚集外部相似度累加和，即上下聚集相似度矩阵；Ei,j,d＝Si,j,d,j:0→w,i:h→0(8)公式(8)中Ei,j,d是上下聚集后Si,j,d的备份。所述将参考图像的内部相似度矩阵再由右向左、由左向右聚集上下聚集相似度得到内外聚集相似度矩阵：由右向左聚集上下聚集相似度如式(9)第一行，Si,j,r表示像素(i,j)与右近邻的内部相似度，i从0到参考图像高度h，j从参考图像宽度w到1；式(9)第二行计算结果Si,j,d表示迭代乘加后，减去上下聚集相似度Ei,j,d；由左向右聚集上下聚集相似度如式(10)第一行，Si,j,l表示像素(i,j)与左近邻的内部相似度，i从0到h，j从1到w；式(10)中，Ei,j,d表示上下聚集相似度，第二行表示由右向左、由左向右聚集上下聚集相似度后的累加和，即内外聚集相似度矩阵。所述使用赢者通吃方法计算视差图，具体为：使用赢者通吃方法，以参考图像的最大内外聚集相似度对应的候选匹配像素横坐标差作为视差；然后根据内外聚集相似度矩阵，计算参考图像每个像素的视差得到视差图像。使用WTA算法提取视差图像包括以下步骤：在候选视差范围内，找到参考图像每个像素的最大内外聚集相似度对应视差作为当前像素的视差，构成参考图像的视差图像，并对视差图像进行滤波。提出盒图滤波算法优化视差图像，包括以下步骤：统计参考图像每个像素的局部区域的视差，构成盒图，使用盒图稳定点判定方式，得到滤波后每个像素的视差，进而得到滤波后的视差图像。本专利技术具有以下优点及效果：1.可用于双目视觉立体匹配，适应性强。在明德学院图库的测试中，可用本文档来自技高网...

【技术保护点】
1.内外相似度聚集的立体匹配算法，其特征在于，包括以下步骤：/n计算参考图像内部相似度矩阵：使用参考图像当前像素与其近邻像素之间RGB三通道差的绝对值的最大值，得到参考图像内部近邻像素之间的相似度即内部相似度S

【技术特征摘要】
1.内外相似度聚集的立体匹配算法，其特征在于，包括以下步骤：
计算参考图像内部相似度矩阵：使用参考图像当前像素与其近邻像素之间RGB三通道差的绝对值的最大值，得到参考图像内部近邻像素之间的相似度即内部相似度Si，进而构成内部相似度矩阵；
计算两图像彩色空间指数：计算参考图像与目标图像相应像素三通道差的绝对值的和的平均值Dc；
计算两图像灰度空间指数：如果参考图像像素灰度在目标图像插值灰度范围内，则认为参考图像像素与目标图像像素相似，否则计算参考图像像素灰度与目标图像插值灰度最大的差Dl；如果目标图像像素灰度在参考图像插值灰度范围内，则认为参考图像像素与目标图像像素相似，否则计算目标图像像素灰度与参考图像插值灰度最大的差Dr；Dl与Dr中的最小值，作为Ds；
根据两图像彩色空间指数与灰度空间指数计算外部相似度矩阵：根据Dc和Ds得到参考图像与目标图像候选匹配像素之间的相似度即外部相似度Se；
根据内部相似度聚集外部相似度：在候选视差下，参考图像当前像素距离目标像素p个像素距离，目标像素外部相似度乘p个内部相似度之后，累加到当前像素外部相似度；通过多个方向的内外相似度聚集方式，获取内外聚集相似度矩阵；
使用赢者通吃方法计算视差图：根据内外聚集相似度矩阵，在候选视差范围内，找到参考图像每个像素的最大内外聚集相似度对应视差作为各像素的视差，构成视差图像，实现立体匹配。


2.根据权利要求1所述的内外相似度聚集的立体匹配算法，其特征在于，所述内部相似度如下：



其中，Di表示参考图像像素c与其近邻像素n的三通道差的绝对值的最大值；Icr,Icg和Icb分别表示像素c的R,G和B通道的数据；Inr,Ing和Inb分别表示近邻像素n的R,G和B通道的数据；|*|表示求绝对值；Si表示参考图像像素间的内部相似度；Ai表示参考图像与目标图像RGB三通道差的绝对值能取到的最大值；σi取浮点数。


3.根据权利要求1所述的内外相似度聚集的立体匹配算法，其特征在于，所述Dl、Dr如下：



其中，Dl表示参考图像像素(xj,y)的灰度与目标图像像素(xi,y)的亚像素灰度Ira和Iri差的最大值，Dr表示目标图像像素(xi,y)的灰度与参考图像像素(xj,y)的插值灰度Ila和Ili差的最大值，xj＝xi+d，d为两像素的视差。


4.根据权利要求1所述的内外相似度聚集的立体匹配算法，其特征在于，所述外部相似度：



其中，Ac代表RGB三通道差的绝对值的最大值，As表示灰度图像像素插值灰度的差可以取到的最大值，σc和σs取浮点数。


5.根据权利要求1所述的内外相似度聚集的立体匹配算法，其特征在于，所述根据内部相似度聚集外部相似度，包括以下步骤：
通过四个方向的内外相似度聚集，具体为将参考图像的内部相似度矩阵先由上向下、再由下向上聚集外部相似度，...

【专利技术属性】
技术研发人员：杨东升，张展，廉梦佳，樊超，
申请(专利权)人：中国科学院沈阳计算技术研究所有限公司，
类型：发明
国别省市：辽宁;21