基于RGB-D超像素分割的聚焦堆栈数据拼接融合的方法及系统技术方案

本发明专利技术公开了一种基于RGB

【技术实现步骤摘要】
基于RGB
‑
D超像素分割的聚焦堆栈数据拼接融合的方法及系统


[0001]本专利技术涉及计算机视觉与数字图像处理
，特别是关于一种基于RGB
‑
D超像素分割的聚焦堆栈数据的拼接融合的方法及系统。

技术介绍

[0002]单视角成像系统获取的聚焦堆栈数据是窄视角的，大视场成像需要对多视角获取的多组数据进行拼接融合。
[0003]每一组聚焦堆栈数据是聚焦在不同深度层的2D图像序列，在聚焦堆栈数据拼接时找到多组数据间对应深度层的图像是难点之一；常用的2D图像拼接技术是基于单应性变换矩阵实现图像的坐标变换，单应性变换矩阵能够准确描述平面之间的变换关系，由于真实场景并不是一个平面，无法得到准确统一的单应性变换矩阵，这样拼接会产生较严重的重影和错位；当待拼接数据之间重叠区域较小时，难以获得足够的信息进行数据的拼接；当多组数据需要拼接时，若逐一相继进行拼接，每一次计算误差会累积。

技术实现思路

[0004]本专利技术的目的在于提供一种基于超像素分割的聚焦堆栈RGB
‑
D数据的拼本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
D超像素分割的聚焦堆栈数据的拼接融合的方法，其特征在于，包括：步骤1，由聚焦堆栈数据计算生成全聚焦图与深度图，即准确配准的RGB
‑
D数据；步骤2，将低分辨率的2D大视场图像上采样至与RGB
‑
D数据尺度一致；步骤3，对RGB
‑
D数据进行超像素分割；步骤4，提取并匹配全聚焦图与大视场2D图像之间的特征点，计算同一深度层超像素的准确单应性变换矩阵；步骤5，逐深度层进行超像素变换实现全聚焦图和深度图的拼接融合，得到大视场的RGB
‑
D数据；步骤6，由大视场的RGB
‑
D数据生成大视场的聚焦堆栈数据。2.如权利要求1所述的基于RGB
‑
D超像素分割的聚焦堆栈数据的拼接融合的方法，其特征在于，步骤3包括全聚焦图和深度图的超像素分割，其具体包括：步骤31，将全聚焦图像从RGB颜色空间转换到CIE
‑
Lab颜色空间，则每一个像素对应三通道颜色信息(l，a，b)，2D坐标信息(x，y)，并将深度图中对应位置的深度值定义为该像素的深度值d；步骤32，将全聚焦图中两个像素p
i
，p
j
之间的颜色距离dis1定义为式(1)，全聚焦图中两个像素p
i
，p
j
之间的平面坐标距离dis2定义为式(2)，全聚焦图中两个像素p
i
，p
j
之间的深度距离dis3定义为式(3)：定义为式(3)：定义为式(3)：步骤33，通过对dis1、dis2和dis3加权求和，如式(4)所示，来定义全聚焦图中两个像素p
i
，p
j
之间的距离dis(p
i
，p
j
)：dis(p
i
，p
j
)＝dis1(p
i
，p
j
)+αdis2(p
i
，p
j
)+βdis3(p
i
，p
j
)
ꢀꢀꢀꢀꢀꢀ
(4)其中，α、β为权重参数，需要根据不同场景进行调整选择；步骤34，由该距离dis(p
i
，p
j
)对全聚焦图中的像素聚类，每一类形成一个超像素，完成全聚焦图的超像素分割；步骤35，对于全聚焦图的任意一个超像素中的像素，将深度图中与之对应的像素划分为一个超像素，完成对深度图的超像素分割。3.如权利要求1所述的基于RGB
‑
D超像素分割的聚焦堆栈数据的拼接融合的方法，其特征在于，步骤4具体包括：步骤41，对全聚焦图和上采样后与之尺度一致的大视场2D图像提取特征点进行匹配，并剔除离群点后，得到每个超像素中能够与大视场2D图像准确匹配的特征点对；步骤42，将每个超像素近似为一个平面，其内部能够与大视场2D图像中准确匹配的特征点对的齐次坐标[x1，y1，1]
T
、[x2，y2，1]
T
之间的坐标变换由3
×
3的单应性变换矩阵H描述为式(5)：
步骤43，由每个深度层上超像素内不少于4组特征点对建立线性回归方程组，利用最小二乘法计算求解该深度层上超像素所对应的单应性变换矩阵H。4.如权利要求1至3中任一项所述的基于RGB
‑
D超像素分割的聚焦堆栈数据的拼接融合的方法，其特征在于，步骤5具体包括：步骤51，全聚焦图的拼接与融合；步骤511，利用步骤3中计算的每个深度层的单应性矩阵，将全聚焦图中全部超像素向大视场2D图像进行坐标变换，并保留全聚焦图信息，进行拼接；步骤512，利用多频段方法对拼接的图像进行融合；步骤52，深度图的拼接与融合；步骤521，对深度图的超像素用与全聚焦图相同的单应性变换矩阵进行坐标变换，进行拼接；步骤522，利用加权平均的方式对拼接的深度图进行融合；其中，步骤511具体包括：步骤5111，对全聚焦图直接用单应性矩阵进行坐标变换后，原本每个像素的坐标值由整数变为非整数，在变换后的坐标系中，每个整数坐标的像素值通过其周围非整数坐标处的像素值以距离为权重进行插值计算得到；步骤5112，遍历全部像素，找到像素值为0的位置，以空洞位置为起点，沿上下左右四个方向向外在一定范围内检测，直到检测出四个非空洞的像素，对这四个位置的像素值以距离为权重插值得到空洞位置的像素值，将空洞部分补全。5.如权利要求4所述的基于RGB
‑
D超像素分割的聚焦堆栈数据的拼接融合的方法，其特征在于，步骤6具体包括：步骤61，估计每个深度层在成像系统中不同聚焦面上的点扩散函数；步骤62，根据大视场全聚焦图、深度图和点扩散函数生成聚焦在不同聚焦面上的图像序列，即大视场聚焦堆栈数据，其具体包括：步骤621，将大视场全聚焦图中的像素按照其深度图中的深度值进行分层，形成若干深度层；步骤622，对于每一个聚焦面，逐深度层将全聚焦图与步骤61估计得到的点扩散函数进行卷积；步骤623，对于每一个聚焦面，将卷积后的图像叠加得到场景聚焦在该聚焦面上的图像，形成大视场聚焦堆栈数据。6.一种基于RGB
‑
D超像素分割的聚焦堆栈...

【专利技术属性】
技术研发人员：何迪，邱钧，刘畅，李文月，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：