【技术实现步骤摘要】
一种基于立体视觉与TOF融合的三维视觉感知方法及系统
[0001]本专利技术属于机器人数字图像采集与处理领域，更具体地，涉及一种基于立体视觉与TOF融合的三维视觉感知方法及系统。
技术介绍
[0002]随着信息时代技术的飞速发展以及各种机器人设备在当今社会生产生活中扮演愈加重要的角色，关于机器人的研究变得越来越重要。而机器视觉是机器人方向发展的重要组成部分。
[0003]立体视觉技术是机器视觉的一种重要形式，其原理是基于视差利用成像设备从不同的方向和角度获取被测物体的多幅图像，通过计算对应像素点间的位置偏差，利用映射或者三维重建技术还原物体三维几何信息的方法。立体视觉系统具有成本低，适应性好的特点，且能适应室内和室外环境的图像采集应用。但立体视觉也有其缺点，原因为其视差估计需基于两幅图像的对应特征关系，具体局限性表现如下：
[0004]1)对环境光照敏感。环境光照角度与强度发生的变化会导致立体匹配算法效果急剧下降。
[0005]2)不适用于单调并且缺乏纹理信息的场景。因为双目立体视觉系统根据视觉特征进...
【技术保护点】
【技术特征摘要】
1.一种基于立体视觉与TOF融合的三维视觉感知方法，其特征在于，包括：采用两路视觉成像单元，采集两路RGB图像；采用TOF成像设备，采集TOF深度图像；采用FPGA板卡和高速图像采集处理模块，基于所述两路RGB图像，对任一路RGB图像进行立体视觉计算，得到该路RGB图像对应的立体视觉深度图；采用GPU板卡以及基于CUDA的深度融合模块，对所述立体视觉深度图和TOF深度图进行融合处理，得到融合后的深度图；将所述两路RGB图像、所述立体视觉深度图和所述融合后的深度图作为三维视觉感知的结果，完成三维视觉感知。2.根据权利要求1所述的三维视觉感知方法，其特征在于，采用适于FPGA实现的Fast
‑
SGM算法，对任一路RGB图像进行立体视觉深度图计算，实现方式为：(a)对所述两路RGB图像进行数据同步；(b)分别计算每路图像的初始代价；(c)采用所述初始代价，分别计算每路图像的聚合代价；(d)采用聚合代价，进行亚像素插值计算，得到最终立体视觉视差图；(e)基于所述最终视差以及所述两路视觉成像单元的标定参数，得到立体视觉深度图。3.根据权利要求2所述的三维视觉感知方法，其特征在于，为高效实现所述立体视觉计算中的步骤(b)，所述高速图像采集处理模块在所述FPGA板卡上的固件设计方法为：采用5
×
5的滑动窗口，计算每个像素点的用于所述初始代价计算的灰度值与梯度值，配置4个行缓存与一个5
×
5的窗口缓存；对中间3
×
3窗口的数据使用sobel梯度模板获取当前像素点的x和y方向梯度值，同时对5
×
5窗口进行16点固定模式采样，通过对所有采样点进行加和并右移四位获取平均灰度值，作为当前像素点的灰度值；由于初始代价计算需要对每个像素点计算0
‑
d
max
视差范围内的初始代价，使用d
max
个移位寄存器进行左右两路图像灰度值与梯度值的缓冲，计算每个像素点在视差范围内对应的所有初始代价。4.根据权利要求2所述的三维视觉感知方法，其特征在于，为高效实现所述立体视觉计算中的步骤(c)，所述高速图像采集处理模块在所述FPGA板卡上的固件设计方法为：采用RAM资源，缓存当前像素的各条路径上一个像素的路径代价，以用于计算当前像素的各条路径代价，具体的：对于用于当前像素的左上方路径、上方路径、右上方路径的路径代价计算，缓存当前像素的上一行全部的路径代价；对于用于当前像素的左方路径的路径代价计算，不需要进行行缓存，只需要缓存当前像素上一个像素计算出的路径代价；对于用于当前像素的右方路径的路径代价计算，使用乒乓缓存反向右方路径的路径代价；最后将五条路径的路径代价累加得到最终的聚合代价。5.根据权利要求2所述的三维视觉感知方法，其特征在于，为高效实现所述立体视觉计算中的步骤(d)，所述高速图像采集处理模块在所述FPGA板卡上的固件设计方法为：将亚像素插值计算公式的分子左移3位，即扩大8倍的方式，并采用除法器对其进行除法商计算；对当前像素最小聚...
【专利技术属性】
技术研发人员：杨华，姜宇扬，黄开基，尹周平，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。