一种移动机器人的视觉图像拼接系统及方法技术方案

本发明专利技术公开一种移动机器人的视觉图像拼接系统及方法，适用于双目视觉的移动机器人平台，该系统包括机器人图像采集模块、图像拼接系统处理模块和无线图像显示模块，其中，图像拼接系统处理模块又包含预处理模块、边界线定位模块、重合区域图像配准模块、图像变形融合模块、图像平滑模块，通过上述模块，可对机器人双目采集的图像进行预处理、边界线定位、重合区域图像配准、图像变形融合和图像平滑处理，后得到高质量的拼接图像，该系统及方法使的机器人的视野得到极大的拓宽，且能够更好的完成移动、定位、识别等目的。

【技术实现步骤摘要】
一种移动机器人的视觉图像拼接系统及方法
本专利技术涉及机器人视觉
，特别涉及一种移动机器人的视觉图像拼接系统及方法。
技术介绍
移动机器人的视觉定位与三维重建是实现机器人双目视觉技术、完成复杂智能任务的关键点，实际应用中单目视觉系统受其视野小的影响往往不能满足移动机器人的定位和环境重建的需要，因此双目视觉，甚至多目视觉系统更受移动机器人的青睐。利用图像拼接技术对机器人双目采集的图像进行拼接，可以增大机器人的视野，便于机器人更好地完成定位和环境重建任务。移动机器人平台的图像拼接是指将机器人通过摄像头获取的多幅部分重叠区域的窄视角图像进行融合，形成一幅无缝高分辨率图像的技术。图像拼接是视觉领域和图像处理的一个重要分支，它是将两幅以上的具有部分重叠的图像进行无缝拼接从而得到大画幅或宽视角的图像。机器人双目采集的图像拼接技术应用面临的重大问题是保留鲁棒性的同时兼具实时性、以及良好的视觉效果。拼接装置在进行图像拼接运算中，有较多无用消耗是浪费在了非重合区域图像的处理且使用SIFT算法也难以达到实时性要求。若仅处理图像重合区域内的共有特征点，可极大提高拼接算法的效率。但是目前处理重合区域方本文档来自技高网...

【技术保护点】
1.一种移动机器人的视觉图像拼接系统，其特征在于，包括：机器人图像采集模块，由安装在移动机器人上的双目摄像头构成，用于采集成对待拼接图像帧；图像拼接系统处理模块，是在处理器上完成的，其包括：预处理模块、边界线定位模块、重合区域图像配准模块、图像变形融合模块、图像平滑模块，其中：预处理模块，对所述机器人图像采集模块所采集的成对待拼接图像帧进行亮度调整；边界线定位模块，对所述预处理模块处理后的成对待拼接图像帧划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息，所述重合区域信息包括测试块特征点集、透视变换矩阵...

【技术特征摘要】
1.一种移动机器人的视觉图像拼接系统，其特征在于，包括：机器人图像采集模块，由安装在移动机器人上的双目摄像头构成，用于采集成对待拼接图像帧；图像拼接系统处理模块，是在处理器上完成的，其包括：预处理模块、边界线定位模块、重合区域图像配准模块、图像变形融合模块、图像平滑模块，其中：预处理模块，对所述机器人图像采集模块所采集的成对待拼接图像帧进行亮度调整；边界线定位模块，对所述预处理模块处理后的成对待拼接图像帧划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息，所述重合区域信息包括测试块特征点集、透视变换矩阵、重合区域图像；重合区域图像配准模块，对所述重合区域图像采用透视变换矩阵进行分块，得到若干子图，再对所得的子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准及优化；图像变形融合模块，使用优化的TPS函数对成对待拼接图像帧进行变形插值融合，其中所述优化的TPS函数为将所述特征点集中特征点之间的平均距离代替原TPS薄板样条函数中的正则参数；图像平滑模块，对融合时的重合区域利用圆周映射像素，以实现像素从重合区域至非重合区域的平滑过渡，最终得到无缝隙的拼接图像帧；无线图像显示模块，包括无线传输模块和显示器模块，其中：无线传输模块，用于将所述图像拼接系统处理模块所获得的拼接图像帧传递给显示器模块；显示器模块，用于显示所接收的拼接图像帧。2.如权利要求1所述的一种移动机器人的视觉图像拼接系统，其特征在于，所述处理器为四核Cortex-A15处理器。3.如权利要求1所述的一种移动机器人的视觉图像拼接系统，其特征在于，所述显示器模块为液晶显示器。4.一种移动机器人的视觉图像拼接方法，其特征在于，包括：第一，由安装在移动机器人上的双目摄像头采集成对待拼接图像帧；第二，图像拼接系统处理对所述成对待拼接图像帧进行预处理、边界线定位、重合区域图像配准、图像变形融合和图像平滑处理，具体如下：1)预处理对所述机器人图像采集模块所采集的成对待拼接图像帧进行预处理，调整亮度，得到成对的原图1和原图2；2)边界线定位对原图1和原图2划分测试块，再依次运用FAST算法和KNN算法对所述测试块进行配准，得到透视变换矩阵，然后再进行边界角点映射，从而定位边界线，得到重合区域信息；3)重合区域图像配准对所述重合区域采用透视变换矩阵进行分块，得到若干子图，再对所得的子图应用SURF算法、RANSAC算法、贝叶斯概率模型进行特征点配准及优化；4)图像变形融合使用优化的TPS函数对原图1和原图2的重合区域、非重合区域进行变形插值融合；5)图像平滑对融合时的重合区域利用圆周映射像素，以实现像素从重合区域至非重合区域的平滑过渡，最终得到无缝隙的拼接图像帧；第三，所述拼接图像帧通过无线传输模块传递给显示器模块显示。5.如权利要求4所述的一种移动机器人的视觉图像拼接方法，其特征在于，上述2)...

【专利技术属性】
技术研发人员：秦运柏，李加亮，王龙林，蒋品群，郝天之，王华，王伟芳，吴波，张伟，庞玲，全永桦，
申请(专利权)人：广西师范大学，广西交通科学研究院有限公司，
类型：发明
国别省市：广西,45