一种双目机器人的视频拼接系统及方法技术方案

本发明专利技术提供一种双目机器人的视频拼接系统及方法，属于机器人视觉图像技术领域。该系统包括机器人视频帧采集模块、图像拼接系统处理模块、无线传输模块和终端显示模块，其中，图像拼接系统处理模块又包含重合区域定位模块、特征点的并行化定向配准模块、图像色彩校正模块、图像变形模块、动态规划缝合线模块、图像平滑融合模块，通过上述系统，可对机器人双目采集的图像帧进行视频帧的重合区域定位、特征点定向配准、图像色彩校正、图像变形、动态规划缝合线和图像平滑融合处理，得到高质量的拼接视频，使机器人的视野得到极大的拓宽，且能够更好的完成移动、定位、识别等目的，并且采用本发明专利技术方法，提高了图像帧的拼接速度和拼接效率。

A Binocular Robot Video Mosaic System and Method

【技术实现步骤摘要】
一种双目机器人的视频拼接系统及方法
本专利技术涉及机器人视觉图像领域，具体涉及一种双目机器人的视频拼接系统及方法。
技术介绍
视频拼接是机器视觉与数字图像处理领域中的一项关键技术，解决了单目视觉系统受其小视野限制的问题，利用图像拼接技术对机器人双目采集的图像帧进行拼接，可以使机器人探知更广阔的世界，获取更丰富的信息。通常的拼接方法是通过特征匹配和单应性矩阵映射等进行图像配准与对齐，通过构造图像重叠区域的能量函数来寻找图像的最优缝合线，实现图像帧的融合。而目前机器人的视频拼接技术仍有许多不足，制约了宽视角下的目标识别、视觉定位、三维重建等复杂任务。传统方法在特征点提取阶段忽略了图像的色彩信息，没有考虑重合区域图像的定位，导致大量无效特征点的计算，并且构造了高维度特征点描述符，增加了计算复杂度，在校正图像色彩方面没有考虑对应点的色彩信息，图像对齐模型则没有考虑单应性变换与相似变换的协同约束，在最佳缝合线动态规划过程中忽略了图像的亮度信息，在像素平滑处理时仍然无法避免拼接图像中产生明显的拼接缝和重影问题。视频拼接的实时性、鲁棒性，拼接的效果不佳等问题仍需要解决。针对上述存在的问题，并由广西研究生教育创新计划项目(XYCSZ2019075)支持进行系统设计，提出一种双目机器人的视频拼接系统及方法来克服或缓解上述技术问题。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一种双目机器人的视频拼接系统及方法，用以解决现有机器视觉技术中存在视觉范围受限，特征点配准效率低、错误率高，视频图像帧拼接速度慢、鲁棒性差、带有拼接缝，视频质量不高等诸多问题。为了实现上述目的，本专利技术采用的技术方案如下：一种双目机器人的视频拼接系统，包括：机器人视频帧采集模块，由安装在机器人上的两个摄像头构成，获取具有重合区域的两路待拼接视频的图像帧；图像拼接系统处理模块，是在处理器上完成的，对所述待拼接视频的图像帧进行拼接处理，所述图像拼接系统处理模块包括：重合区域定位模块、特征点的并行化定向配准模块、图像色彩校正模块、图像变形模块、动态规划缝合线模块、图像平滑融合模块，其中：重合区域定位模块，对所述两路待拼接视频的图像帧分别划分测试块，并运用FAST算法和PROSAC算法对所述测试块进行配准，得到单应性矩阵并计算边界点的映射点位置，得到重合区域信息，所述重合区域信息包括测试块的特征点点集、单应性矩阵、重合区域图像；特征点的并行化定向配准模块，由SURF算法定位所述重合区域图像内的各个特征点，构建特征点的特征矢量描述符得到各个位置的特征点的描述符，再结合所述单应性矩阵对所述各个特征点进行快速的并行化定向匹配，得到定向配准特征点点集，再由所述定向配准特征点点集内特征点对之间的斜率分布规律，对定向配准特征点点集进行二次配准，最终得到配准的特征点点集；图像色彩校正模块，由所述配准的特征点点集内各匹配的特征矢量描述符携带的颜色信息对所述待拼接视频的图像帧进行色彩校正，得到无明显色差的待拼接图像帧；图像变形模块，沿着图像的宽和高的方向将所述的待拼接图像帧划分为密集的网格，得到相应的网格矩阵，由构造的约束变换矩阵分别将所述的网格矩阵进行变形映射，再利用双线性插值的方法对映射的图像网格矩阵进行插值，得到待融合的变形图像帧；动态规划缝合线模块，使用优化的最佳缝合线算法在所述的两幅融合的变形图像帧上寻找出一条使图像颜色与结构差异最小的拼接缝；图像平滑融合模块，使用构造的幂函数权重系数把所述变形图像帧内的重合区域的像素值进行相应的加权融合，再沿着所述最佳缝合线拼接图像帧，完成无缝隙的图像帧拼接，得到拼接的视频；无线传输模块，由基于WIFI的无线图像传输模块进行视频的无线传输，将所述拼接的视频传递给终端显示；终端显示模块，用于显示所接收的拼接视频。优选地，所述处理器使指集成了四核CPUCortex-A7和Mali-400MP2系列GPU的RK3229处理器。进一步地，本专利技术的一种双目机器人的视频拼接系统，包括存储器、处理器以及存储在所述存储器中并可实现上述各功能的模块。本专利技术还提供利用上述系统进行视频拼接的方法，包括以下步骤：步骤1：由安装在机器人上的双目摄像头采集成对的待拼接图像帧，得到具有重合区域的原图1_x和原图2_x，所述原图1_x和原图2_x分别为双目摄像头采集成对的待拼接图像帧的编号；步骤2：由图像拼接系统处理模块对所述成对待拼接图像帧进行重合区域定位、特征点的并行化定向配准、图像色彩校正、图像变形、动态规划缝合线、图像平滑融合；步骤3：将所述的拼接视频通过无线传输模块传递给显示器模块显示；步骤4：终端显示模块显示所接收的拼接视频。进一步地，所述重合区域定位具体是：分别在所述待拼接视频的首帧图像上，对图像划分测试块，分别得到相应的3种测试块图像，所述3种测试块图像分别是，首帧图像顶部测试图像、中部测试图像、底部测试图像；通过建立3个并行配准的线程，使用FAST算法、PROSAC算法并行配准所述3种测试块图像，得到测试图像的特征点配准点集，计算出相应的单应性矩阵，由单应性矩阵和相应的映射关系分别将所述待拼接视频的首帧图像的边界线进行映射，分别得到相应的重合区域信息，所述重合区域信息包括测试块的特征点点集、单应性矩阵和重合区域图像。进一步地，所述特征点的并行化定向配准模块，具体包括：所述特征点的并行化定向配准是在所述Mali-400MP2系列GPU上进行并行化计算的；由SURF算法定位得到所述重合区域图像内的各个特征点的坐标和方向信息，在以所述特征点的坐标为原点的邻域内计算图像梯度的幅角和幅值信息，由所述特征点的方向信息更新邻域点梯度方向，统计所述梯度，利用三角函数分别将非坐标轴方向的梯度方向，进行矢量分解，使矢量的角度仅包含0°、90°、180°和270°，并由矢量叠加进行方向合并得到仅包含水平和竖直方向，计算所述SURF特征点坐标(i,j)的像素色彩信息，得到1维的色彩矩阵最终生成2×16+1＝33维的特征向量描述符，由所述映射关系将所述各个特征点的坐标进行相应的映射，得到对应的目标位置，以所述目标位置为中心，30个像素为边长的方形邻域作为特征点的定向搜索域，对相应的特征点描述符进行定向配准，得到定向配准特征点点集，再由所述特征点点集内的特征点对之间的斜率分布规律，进行二次配准，最终得到配准的特征点点集，由所述配准的特征点点集计算得到透视变换矩阵相似变换矩阵由计算得到。进一步地，所述图像色彩校正具体包括：由所述配准的特征点点集内的各个特征点对的色彩矩阵建立线性系统求解得到相应的色彩矫正系数，计算所述待拼接视频的图像帧内任意点(x,y)的像素的色彩矩阵和对所述待拼接视频的图像帧进行色彩校正：更新得到再根据所述色彩矩阵与RGB的转换关系，得到校正后的RGB空间像素值。进一步地，所述图像变形具体包括：以10个像素为抽样间隔对所述待拼接视频的图像帧的宽和高的方向进行抽样，将所述的待拼接图像帧划分为密集的网格，得到相应的网格矩阵和由所述透视变换矩阵和相似变换矩阵构造约束矩阵Hq＝α·HM+(1-α)·HS和Hp＝Hq·HM-1，将所述网格矩阵代入下列关系式：进行图像网格变形，即可得到所述待拼接视频的图像帧与所述网格中相应的坐标，再利本文档来自技高网...

【技术保护点】
1.一种双目机器人的视频拼接系统，其特征在于，包括：机器人视频帧采集模块，由安装在机器人上的两个摄像头构成，获取具有重合区域的两路待拼接视频的图像帧；图像拼接系统处理模块，是在处理器上完成的，对所述待拼接视频的图像帧进行拼接处理，所述图像拼接系统处理模块包括：重合区域定位模块、特征点的并行化定向配准模块、图像色彩校正模块、图像变形模块、动态规划缝合线模块、图像平滑融合模块，其中：重合区域定位模块，对所述两路待拼接视频的图像帧分别划分测试块，并运用FAST算法和PROSAC算法对所述测试块进行配准，得到单应性矩阵

【技术特征摘要】
1.一种双目机器人的视频拼接系统，其特征在于，包括：机器人视频帧采集模块，由安装在机器人上的两个摄像头构成，获取具有重合区域的两路待拼接视频的图像帧；图像拼接系统处理模块，是在处理器上完成的，对所述待拼接视频的图像帧进行拼接处理，所述图像拼接系统处理模块包括：重合区域定位模块、特征点的并行化定向配准模块、图像色彩校正模块、图像变形模块、动态规划缝合线模块、图像平滑融合模块，其中：重合区域定位模块，对所述两路待拼接视频的图像帧分别划分测试块，并运用FAST算法和PROSAC算法对所述测试块进行配准，得到单应性矩阵并计算边界点的映射点位置，得到重合区域信息，所述重合区域信息包括测试块的特征点点集、单应性矩阵、重合区域图像；特征点的并行化定向配准模块，由SURF算法定位所述重合区域图像内的各个特征点，构建特征点的特征矢量描述符得到各个位置的特征点的描述符，再结合所述单应性矩阵对所述各个特征点进行快速的并行化定向匹配，得到定向配准特征点点集，再由所述定向配准特征点点集内特征点对之间的斜率分布规律，对定向配准特征点点集进行二次配准，最终得到配准的特征点点集；图像色彩校正模块，由所述配准的特征点点集内各匹配的特征矢量描述符携带的颜色信息对所述待拼接视频的图像帧进行色彩校正，得到无明显色差的待拼接图像帧；图像变形模块，沿着图像的宽和高的方向将所述的待拼接图像帧划分为密集的网格，得到相应的网格矩阵，由构造的约束变换矩阵分别将所述的网格矩阵进行变形映射，再利用双线性插值的方法对映射的图像网格矩阵进行插值，得到待融合的变形图像帧；动态规划缝合线模块，使用优化的最佳缝合线算法在所述的两幅融合的变形图像帧上寻找出一条使图像颜色与结构差异最小的拼接缝；图像平滑融合模块，使用构造的幂函数权重系数把所述变形图像帧内的重合区域的像素值进行相应的加权融合，再沿着所述最佳缝合线拼接图像帧，完成无缝隙的图像帧拼接，得到拼接的视频；无线传输模块，由基于WIFI的无线图像传输模块进行视频的无线传输，将所述拼接的视频传递给终端显示；终端显示模块，用于显示所接收的拼接视频。2.如权利要求1所述的一种双目机器人的视频拼接系统，其特征在于，所述处理器是指集成了四核CPUCortex-A7和Mali-400MP2系列GPU的RK3229处理器。3.如权利要求1所述的一种双目机器人的视频拼接系统，其特征在于，包括存储器、处理器以及存储在所述存储器中并可实现上述各功能的模块。4.一种双目机器人的视频拼接方法，其特征在于，包括以下步骤：步骤1：由安装在机器人上的双目摄像头采集成对的待拼接图像帧，得到具有重合区域的原图1_x和原图2_x，所述原图1_x和原图2_x分别为双目摄像头采集成对的待拼接图像帧的编号；步骤2：由图像拼接系统处理模块对所述成对待拼接图像帧进行重合区域定位、特征点的并行化定向配准、图像色彩校正、图像变形、动态规划缝合线、图像平滑融合；步骤3：将所述的拼接视频通过无线传输模块传递给显示器模块显示；步骤4：终端显示模块显示所接收的拼接视频。5.根据权利要求4所述的一种双目机器人的视频拼接方法，其特征在于，所述重合区域定位具体是：分别在所述待拼接视频的首帧图像上，对图像划分测试块，分别得到相应的3种测试块图像，所述3种测试块图像分别是，首帧图像顶部测试图像、中部测试图像、底部测试图像；通过建立3个并行配准的线程，使用FAST算法、PROSAC算法并行配准所述3种测试块图像，得到测试图像的特征点配准点集，计算出相应的单应性矩阵由单应性矩阵和相应的映射关系分别将所述待拼接视频的首帧图像的边界线进行映射，分别得到相应的重...

【专利技术属性】
技术研发人员：蒋品群，李加亮，邹艳丽，秦运柏，庞玲，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：广西,45