基于运动机构的三维物体建模系统技术方案

本发明专利技术个公开了一种基于运动机构的三维物体建模系统，包括彩色深度视觉相机、三自由度以上的运动机构、图像数据采集传输装置、包含有视觉软件运行的系统环境的主控计算机、和外接显示屏，运动机构固定在工作平台上，能够实现围绕物体进行运动，本发明专利技术的最大特点在于能对目标物体进行连续采样和分析，通过多幅RGB图像和深度图像以及对应相机的位姿，得到其三维模型。通过运动机构将相机运动到指定位置，能够减少位姿计算误差，可以有效提高对物体建模的准确性，从而可以更科学地推广到其它运行项目及民用、军工等类似场景。

【技术实现步骤摘要】

本专利技术设及一种对=维物体进行=维建模的系统，具体地说，是一种基于运动机 构的=维物体建模系统。
技术介绍
近年来，视觉辅助系统在物体=维建模等方面已经有越来越多的应用，如No址 Snavely研发的Bundler系统应用于大型S维场景重建。在S维物体建模中，伯克利大学研 发了对单个物体实现=维重建的系统，由搭建好的硬件平台，通过多个相机对物体在不同 角度进行图像采集，通过ICP对得到的点云进行匹配，再由TSDF进行融合得到物体的S维 栅格模型，为机械臂抓取物体提供物体=维信息和对应特征。
技术实现思路
本专利技术的目的是针对伯克利的=维重建系统存在问题的改进，提出一个完善可行 的成本较低、观测更连续完整的=维建模系统。用于对物体的位姿进行准确观测和分析，从 而辅助机械臂进行抓取，完成指定任务，可W在机器人视觉、机器人抓取、3D打印等场景中， 实现对物体的识别和位姿估计，从而可W获取待抓取物体的完整的=维信息和特征纹理信 息，为机器人的运动和相应操作奠定更好的基础。 为达到上述专利技术的目的，本专利技术提出了一种运动机构和相机相结合的视觉系统理 念，利用运动机构末端所固定的彩色深度视觉相机围绕目标物体运动并采集物体的RGB图 像和深度图像，结合运动信息和图像处理融合算法，对目标物体进行=维还原，得到物体的 S维模型。 阳005] 本专利技术的具体技术方案如下： 本专利技术公开了一种基于运动机构的=维物体建模系统，包括彩色深度视觉相机、 =自由度W上的运动机构、图像数据采集传输装置、包含有视觉软件运行的系统环境的主 控计算机、和外接显示屏，运动机构固定在工作平台上，能够实现围绕物体进行运动；彩色 深度视觉相机固定在运动机构末端，通过运动机构的运动使其围绕着目标物体进行彩色深 度图像的采集；彩色深度视觉相机通过数据线与图像数据采集卡相连；图像数据采集卡通 过包含有视觉软件运行的系统环境的主控计算机总线，将采集到的数据传送到主控计算机 进行处理；处理结果输出到包含有视觉软件运行的系统环境的主控计算机的外接显示屏上 进行显示。 作为进一步地改进，本专利技术所述的系统包括如下组成模块：运动机构在线规划和 控制模块、图像采集模块、图像处理模块、=维数据融合模块、显示模块，其中，运动机构在 线规划和控制模块能依据模型精度对运动机构的轨迹进行在线规划和控制；图像采集模块 能实现对物体的RGB图像和深度图像的采集；图像处理模块能将RGB图像进行特征点匹配， 计算出对应点的=维坐标，并能将深度信息转化为=维点云；=维数据融合模块可依据相 机位姿，将所有=维点统一到同一坐标下，构建出目标物体的=维模型；显示模块能实现物 体的s维显示。 作为进一步地改进，本专利技术所述的基于运动机构的=维物体建模系统，将=维物 体信息分为S维点云信息和SIFT特征信息，S维点云信息从物体外形完成对物体的外形 描述，相对稠密，而SIFT特征信息则从细节特征对物体进行=维描述，相对稀疏，将整体信 息和细节信息进行结合，得到了目标物体的完整=维信息。 本专利技术还公开了一种基于运动机构的=维物体建模系统的运行方法，具体步骤如 下： (1)搭建硬件系统，半自动标定各相机内外参数； W11] 似运动机构按照规划轨迹将相机运动到指定位置，对目标物体进行图像采集； (3)通过运动机构末端搭载的彩色深度视觉相机获取目标物体的RGB图像和深度 图像，结合运动机构的运动信息和相机位姿参数，实现物体=维空间姿态信息还原；[001引 （4)多帖信息拼接，将得到的立维点云和物体立维空间姿态相结合，实现点云的融 合，直到完成运动轨迹序列或者获得完整模型，得到物体的=维模型； (5)将处理得到的物体的SIFTS维点云图和S维深度点云图输入到外接显示屏。 本专利技术的最大特点在于能对目标物体进行连续采样和分析，通过多幅RGB图像和 深度图像W及对应相机的位姿，得到其=维模型。通过运动机构将相机运动到指定位置，能 够减少位姿计算误差，可W有效提高对物体建模的准确性，从而可W更科学地推广到其它 运行项目及民用、军工等类似场景。 本专利技术具有的有益效果如下： (1)本专利技术提出了一种可W精确在运动机构上完成物体=维建模的系统与方法， 在运动机构按照指定路径进行运动的同时，能够准确得到相邻两幅图像之间的位姿变换关 系，可W加速算法运行速度为用户或自动化系统提供更为精确的建模结果； 阳01引 似本专利技术将彩色深度视觉相机获取到的RGB图像和深度图像相结合，既能恢复 物体的外形，又能得到物体的SIFT特征信息； (3)本专利技术与传统的多个相机固定位置的方法相比，能够大大降低成本，并且相机 在成像上无死角； (4)本专利技术中的方法和系统还可W应用于3D打印、家用机器人抓取等多种场景 中。因此，本专利技术是一种非常实用、有效地=维物体建模系统，具有很好的应用前景。【附图说明】 图1是系统硬件结构框图； 图2是系统的架构流程框图； 图3是相邻点云对应点匹配和相邻点云对应相机位姿变换关系示意图； 图4是点云配准流程图； 阳0巧]图5是基于空间的点云融合技术示意图； 图1中，1为彩色深度视觉相机、2为运动机构、3为图像数据采集传输装置、4为包 含有视觉软件运行的系统环境的主控计算机、5是视觉软件，6为外接显示屏。【具体实施方式】 本专利技术提供的S维物体建模系统，由彩色深度视觉相机1、S个W上自由度的运动 机构2、图像数据采集传输装置3、包含有视觉软件的主控计算机4和外接显示屏6组成； 其中彩色深度视觉相机1固定在运动机构2末端，视野覆盖物体所在有效区域，进行图像采 集；，图像数据采集传输装置3由图像数据采集卡通过包含有视觉软件运行的系统环境的 主控计算机4的PCI总线，将采集到的数据传送到图像数据采集传输装置3的处理器进行 处理；处理结果输出到包含有视觉软件运行的系统环境的主控计算机4的外接显示屏6。 包含有视觉软件运行的系统环境的主控计算机4包括如下模块：运动机构2运动 规划和控制模块、图像采集模块、目标物体的=维建模模块。系统架构流程是：运动机构2 在线规划和控制模块根据物体建模结果和需求精度，对运动轨迹进行在线规划，将固定在 运动机构2末端的彩色深度视觉相机1运动到指定位置，完成目标物体的RGB图像和深度 图像采集；图像采集模块对相机视野覆盖区域进行图像采集，将所得图像输入到=维建模 模块，进行在线建模，当模型收敛后，运动机构2停止运动，并将物体所建的SIFT特征点云 图和TSDF融合得到的点云图输出到外接显示器上。 运动机构2在线规划和控制模块，依据建模需求精度和物体大小进行在线轨迹规 划，将固定在运动机构2末端的相机运动到指定位置，即知道相邻两帖相机对应的相机位 姿变化关系，能够减少相邻两帖图像计算相机的位姿变换所费时间，并且能够减少由相机 外参标定所引起的误差。该模块能够直接得到相邻两帖图片对应相机的位姿关系，能加快 速度，提高精度。 目标物体=维建模模块，能够将相机采集的多幅图像，进行位姿变换得到物体的 S维点云信息，在此基础上运用TSDF对点云进行融合处理，其中彩色深度视觉相机1采集 的RGB图像得到物体的SIFTS维点云信息，而深度图像得到的物体的稠密S维点云信息。 本专利技术所述的S维虚拟场景重现模炔本文档来自技高网...

【技术保护点】
一种基于运动机构的三维物体建模系统，其特征在于，包括一个彩色深度视觉相机(1)、三自由度以上的运动机构(2)、图像数据采集传输装置(3)、包含有视觉软件运行的系统环境的主控计算机(4)和外接显示屏(6)，所述的运动机构(2)固定在工作平台上，能够实现围绕物体进行运动；所述的彩色深度视觉相机(1)固定在运动机构(2)末端，通过运动机构(2)的运动使其围绕着目标物体进行彩色深度图像的采集；所述的彩色深度视觉相机(1)通过数据线与图像数据采集卡相连；所述的图像数据采集传输装置(3)的图像数据采集卡通过包含有视觉软件运行的系统环境的主控计算机(4)总线，将采集到的数据传送到包含有视觉软件运行的系统环境的主控计算机(4)进行处理；处理结果输出到包含有视觉软件运行的系统环境的主控计算机(4)的外接显示屏(6)上进行显示。

【技术特征摘要】

【专利技术属性】
技术研发人员：熊蓉，陈颖，章逸丰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33