基于三维视觉的圆柱体增强现实方法、系统、装置制造方法及图纸

本发明专利技术属于计算机视觉领域，具体涉及了一种基于三维视觉的圆柱体增强现实方法、系统、装置，旨在解决现有技术很难对圆柱体进行增强现实的问题。本发明专利技术方法包括：对获取的圆柱体多视角的视频图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建世界坐标系；基于射影不变性和成像原理，计算每张图像对应的相机姿态；重建圆柱体三维模型；基于重建的三维模型获取视频图像并进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态；通过获得的相机姿态将虚拟图像叠加到圆柱体视频图像上，实现圆柱体增强现实。本发明专利技术方法离线重建和在线跟踪精度高、速度快，并且叠加的虚拟物体稳定，实现了圆柱体增强现实的目的。

Cylindrical augmented reality method, system and device based on three-dimensional vision

【技术实现步骤摘要】
基于三维视觉的圆柱体增强现实方法、系统、装置
本专利技术属于计算机视觉领域，具体涉及了一种基于三维视觉的圆柱体增强现实方法、系统、装置。
技术介绍
近年来，增强现实改变了传统的视频信息交互应用的理念，在医疗，军事，教育，娱乐等领域有着巨大的应用前景。无论是在学术界还是在工业界，增强现实都受到了广泛的关注。起初，有许多平面方形的标记物被用于增强现实，例如ARToolKit,，ARTag，AprilTag等。ARToolKit是最早的最受欢迎的，ARTag和AprilTa都是基于ARToolKit的思想进行改进的。后来，平面圆形的标记物逐渐流行起来，比如Mono-spectrum,，CCTag，RUNETag等。无论是平面方形的标记物还是平面圆形的标记物，都是根据计算相机姿态把虚拟物体投影到真实物体上实现增强现实的。针对这些平面标记物，它们都一个共同的缺点，必须打印这些平面标记物然后将打印的平面标记物放在场景中才能够实现增强现实，操作不是很方便。进一步，出现了不需要标记的增强现实技术，但都是局限在对平面的增强上，对于圆柱体曲面的增强现实困难很多，相关技术在国内外鲜少。
技术实现思路
为了解决本文档来自技高网...

【技术保护点】
1.一种基于三维视觉的圆柱体增强现实方法，其特征在于，包括：步骤S10，获取圆柱体多视角视频图像集，作为输入图像集；步骤S20，对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建立该图像中圆柱体的世界坐标系；步骤S30，基于所述输入图像集中每一个图像拟合得到的圆柱体的轮廓线、对应的世界坐标系，基于射影不变性和成像原理，计算每张图像对应的相机姿态；步骤S40，提取所述输入图像集中每一个图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点，获得重建的圆柱体三维模型；步骤S50，基于所述重建的圆柱体三维模型，获取对应的圆柱体视频图像并进行初始化，获得初始相机...

【技术特征摘要】
1.一种基于三维视觉的圆柱体增强现实方法，其特征在于，包括：步骤S10，获取圆柱体多视角视频图像集，作为输入图像集；步骤S20，对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建立该图像中圆柱体的世界坐标系；步骤S30，基于所述输入图像集中每一个图像拟合得到的圆柱体的轮廓线、对应的世界坐标系，基于射影不变性和成像原理，计算每张图像对应的相机姿态；步骤S40，提取所述输入图像集中每一个图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点，获得重建的圆柱体三维模型；步骤S50，基于所述重建的圆柱体三维模型，获取对应的圆柱体视频图像并进行初始化，获得初始相机姿态和三维-二维对应关系；步骤S60，基于所述初始相机姿态和三维-二维对应关系，进行帧间相机姿态跟踪计算，获得每一帧图像对应的相机姿态；步骤S70，采用所述每一帧图像对应的相机姿态，将输入的虚拟图像叠加到所述圆柱体视频图像上，以实现圆柱体增强现实。2.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S20中“对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体在图像中的轮廓线，并建立该图像中圆柱体的世界坐标系”，其方法为：步骤S201，对所述输入图像集中每一个图像，采用霍夫变换方法拟合圆柱体的两条边缘直线l1和l2，同时拟合圆柱体的两条二次曲线c1和c2；步骤S202，以所述曲线c2的中心点o2对应的空间点作为世界坐标系的原点，所述曲线c2的中心点o2到曲线c2上的一个点的直线作为世界坐标系的X轴，所述曲线c2的中心点o2到曲线c1的中心点o1的直线作为世界坐标系的Z轴，所述二次曲线c2所对应的空间平面为世界坐标系的X-Y平面，完成世界坐标系的建立。3.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S30中“基于所述输入图像集中每一个图像拟合得到的圆柱体的轮廓线、对应的世界坐标系，基于射影不变性和成像原理，计算每张图像对应的相机姿态”，其方法为：基于拟合的两条直线和两条曲线、世界坐标系，分别计算每张图像从世界坐标系到相机坐标系的旋转变换矩阵R和平移向量t，所述旋转变换矩阵R和平移向量t为图像对应的相机姿态。4.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S40中“提取所述输入图像集中每一个图像的特征点，并基于所述图像对应的相机姿态，重建特征点对应的空间点”之后还设置有空间点优化的步骤，其方法为：步骤B10，根据三维-二维的对应关系，采用重投影误差最小化优化每一帧图像的姿态和图像所观察到的所有的空间点；步骤B20，基于所述优化后的每一帧图像的姿态和图像所观察到的所有的空间点，采用全局捆绑调整优化所有图像的空间点和所有图像的相机姿态。5.根据权利要求1所述的基于三维视觉的圆柱体增强现实方法，其特征在于，步骤S50中“基于所述重建的圆柱体三维模型，获取对应的圆柱体视频图像并进行初始化”，其方法为：步骤S501，基于获取的圆柱...

【专利技术属性】
技术研发人员：唐付林，吴毅红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11