恢复定标板遮挡区域的纹理和光照的方法技术

本发明专利技术公开了一种恢复定标板遮挡区域的纹理和光照的方法。其步骤为：(1)拍摄参考图像和定标基准图；(2)建立平面单应性关系；(3)纹理修复；(4)光照修复；(5)采用人工交互的方式判断视频是否拍摄结束，若拍摄结束，则执行步骤(6)；若拍摄未结束，则返回步骤(2)；(6)恢复定标板遮挡区域的纹理和光照的过程结束。本发明专利技术具有恢复结果准确，速度快的优点，鲁棒性高，适合于增强现实的各种应用。

【技术实现步骤摘要】

本专利技术属于图像处理
，涉及一种采用视频图像处理技术与计算机视觉技术的。本专利技术可用于基于定标板的增强现实视频系统中定标板的无痕迹移除。
技术介绍
增强现实技术(AR，Augmented Reality)是虚拟现实技术的一个重要分支，它在输出视频中将虚拟物体与现实环境融为一体，使用户从视觉感官上确信虚拟物体是真实环境的组成部分。增强现实技术的一个关键技术是实时注册，通常可以使用定标板来确定虚拟物体在真实场景中的位置，这种方法准确度高，且具有较强的鲁棒性。但通常定标板的颜色对比度比较大，在视频画面中很突兀，影响画面美观与整体性，因此如果能够恢复被定标板遮挡的区域的纹理和光照，将极大地提高增强现实的画面质量。目前恢复定标板遮挡区域的纹理和光照通常有三种方法:采用传统图像修复算法，纹理生成修复算法以及合成不同分辨率图像的修复算法；北京交通大学申请的专利“基于模块的图像修复方法”(申请号:201110080418.4申请日:2011-03-31，公开号:102142132A)中公开的对基于模块模型的图像修复方法进行了增强。该方法采用传统图像修复算法，以“模块”为处理单元，首先选择本文档来自技高网...

【技术保护点】
一种恢复定标板遮挡区域的纹理和光照的方法，包括如下步骤：(1)拍摄参考图像和定标基准图：1a)将摄像机位置固定，选取需要添加虚拟物体的场景，拍摄该场景在未放置定标板前的一幅图像作为参考图像；1b)将定标板放置于场景中，拍摄一幅有定标板的图像作为定标基准图；(2)建立平面单应性关系：2a)任意调整摄像机位置，拍摄含有定标板场景的视频，获取当前时刻待处理图像；2b)从待处理图像和定标基准图中，选取至少四对不在同一直线上的相对应的点；2c)将步骤2b)所述对应点代入方程X＝H·Y中，获得待处理图像和定标基准图之间的平面单应性关系矩阵H；其中，X为选取的待处理图像中的点的坐标列向量，Y为选取的定标用基...

【技术特征摘要】
1.一种恢复定标板遮挡区域的纹理和光照的方法，包括如下步骤: (1)拍摄参考图像和定标基准图: Ia)将摄像机位置固定，选取需要添加虚拟物体的场景，拍摄该场景在未放置定标板前的一幅图像作为参考图像； Ib)将定标板放置于场景中，拍摄一幅有定标板的图像作为定标基准图； (2)建立平面单应性关系: 2a)任意调整摄像机位置，拍摄含有定标板场景的视频，获取当前时刻待处理图像； 2b)从待处理图像和定标基准图中，选取至少四对不在同一直线上的相对应的点； 2c)将步骤2b)所述对应点代入方程X = H.Y中，获得待处理图像和定标基准图之间的平面单应性关系矩阵H;其中，X为选取的待处理图像中的点的坐标列向量，Y为选取的定标用基准图像中的点的坐标列向量； (3)纹理修复: 将平面单应性矩阵H左乘以定标用基准图像中定标板区域的每个点的坐标列向量Y获得变换后的点的坐标列向量X，将求得的坐标列向量X在参考图像中对应的像素颜色值填充到待处理图像的定标板区域，获得已修复纹理的图像，完成纹理修复； (4)光照修复: 4a)将纹理修复区域作为目标区域，选取已修复纹理图像中的目标区域的邻域，将邻域内任一点的像素值与参考 图像中对应点的像素值代入下式，建立已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式:I = aj+b 其中，I为已修复纹理图像中目标区域邻域内任一点的像素值，J为参考图像中与之相对应点的像素值，a和b为待求光照线性关系的系数； 4b)采用最小二乘法，从已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式中，求得邻域内...

【专利技术属性】
技术研发人员：姜光，顾晨，丁瑜祯，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：