恢复定标板遮挡区域的纹理和光照的方法技术

本发明专利技术公开了一种恢复定标板遮挡区域的纹理和光照的方法。其步骤为：(1)拍摄参考图像和定标基准图；(2)建立平面单应性关系；(3)纹理修复；(4)光照修复；(5)采用人工交互的方式判断视频是否拍摄结束，若拍摄结束，则执行步骤(6)；若拍摄未结束，则返回步骤(2)；(6)恢复定标板遮挡区域的纹理和光照的过程结束。本发明专利技术具有恢复结果准确，速度快的优点，鲁棒性高，适合于增强现实的各种应用。

【技术实现步骤摘要】

本专利技术属于图像处理
，涉及一种采用视频图像处理技术与计算机视觉技术的。本专利技术可用于基于定标板的增强现实视频系统中定标板的无痕迹移除。
技术介绍
增强现实技术(AR，Augmented Reality)是虚拟现实技术的一个重要分支，它在输出视频中将虚拟物体与现实环境融为一体，使用户从视觉感官上确信虚拟物体是真实环境的组成部分。增强现实技术的一个关键技术是实时注册，通常可以使用定标板来确定虚拟物体在真实场景中的位置，这种方法准确度高，且具有较强的鲁棒性。但通常定标板的颜色对比度比较大，在视频画面中很突兀，影响画面美观与整体性，因此如果能够恢复被定标板遮挡的区域的纹理和光照，将极大地提高增强现实的画面质量。目前恢复定标板遮挡区域的纹理和光照通常有三种方法:采用传统图像修复算法，纹理生成修复算法以及合成不同分辨率图像的修复算法；北京交通大学申请的专利“基于模块的图像修复方法”(申请号:201110080418.4申请日:2011-03-31，公开号:102142132A)中公开的对基于模块模型的图像修复方法进行了增强。该方法采用传统图像修复算法，以“模块”为处理单元，首先选择待修复目标区域并计算待修复目标区域内各像素点对应的预定大小的待修需模块的纹理特征统计值，根据计算得到的纹理特征统计值调整各待修复模块的大小。然后利用置信度约束和数据项约束计算各待修复模块的优先级。接着在图像已知区域内寻找与具有最高优先级的待修复模块最相似的模块，将其中全部像素点填入待修复模块中，同时更新本次填充的待修复模块内被填充的置信度约束。最后对填充后修复目标区域重复上述步骤，直到待修复目标区域内所有像素被填满。但是该专利申请的方法的计算量较大，只适用于对实时性无要求的场合且该方法对存在光照变化的图像修复问题不适用。该方法修复的结果会产生模糊，或者新的纹理，且算法缺乏先验模型，得到的结果具有随机性，这在视频系统中难以应用。Sanni Siltanen 在文献“Texture Generation over the Marker Area.Proc.1SMAR, pages253_254,2006.，，及 “Augmented Interiors with Digital Camera Images.Proc.AUIC,pages33-36, 2006”中各提出了一种通过生成纹理来隐藏定标板的方法,这两种方法以所修复区域一定邻域内的像素值提供的信息进行不同的线性加权来修复目标区域的纹理。分别存在修复效果过度平滑，及纹理信息混乱的缺点。同时，均仅在简单背景下可得到较良好的效果，无法应用到具有复杂纹理的背景中。Otto Korkaio 等人在文献 “Light-Weight Marker Hiding for AugmentedReality。Proc.1SMAR, pages247_248，2006”中提出一种通过合成不同分辨率的图像来隐藏定标板的方法。该方法在处理视频第一帧时采用传统图像修复算法得到一张高分辨率的图像，并在其后每帧均生成一幅大小约为5X5像素的低分辨率图像，再将当前帧的低分辨率图像与第一帧高分辨率图像合成。由于该方法中的高分辨率图像采用传统的图像修复算法，从而导致恢复纹理不准确且出现平滑
技术实现思路
:本专利技术的目的在于克服上述已有技术的不足，提出一种恢复定标板遮挡区域的纹理和光照方法，使得增强现实系统中的定标板可以被移除且不留任何痕迹，从而提高增强现实的画面质量，达到更好的虚实融合的效果。实现本专利技术的思路是，在视频拍摄开始前先分别拍摄一幅无定标板的参考图像与有定标板的定标基准图像。利用参考图像的纹理信息，通过定标进行几何变换，修复定标板遮挡区域的纹理部分。并对所拍摄视频当前的待处理图像与参考图像中的定标板邻域区域进行光照建模，推出两幅图之间的光照线性关系表达式，通过求解该式的线性系数修复定标板遮挡区域的光照部分。本专利技术实现的具体步骤如下:(I)拍摄参考图像和定标基准图:Ia)将摄像机位置固定，选取需要添加虚拟物体的场景，拍摄该场景在未放置定标板前的一幅图像作为参考图像；Ib)将定标板放置于场景中，拍摄一幅有定标板的图像作为定标基准图；(2)建立平面单应性关系:2a)任意调整摄像机位置，拍摄含有定标板场景的视频，获取当前时刻待处理图像；2b)从待处理图像和定标基准图中，选取至少四对不在同一直线上的相对应的占.2c)将步骤2b)所述对应点代入方程X = H.Y中，获得待处理图像和定标基准图之间的平面单应性关系矩阵H;其中，X为选取的待处理图像中的点的坐标列向量，Y为选取的定标基准图像中的点的坐标列向量；(3)纹理修复:将平面单应性矩阵H左乘以定标基准图像中定标板区域的每个点的坐标列向量Y，获得变换后的点的坐标列向量X，将求得的坐标列向量X在参考图像中对应的像素颜色值填充到待处理图像的定标板区域，获得已修复纹理的图像，完成纹理修复；(4)光照修复:4a)将纹理修复区域作为目标区域，选取已修复纹理图像中的目标区域的邻域，将邻域内任一点的像素值与参考图像中对应点的像素值代入下式，建立已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式:I = aj+b其中，I为已修复纹理图像中目标区域邻域内任一点的像素值，J为参考图像中与之相对应点的像素值，a和b为待求光照线性关系的系数；4b)采用最小二乘法，从已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式中，求得邻域内待求光照线性关系的系数a和b的值；4c)采用插值法，由邻域内待求光照线性关系的系数a和b的值，插值出目标区域内点的光照线性关系系数a和b的值；4d)将已修复纹理图像中目标区域内点的原有像素值及光照线性关系系数a和b的值，代入步骤4a)所述的光照线性关系表达式中，得到目标区域的点当前像素值；4e)用目标区域的点当前像素值替代原像素值，完成光照修复；(5)采用人工交互的方式判断视频是否拍摄结束，若拍摄结束，则执行步骤(6)；若拍摄未结束，则返回步骤(2);(6)恢复定标板遮挡区域的纹理和光照的过程结束。与现有技术相比，本专利技术有以下优点:第一，本专利技术采用以事先拍摄的参考图像提供了准确的纹理信息，用来恢复定标板遮挡区域的纹理，解决了现有技术恢复定标板遮挡区域的方法所恢复的纹理不真实，不连续的问题，使得本专利技术具有纹理真实，无平滑，无模糊的优点。第二，本专利技术首次对光照进行了专门修复，解决了现有技术中恢复定标板遮挡区域的方法无法适应不同光照的问题，使得本专利技术可以在大多数光照条件下得到无光照差的良好修复结果。第三，本专利技术首次在恢复定标板遮挡区域的方法中进行了光照建模，并推出不同光照间的线性关系表达式，通过求解线性系数进行光照修复。解决了现有技术中恢复定标板遮挡区域的方法无完整模型，缺乏理论依据以致结果具有随机性的问题。使得本专利技术的修复结果具有很好的鲁棒性。第四，本专利技术不需要全局搜索，且不需要计算偏微分方程和优先度，只需要求解线性方程，能够实时实现，解决了现有技术图像修复算法难以实时应用的问题，使得本专利技术可以应用于拍摄及视频中。第五，本专利技术的最终修复结果无失真，无平滑，无光照差，完全符合视觉连续性，且肉眼无法分辨本文档来自技高网...

【技术保护点】
一种恢复定标板遮挡区域的纹理和光照的方法，包括如下步骤：(1)拍摄参考图像和定标基准图：1a)将摄像机位置固定，选取需要添加虚拟物体的场景，拍摄该场景在未放置定标板前的一幅图像作为参考图像；1b)将定标板放置于场景中，拍摄一幅有定标板的图像作为定标基准图；(2)建立平面单应性关系：2a)任意调整摄像机位置，拍摄含有定标板场景的视频，获取当前时刻待处理图像；2b)从待处理图像和定标基准图中，选取至少四对不在同一直线上的相对应的点；2c)将步骤2b)所述对应点代入方程X＝H·Y中，获得待处理图像和定标基准图之间的平面单应性关系矩阵H；其中，X为选取的待处理图像中的点的坐标列向量，Y为选取的定标用基准图像中的点的坐标列向量；(3)纹理修复：将平面单应性矩阵H左乘以定标用基准图像中定标板区域的每个点的坐标列向量Y获得变换后的点的坐标列向量X，将求得的坐标列向量X在参考图像中对应的像素颜色值填充到待处理图像的定标板区域，获得已修复纹理的图像，完成纹理修复；(4)光照修复：4a)将纹理修复区域作为目标区域，选取已修复纹理图像中的目标区域的邻域，将邻域内任一点的像素值与参考图像中对应点的像素值代入下式，建立已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式：I＝aJ+b其中，I为已修复纹理图像中目标区域邻域内任一点的像素值，J为参考图像中与之相对应点的像素值，a和b为待求光照线性关系的系数；4b)采用最小二乘法，从已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式中，求得邻域内待求光照线性关系的系数a和b的值；4c)采用插值法，由邻域内待求光照线性关系的系数a和b的值，插值出目标区域内点的光照线性关系系数a和b的值；4d)将已修复纹理图像中目标区域内点的原有像素值及光照线性关系系数a和b的值，代入步骤4a)所述的光照线性关系表达式中，得到目标区域的点当前像素值；4e)用目标区域的点当前像素值替代原像素值，完成光照修复；(5)采用人工交互的方式判断视频是否拍摄结束，若拍摄结束，则执行步骤(6)；若拍摄未结束，则返回步骤(2)；(6)恢复定标板遮挡区域的纹理和光照的过程结束。...

【技术特征摘要】
1.一种恢复定标板遮挡区域的纹理和光照的方法，包括如下步骤: (1)拍摄参考图像和定标基准图: Ia)将摄像机位置固定，选取需要添加虚拟物体的场景，拍摄该场景在未放置定标板前的一幅图像作为参考图像； Ib)将定标板放置于场景中，拍摄一幅有定标板的图像作为定标基准图； (2)建立平面单应性关系: 2a)任意调整摄像机位置，拍摄含有定标板场景的视频，获取当前时刻待处理图像； 2b)从待处理图像和定标基准图中，选取至少四对不在同一直线上的相对应的点； 2c)将步骤2b)所述对应点代入方程X = H.Y中，获得待处理图像和定标基准图之间的平面单应性关系矩阵H;其中，X为选取的待处理图像中的点的坐标列向量，Y为选取的定标用基准图像中的点的坐标列向量； (3)纹理修复: 将平面单应性矩阵H左乘以定标用基准图像中定标板区域的每个点的坐标列向量Y获得变换后的点的坐标列向量X，将求得的坐标列向量X在参考图像中对应的像素颜色值填充到待处理图像的定标板区域，获得已修复纹理的图像，完成纹理修复； (4)光照修复: 4a)将纹理修复区域作为目标区域，选取已修复纹理图像中的目标区域的邻域，将邻域内任一点的像素值与参考 图像中对应点的像素值代入下式，建立已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式:I = aj+b 其中，I为已修复纹理图像中目标区域邻域内任一点的像素值，J为参考图像中与之相对应点的像素值，a和b为待求光照线性关系的系数； 4b)采用最小二乘法，从已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式中，求得邻域内...

【专利技术属性】
技术研发人员：姜光，顾晨，丁瑜祯，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：