The invention requests to protect an Augmented Reality (AR) virtual-real occlusion processing method based on active appearance model, which relies on non-rigid body tracking technology based on active appearance model and virtual-real occlusion processing technology based on depth calculation. The method includes steps 1, aligning shape samples in training sample set_, step 2: building steps of average shape model: step 3: texture. Step 4: Construction of Active Appearance Model: After the construction of shape model and texture model, any new input image of non-rigid object can be represented by shape model parameter BS and texture model parameter bg, and the active appearances model can be built by combining shape and texture model; Step 5: Model matching and non-rigid object segmentation step: The invention can achieve good occlusion effect and avoid the appearance of \shadow\.
【技术实现步骤摘要】
一种基于主动表观模型的增强现实虚实遮挡处理方法
本专利技术属于增强现实
，具体涉及一种基于主动表观模型的增强现实虚实遮挡处理方法。
技术介绍
目前大多数研究都针对刚性物体与虚拟物体发生遮挡的情况进行讨论，这与实际情况不符。例如进入观察视场的手、其他操作人员等都属于非刚性物体。非刚性物体与刚性物体不同，它在运动过程中容易发生不规则形变、内部褶皱扭曲等现象。因此如何对非刚性物体进行虚实遮挡关系处理需要进一步研究。Fuhrmann等研究了静止物体、运动的刚性物体和运动的非刚性物体三类真实物体与虚拟物体的遮挡处理问题，对于非刚性物体，把人体手臂视为多关节刚性物体，构建了多关节刚性三维模型，实现了人体手臂与虚拟物体的虚实遮挡，但是虚实遮挡精度不理想。Ladikos等提出采用16个相机对真实场景进行三维重建，利用重建模型对遮挡关系进行判断。该方法需要4台PC同时计算才能使实时性达到30fps，而且该系统存在搭建过程复杂、成本昂贵、遮挡精度低等缺点。Lu等提出一种基于双目视觉的虚实遮挡方法，但由于双目计算深度，计算量大，即使将计算放在GPU上进行，仍然难以满足实时性的要求...
【技术保护点】
1.一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，借助了基于主动表观模型的非刚体跟踪技术和基于深度计算的虚实遮挡处理技术，具体包括：步骤1、将训练样本集Ω中的形状样本对齐的步骤，包括：(1)在训练样本集Ω中选择任一形状向量作为平均形状的初始估计，并对其进行尺度变换，使
【技术特征摘要】
1.一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，借助了基于主动表观模型的非刚体跟踪技术和基于深度计算的虚实遮挡处理技术，具体包括：步骤1、将训练样本集Ω中的形状样本对齐的步骤，包括：(1)在训练样本集Ω中选择任一形状向量作为平均形状的初始估计，并对其进行尺度变换，使(2)将训练样本集中所有的形状向量与目前平均形状进行对齐；(3)从对齐的形状中再次计算新的平均形状，并对其进行尺度变换，使(4)一次迭代之后，假如新的平均形状向量与相似变换前的平均形状向量间差异小于阈值τ，则停止迭代，否则返回Step2继续迭代；步骤2：平均形状模型的构建步骤：(1)将对齐后的训练样本集和相应的协方差矩阵表示出。(2)对协方差矩阵进行特征分解获得形状主要变化方式，即获得特征值及其对应的特征向量。然后将所有的特征值进行降序排列。(3)为了降低训练集的维数，使训练集的形状变化用尽量小的变化方式集合来描述，降低运算的复杂性。本文采用主成分分析法(PrincipleComponentAnalysis，PCA)进行降维处理。(4)最后采用形状模型构建算法进行形状模型构建。步骤3：纹理模型的构建步骤：(1)首先需要将训练样本中目标物体的形状向量通过分段线性仿射统一到平均形状内，从而获得与形状无关、具有相同纹理信息维度和对应关系的纹理向量；(2)为了使纹理信息能够映射到平均形状中，利用Delaunay三角算法将平均形状和训练样本目标物体对应的形状进行三角剖分，从而将目标物体纹理划分为若干三角面片，将每个三角面片内的像素分别进行映射，待所有三角面片对应关系获得后，即可获得该样本图像纹理映射到的图像；(3)最后采用与构建形状模型相似的方法计算平均纹理的协方差矩阵，并用主成分分析法PCA进行降维；步骤4：主动表观模型的构建步骤：在完成了形状模型和纹理模型构建后，任意新的非刚性物体输入图像都可以用形状模型参数bs和纹理模型参数bg来表示。将形状和纹理模型联合起来建立主动表观模型；步骤5：模型匹配与非刚性物体分割步骤：(1)输入图像与模型的匹配就是求解输入图像和最相似的模型实例之间的最小纹理误差；(2)按照模型匹配算法进行模型匹配与非刚性物体分割。2.根据权利要求1所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，所述步骤1将训练样本集Ω中的形状样本对齐的步骤具体包括：Step1：在训练样本集Ω中选择任一形状向量作为平均形状的初始估计，并对其进行尺度变换，使S0表示任一形状向量，表示任一形状向量的平均形状；Step2：利用式(2)和式(3)将训练样本集中所有的形状向量与目前平均形状进行对齐；误差函数E表示为：E＝|T(SL)-SM|2(1)，T(SL)表示训练样本集Ω中的一个形状向量的相似变换，SL和SM分别为训练样本集Ω中的两个形状向量；式(2)中T(·)相似变换表示为：式(3)中u＝scosθ，v＝ssinθ，s为缩放因子，u表示缩放因子与旋转因子的余弦表示，v表示缩放因子与旋转因子的正弦表示，且s2＝u2+v2；θ为旋转因子，且t为位移因子，tx表示x方向的位移因子ty表示y方向的位移因子。3.根据权利要求2所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，为了将训练样本集Ω中的所有形状进行对齐，采用广义对齐GPA算法进行迭代运算。4.根据权利要求2所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，所述步骤2平均形状...
【专利技术属性】
技术研发人员：王月，罗志勇，帅昊，赵杰，马国喜，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。