一种基于增强现实的物体遮挡关系确认方法及应用技术

本申请公开了一种基于增强现实的物体遮挡关系确认方法及应用，包括：提取真实图像中真实物体的第一物体信息；基于提取到的第一物体信息，与预设虚拟物体的第二物体信息，同时输入遮挡预测网络，所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失；基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测第一物体与所述第二物体之间的遮挡关系。本申请实施例用于预测真实物体与虚拟物体之间互相的遮挡情况，使得在实际应用场景中效果更佳真实。更佳真实。更佳真实。

【技术实现步骤摘要】
一种基于增强现实的物体遮挡关系确认方法及应用


[0001]本申请涉及人工智能
，尤其涉及一种基于增强现实的物体遮挡关系确认方法及应用。

技术介绍

[0002]为了使得真实物体和虚拟物体之间的交互更加贴合真实环境，Battisti等人提出在RGB图像中自动定位手的位置，并通过用于手部跟踪的辅助红外立体摄像机估计手的深度信息(Battisti C,Messelodi S,Poiesi F.Seamless bare
‑
hand interaction in mixed reality[C]//2018IEEE International Symposium on Mixed and Augmented Reality Adjunct(ISMAR
‑
Adjunct).IEEE,2018:198
‑
203.)为了将手的深度信息和与RGB图像中手的相关像素更好地进行关联，该文章使用距离变换算法将手部深度信息和像素信息进行紧密关联。然后将手部的深度信息与虚拟物体的渲染深度进行比较，以确定手部和虚拟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实的物体遮挡关系确认方法，其特征在于，包括：提取真实图像中真实物体的第一物体信息；基于提取到的第一物体信息，与预设虚拟物体的第二物体信息，同时输入遮挡预测网络，其中所述遮挡预测网络用以预测所述第一物体与所述第二物体之间的遮挡关系，所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失；基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测第一物体与所述第二物体之间的遮挡关系。2.如权利要求1所述的基于增强现实的物体遮挡关系确认方法，其特征在于，所述编码器以及所述解码器均包括多层的卷积层与BN层的融合结构，在部分同等深度的融合结构结构之间设置有所述细节增强模块。3.如权利要求2所述的基于增强现实的物体遮挡关系确认方法，其特征在于，所述细节增强模块被配置为从所述编码器前M层的融合结构的任一层分别提取所述第一物体、所述第二物体的细节特征，并计算获得增强的低层次特征，满足：F
l
′
＝(α
‑
U(M)*β)*F
l
其中，U(M)表示对预测的置信度M进行上采样，预测的置信度M是对高层次特征F
h
利用卷积操作和Softmax提取获得的，F
l
表示解码器对应的层级融合结构的输出特征，F
l
′
表示解码器对应的层级融合结构的增强的低层次特征，α表示计算基数，β表示缩放因子。4.如权利要求3所述的基于增强现实的物体遮挡关系确认方法，其特征在于，所述细节增强模块还被配置为将上采样之后的高层次特征F
h
与增强的低层次特征F
l
′
进行结合，并通过卷积操作进行融合。5.如权利要求3所述的基于增强现实的物体遮挡关系确认方法，其特征在于，训练所述遮挡预测网络的过程包括：对于遮挡预测网络的预测结果，利用softmax函数来获得标签映射，满足：其中，b
i
表示任意像素i的类别，k表示不同的类别，p
i,k
是遮挡预测网络中softmax层之前的输出，表示任意像素i属于...

【专利技术属性】
技术研发人员：张绍泽，李斌，王枭雄，亓子龙，邢天璋，汪霖，
申请(专利权)人：中国电子科技集团公司第二十研究所，
类型：发明
国别省市：