基于不连续性检测的可度量细粒度遮挡去除可视化方法技术

本发明专利技术基于细粒度不连续性检测提出了一个可度量的遮挡去除可视化方法。用户在虚拟现实环境下漫游时，该方法支持自动检测场景内的细粒度遮挡区域，并实时建立去遮挡效果。首先从用户视点下对场景进行常规渲染，然后获取场景深度图像，在该图像上对场景进行全局不连续性检测，获取场景内细粒度遮挡区域，通过突出显示其包围盒指示用户其可用性。一旦用户启动去遮挡功能，该方法将自动建立可以去除细粒度遮挡的两段式图形相机，通过用户自行控制两个附加视点的移动获取该图形相机的多视点渲染视图。同时还提出了一个遮挡去除程度的度量方法，通过将用户视点视椎体体素化，再判断各个体素的可见性以及是否被访问，可以对用户以探索程度进行提示，为用户使用去遮挡效果提供指引。该方法能够达到实时交互的效率，并且显著提高了用户在虚拟场景内漫游的效率。

【技术实现步骤摘要】
基于不连续性检测的可度量细粒度遮挡去除可视化方法
本专利技术涉及一种基于不连续性检测的可度量细粒度遮挡去除可视化方法。
技术介绍
虚拟现实漫游方法是虚拟现实应用中一个重要的组成部分。然而，由于现实物理空间和虚拟现实空间之间存在差异的制约，用户在进行虚拟场景漫游或探索时，往往会与真实物体发生碰撞，或者需要大幅度扭曲虚拟空间。为了达到高效，高沉浸感等方面的要求，已经提出了一些漫游方式，包括运动平台，动作识别，虚拟步行等方法。然而，目前最能保持用户沉浸感的漫游方式仍然是自由探索方式，即用户的真实位移与虚拟位移一一对应的方式。遮挡作为虚拟场景漫游应用中一个不可避免的因素，一直限制着用户漫游场景的效率。目前为止，已经出现了很多解决虚拟场景遮挡问题的方法。例如，传统渲染中应用的顶视图方法，通过直接显示场景顶视图的方式为用户提供被遮挡的场景内容。另一种去除场景遮挡的方法是透明化渲染的方法。通过类似X光一样的透视效果，将视野内表层的遮挡进行透明化处理，使用户能够直接观察到遮挡后面的物体。近年来，还出现了一种广泛使用的方法，即多视角视图渲染方法。通过采集场景内多个视点的样本，并集中显示在当前主视点视图下，使用户看到当前视点下看不到的被遮挡的部分场景，实现场景的去遮挡效果。可见性判断和漫游指引作为虚拟现实漫游应用中的一个研究内容，过去已经存在了不少研究。其中，潜在可见集(PVS)的研究，通过计算场景内目标点、面、体与其他图元之间的可见性，直接计算场景可见集合。然而，上述遮挡去除方法都存在着场景内遮挡要求粒度较大，并且不能自动实施，而导致可应用的场景类型有限以及需要对场景进行人工预处理等问题，这直接限制了这些方法的可用性。针对这些问题，本专利技术针对场景内可能存在的细粒度遮挡体，提出了一个自动检测细粒度遮挡的算法，并以此为基础建立了合适去除细粒度遮挡的两段式图形相机，实现了场景内细粒度遮挡的自动去除方法。同时，提出了一种适合该去遮挡方法的潜在遮挡度量方法，能够直观的给予用户当前已去除的遮挡百分比，为用户提供场景漫游指引。
技术实现思路
本专利技术解决的技术问题是：实现了一个新颖的可度量的实时自动细粒度遮挡去除的虚拟现实漫游可视化方法，该方法能够自动检测场景内的细粒度遮挡区域，并实时建立去遮挡效果，如图1所示。首先从用户视点下对场景进行常规渲染，然后获取场景深度图像，在该图像上对场景进行全局不连续性检测，获取场景内细粒度遮挡区域，通过突出显示其包围盒指示用户其可用性。一旦用户启动去遮挡功能，该方法将自动建立可以去除细粒度遮挡的两段式图形相机，通过用户自行控制两个附加视点的移动获取该图形相机的多视点渲染视图。同时方法还包含一个遮挡去除程度的度量方法，通过将用户视点视椎体体素化，再判断各个体素的可见性以及是否被访问，可以对用户以探索程度进行提示，为用户使用去遮挡效果提供指引。本专利技术的主要创新点是：(1)提出了基于全局深度不连续性的场景细粒度遮挡检测方法，解决了传统方法场景限定的问题。(2)提出了一个量化与定位遮挡的方法，该方法可以告知用户还有多少遮挡需要看以及在哪里。本专利技术采用的技术方案为：一种基于不连续性检测的可度量细粒度遮挡去除可视化方法，其特征在于包括以下四个步骤：步骤(1)、细粒度遮挡区域的检测：给定场景用户视点下的传统渲染视图，首先从渲染帧缓存中获取场景的深度图，然后对其进行拉普拉斯滤波，获取图像深度变化边缘；之后再进行膨胀和腐蚀滤波方法去掉残留的噪声，最终获取细粒度遮挡区域包围盒。；步骤(2)、多视角视图的构建：当检测到场景内的细粒度遮挡区域后，利用生成的细粒度遮挡区域包围盒，建立了一个两段式图形相机，该图形相机能够在保持检测到的细粒度区域始终处于用户视野内的前提下获取额外视角下该区域的图像，从而实现细粒度遮挡的去除，同时保持用户附近区域的几何不变，并支持目标区域的放缩显示；步骤(3)、交互式多视角可视化：一旦前面提到了两段式图形相机建立好之后，用户就可以开始使用建立好的相机模型进行去遮挡。当用户开始慢慢偏头，相机模型中两个附加视点便开始从用户视点慢慢移开，交互地逐步部署去遮挡效果。这导致传统的单视角图像逐渐转变为多视角图像，从而改变了目标区域的视角投影，并去除遮挡。步骤(4)、遮挡去除效果的度量：上述步骤实现了细粒度遮挡的去除。本专利技术还开发了一种通知用户当前视角下场景内尚未去除的遮挡的方法，该方法的量化是基于当前区域进行的。首先将当前视角下视景体内的空间进行体素化，然后在用户的整个探索过程中，判断这些体素对用户的可见性，从而实时的反馈给用户当前视角下场景内遮挡的去除程度，以便用户能够系统的，详尽的漫游场景。本专利技术的原理在于：(1)当前视图深度图像内存在的不连续元素指示着场景内存在的可能遮挡，通过分析这些不连续元素的相互结构和粒度大小等信息，可以将场景内存在的细粒度遮挡从众多遮挡中提取出来。(2)为了可视化检测到的细粒度遮挡区域中被遮挡场景内容，先基于检测的遮挡区域包围盒建立一个对应的两段式图形相机，利用该相机对场景进行投影，可以获取该区域在主视点和附加视点下的合成视图，实现细粒度遮挡去除可视化效果。(3)为了实现对用户漫游场景的指引，基于本专利技术提出了细粒度遮挡去除可视化方法，提出了一个遮挡量化和定位方法，通过体素化当前视景体内的虚拟空间，在去遮挡可视化过程中递进式更新各个体素对用户的可见性，实现遮挡去除残余量的计算。本专利技术与现有技术相比的优点在于：1、本专利技术提出的基于深度图像全局不连续性的细粒度遮挡检测方法，实现了虚拟场景内细粒度遮挡的检测，解决了已有方法存在的只适用于大型遮挡的问题，扩展了多视角可视化方法在泛化虚拟场景下的高效漫游应用。2、对比已有的方法，本专利技术提出的细粒度遮挡检测，两段式相机构建以及多视角视图可视化是实时运行的，对于动态场景仍然适用。并且，提出的两段式图形相机，在保持场景连续性，非冗余的要求前提下，锚定了用户位置，并良好的可视化的目标遮挡区域，提高了用户的沉浸感。3、本专利技术提供的虚拟场景遮挡量化和定位方法，解决了以往方法存在的预计算时间需求高，无法给予用户良好的去遮挡程度反馈的问题，直观的为用户提供了当前视点下场景遮挡去除的程度，为用户进一步的漫游探索提供了指引。附图说明图1为本专利技术去遮挡效果图。图2为本专利技术总体流程图；图3为细粒度遮挡区域检测流程图；图4为两段式图形相机模型原理图；图5为图形相机放大效果原理图；图6为场景放大效果图；图7为反投影场景图；图8为场景遮挡量化效果图。具体实施方式图2给出了基于不连续性检测的可度量细粒度遮挡去除可视化的总体处理流程，下面结合其他附图及具体实施方式进一步说明本专利技术。1、场景细粒度遮挡区域检测如图2中所示，当用户激活了遮挡去除应用，第一步就是进行当前场景内细粒度遮挡的检测，以获取当前场景内细粒度遮挡存在区域，为下一步去除遮挡提供支持。事实上，给本文档来自技高网...

【技术保护点】
1.一种基于不连续性检测的可度量细粒度遮挡去除可视化方法，其特征在于包括以下四个步骤：/n步骤(1)、细粒度遮挡区域的检测：给定场景用户视点下的传统渲染视图，首先从渲染帧缓存中获取场景的深度图，然后对其进行拉普拉斯滤波，获取图像深度变化边缘；之后再进行膨胀和腐蚀滤波方法去掉残留的噪声，最终获取细粒度遮挡区域包围盒；/n步骤(2)、多视角视图的构建：当检测到场景内的细粒度遮挡区域后，利用生成的细粒度遮挡区域包围盒，建立了一个两段式图形相机，该图形相机能够在保持检测到的细粒度区域始终处于用户视野内的前提下获取额外视角下该区域的图像，从而实现细粒度遮挡的去除，同时保持用户附近区域的几何不变，并支持目标区域的放缩显示；/n步骤(3)、交互式多视角可视化：一旦前面提到了两段式图形相机建立好之后，用户就可以开始使用建立好的相机模型进行去遮挡。当用户开始慢慢偏头，相机模型中两个附加视点便开始从用户视点慢慢移开，交互地逐步部署去遮挡效果。这导致传统的单视角图像逐渐转变为多视角图像，从而改变了目标区域的视角投影，并去除遮挡；/n步骤(4)、遮挡去除效果的度量：上述步骤实现了细粒度遮挡的去除，本专利技术还开发了一种通知用户当前视角下场景内尚未去除的遮挡的方法，该方法的量化是基于当前区域进行的，首先将当前视角下视景体内的空间进行体素化，然后在用户的整个探索过程中，判断这些体素对用户的可见性，从而实时的反馈给用户当前视角下场景内遮挡的去除程度，以便用户能够系统的，详尽的漫游场景。/n...

【技术特征摘要】
1.一种基于不连续性检测的可度量细粒度遮挡去除可视化方法，其特征在于包括以下四个步骤：
步骤(1)、细粒度遮挡区域的检测：给定场景用户视点下的传统渲染视图，首先从渲染帧缓存中获取场景的深度图，然后对其进行拉普拉斯滤波，获取图像深度变化边缘；之后再进行膨胀和腐蚀滤波方法去掉残留的噪声，最终获取细粒度遮挡区域包围盒；
步骤(2)、多视角视图的构建：当检测到场景内的细粒度遮挡区域后，利用生成的细粒度遮挡区域包围盒，建立了一个两段式图形相机，该图形相机能够在保持检测到的细粒度区域始终处于用户视野内的前提下获取额外视角下该区域的图像，从而实现细粒度遮挡的去除，同时保持用户附近区域的几何不变，并支持目标区域的放缩显示；
步骤(3)...

【专利技术属性】
技术研发人员：王莉莉，吴健，张辉，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11