一种用于受训者和专家之间远程协作的混合现实视觉指导方法技术

本发明专利技术提出了一种用于受训者和专家之间远程协作的混合现实视觉指导方法。专家通过一个虚拟现实(VR)界面编写视觉指令。指令通过增强现实(AR)界面覆盖在工作空间上显示给受训者。首先，在向受训者展示专家撰写的视觉指令时，要考虑到三维工作空间的遮挡。第二，专家可以通过选择、复制、粘贴和重新定位工作空间的对象，真实地描述工作空间的目标状态，从而编写具有高度提示性的指令；第三，多个指令可以串联成序列，由受训者独立执行，而不需要专家的任何额外指导；为此，需要实时获取不断变化的工作空间，并调整指令以考虑到工作空间的实际状态；支持指令的稳健批量执行提高了受训者与专家合作的效率，使专家和受训者能够异步工作。作。作。

【技术实现步骤摘要】
一种用于受训者和专家之间远程协作的混合现实视觉指导方法


[0001]本专利技术涉及计算机图形学、混合现实
，具体涉及一种用于受训者和专家之间远程协作的混合现实视觉指导方法。

技术介绍

[0002]混合现实技术通过连接合作各方的世界，实现了在遥远的地理距离上的有效合作。在一种远程协作中，本地的受训者必须在远程专家的指导下操纵他们工作空间中的物理对象。受训者的工作空间是通过多视角的深度和彩色摄像机捕获的，这些摄像机实时获取工作空间的外观和几何形状。获得的颜色和深度数据然后被发送到远程站点，在那里专家可以用虚拟现实头盔进行身临其境的可视化。向受训者提供指导的一个强有力的方法是通过工作空间的图形注释，这比口头指示更有效、更高效。
[0003]之前的工作也在几个协作场景研究了AR注释所带来的协作效率的提高。在一个场景中，合作者共同完成一项任务。许多方法研究了基于几类视觉线索的混合方法，如手势、虚拟射线指向和绘画，研究发现线索的特定组合在减少任务负荷和提高协作的社会质量方面对特定任务是有益的，但对于远程协作场景中的视觉指令需要进一步探索。
[0004]在另一个合作场景中，也是本专利技术的方法所探讨的场景，其中一个合作者是本地受训者，他必须在远程专家的指导下执行任务。在这种情况下，协作系统的额外任务是将工作空间传达给远程专家，并允许专家编写注释。一些研究用静态图像或平面视频来捕捉工作空间。然后，指导者对工作区进行注释，但工作空间受限较大，专家无法进行自由探索。另一项研究侧重于视频的文字注释，这有助于合作者使用衔接语言，使口头交流更有效率，但无法提供更复杂的图形注释。一些方法通过让专家从两个视角绘制注释，将二维注释三角化到三维空间，解决了二维注释的模糊性，但同样无法提供更复杂的三维空间中的图形注释。随着深度相机的发展，一些研究已经开始依赖主动的工作空间采集。通过利用工作空间的几何形状，或依靠简化的平面代理假设，将手绘的二维视觉线索投影到三维空间，这使得受训者可以自由改变视角。

技术实现思路

[0005]本专利技术解决的技术问题是：克服现有技术的不足，提供一种用于受训者和专家之间远程协作的混合现实视觉指导方法，能够有效且高效地用于远程视觉指导，缓解三维工作空间中的遮挡，提供更丰富的视觉指令并实现受训者和专家之间良好的沟通效率。
[0006]为了能够解决上述问题，提出了一种用于受训者和专家之间远程协作的混合现实视觉指导方法，该方法能够自动检测并缓解由于工作空间的遮挡而造成的平移指令的不完整；允许专家将物体的点云或几何模型副本放置到目标的姿态，从而高保真地描绘出旋转指令的预期状态；同时支持对于多步指令序列的专家异步编写/受训者独立执行。
[0007]本专利技术采用的技术方案主要包含以下几个部分：
[0008](1)混合现实系统设置
[0009]本专利技术的方法依赖于专家用于编写指令的VR界面，以及受训者执行指令的AR界面。受训者站在他们的物理工作区前，通过光学透视增强现实头戴式显示器(AR HMD)显示的视觉指令操作物体。工作区及受训者的几何与颜色是通过4x2个RGBD摄像机实时获取的。工作区及受训者的基于点的几何和颜色模型被传送到远程专家处，远程专家使用虚拟现实头戴式显示器(VR HMD)将其可视化。专家编写工作空间的视觉图形指令，这些视觉指令被发送到受训者处，为受训者提供视觉指导。
[0010](2)遮挡感知的视觉指令
[0011]针对平移物体的指令，给定一个需要从起始位置P
s
平移到目标结束位置P
e
的对象，简单地用直线箭头连接P
s
和P
e
，当箭头与工作空间中其他对象相交时，会导致混乱的视觉指示，而没有正确解决箭头和工作空间中几何体之间的可见性。一种选择是将直线箭头与工作空间的几何体进行Z缓冲判断，这样可以提供箭头穿过三维工作空间时，正确视觉遮挡关系提示，但这是以箭头的部分遮挡为代价的。本专利技术采取的方法是利用遮挡感知算法计算一个弯曲的箭头，以避开遮挡的物体，为平移提供一个良好的指示，而没有可见性的不一致。
[0012](3)基于真实目标状态的视觉指令
[0013]针对旋转物体的指令，可以从更丰富的可视化中受益。事实上，依靠箭头和坐标系轴来表达进行旋转操作的可视化是难以理解并难以被准确执行的。一旦受训者将物体从原来的位置和姿态移开，受训者就必须记住初始状态下的坐标轴，以便能够正确理解目标状态。此外，基于箭头和坐标系的抽象的旋转视觉指令不仅难以执行，而且也难以编写。本专利技术提出了基于真实目标状态的可视化指令，目的是支持快速和准确的专家编写和受训者执行。
[0014](4)视觉指令的自适应序列
[0015]为了提高专家/受训者交流的效率，让一个专家同时为多个受训者提供指导，并允许专家/受训者异步协作，本专利技术设计了一个编写和执行多个指令序列的程序。专家编写多个指令，按时间顺序一次完成。这些指令是在预先获得的工作空间的颜色和深度点云模型中编写的。换句话说，工作区不是实时获得的，这使得受训者可以异步地提交他们的工作区。受训者每次都会执行一连串的指令。尚待执行的指令会根据早期指令的实际执行情况进行更新。这样就能保持指令的准确性，尽管早期指令的执行有微小的变化。这种稳健性在长指令序列的情况下尤为重要，因为在这种情况下，如果不适应工作区的实际状态，错误会累积起来，使未来的指令无法使用。
[0016]所述部分(2)中：遮挡感知算法具体实现如下：
[0017]21)算法首先从当前受训者的视角开始渲染工作区深度缓冲区。本专利技术使用基于点的渲染，用恒定的三维尺寸来获得受训者视角的深度缓冲区，然后用它来解决平移指令遮挡检查。平移指令的可见性由采样点的可见性决定，采样点是指沿着线段检查是否被遮挡的点。
[0018]22)当采样点不是全部可见时，算法的每一次迭代都会将候选曲线在工作区内升高，以缓解遮挡。步长从1厘米开始，然后以指数形式增加的系数，例如，在每次迭代中增加20％。该算法从一个直线箭头开始，然后迭代出具有越来越大曲率的曲线。曲线被建模为二
次贝塞尔曲线，有三个控制点。第一个和最后一个控制点为平移指令的起点和终点。中间的控制点开始时是平移指令线段的中点，然后随步长不断上升。
[0019]23)该算法通过打分来跟踪最佳候选箭头的可见度，其值等于采样点中可见的点的数量，初始化为
‑
1。该算法在没有找到箭头的情况下进行迭代，同时箭头的垂直位移步长不超过一个最大值。本专利技术把最大值定义为平移引导线段的长度。
[0020]所述部分(3)中，真实目标状态的可视化指令具体实现如下：
[0021]31)该指令提供两种选择。前两个阶段(A)和(B)对两个选项都是一样的。在A阶段，专家通过每次创建一个顶点的选择多边形来指出要操纵的对象，以定义对象的宽松边界框。专家使用附着在跟踪的手持控制器上的虚拟激光。虚拟激光束和工作区深度缓冲区之间的交点是通过以下方式计算出来的：沿着激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于受训者和专家之间远程协作的混合现实视觉指导方法，其特征在于，包括如下步骤：S1，遮挡感知的视觉指令；针对平移物体的指令，给定一个需要从起始位置P
s
平移到目标结束位置P
e
的对象，用直线箭头连接P
s
和P
e
，当箭头与工作空间中其他对象相交时，会导致混乱的视觉指示，利用遮挡感知算法计算一个弯曲的箭头，以避开遮挡的物体，为平移提供一个良好的指示，而没有可见性的不一致；S2，基于真实目标状态的视觉指令；针对旋转物体的指令，基于真实目标状态的可视化指令，目的是支持快速和准确的专家编写和受训者执行；S3，视觉指令的自适应序列，具体实现：通过两步使当前指令k适应工作空间的实际状态，计算指令k
‑
1所作用的对象的实际位置A，以及通过调整指令k至位置A处来适应工作空间的实际状态；通过将指令k
‑
1后的深度缓冲区减去指令k后的工作区的深度缓冲区，计算所作用的对象的实际位置。2.根据权利要求1所述的用于受训者和专家之间远程协作的混合现实视觉指导方法，其特征在于，步骤S1中，所述遮挡感知算法具体实现如下：S11，算法首先从当前受训者的视角开始渲染工作区深度缓冲区；使用基于点的渲染，用恒定的三维尺寸来获得受训者视角的深度缓冲区，然后用它来解决平移指令遮挡检查；平移指令的可见性由采样点的可见性决定，采样点是指沿着线段检查是否被遮挡的点；S12，当采样点不是全部可见时，算法的每一次迭代都会将候选曲线在工作区内升高，以缓解遮挡；S13，该算法通过打分来跟踪最佳候选箭头的可见度，其值等于采样点中可见的点的数量，初始化为
‑
1。3.根据权利要求2所述的用于受训者和专家之间远程协作的混合现实视觉指导方法，其特征在于，步骤S12进一步包括：步长从1厘米开始，然后以指数形式增加的系数，该算法从一个直线箭头开始，然后迭代出具有越来越大曲率的曲线；曲线被建模为二次贝塞尔曲线，有三个控制点；第一个和最后一个控制点为平移指令的起点和终点；中间的控制点开始时是平移指令线段的中点，然后随步长不断上升。4.根据权利要求2所述的用于受训者和专家之间远程协作的混合现实视觉指导方法，其...

【专利技术属性】
技术研发人员：王莉莉，李祥宇，郑钦文，吴健，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：