基于视觉反馈的自适应操纵增益的虚拟现实对象操纵方法技术

本发明专利技术基于用户在虚拟现实中对象操纵过程中视觉度量提出了一个基于视觉反馈的自适应操纵增益的虚拟现实对象操纵方法。当用户在虚拟现实环境中进行对象操纵的时候，该方法能够提高虚拟现实应用中物体操作的效率和准确性。首先，介绍操纵收益的概念，然后获取了在虚拟现实中用户可以容忍的最大和最小的操纵增益，最后通过采样在虚拟现实中用户最合适的操纵增益与相对应的对象

【技术实现步骤摘要】
基于视觉反馈的自适应操纵增益的虚拟现实对象操纵方法


[0001]本专利技术属于虚拟现实
，具体涉及一种基于视觉反馈的自适应操纵增益的虚拟现实对象操纵方法，

技术介绍

[0002]对象操作(平移、旋转和缩放)是3D用户交互中最基本的操作之一，可用于许多虚拟现实(VR)应用程序，例如产品设计、3D对象建模和虚拟对象组装。操作的效率和准确性直接影响应用程序的有效性。现有方法主要采用两种思路来提高对象操作的准确性和效率。
[0003]第一类方法是通过多个操作点来操作对象。这些基于多点的操作方法需要用户手动输入对象表面或3D空间中的多个点，然后基于这些点或形成的轴来约束对象的操作通过这些点，提高了对象操作的准确性。它们更适合近距离用手直接操纵虚拟物体，但当操纵物体离用户较远时，难以操纵。
[0004]第二个方法是利用用户手的物理运动与虚拟物体之间的映射来提高准确性和效率。这些方法根据用户手部运动的速度计算控制/显示比率，并通过使用该比率来调整用户手部运动来操纵虚拟环境(VE)中的对象。然而，由于对用户手部运动速度的不精确感知，影响了操作的效率和准确性。

技术实现思路

[0005]本专利技术的技术解决问题是：克服现有技术的虚拟对象操纵精度不足，提供一种基于视觉反馈的自适应操纵增益的虚拟现实对象操纵方，能够达到实时的操纵效率，并显著提高虚拟现实应用中物体操作的效率和准确性。
[0006]本专利技术采用的技术方案为：一种基于视觉反馈的自适应操纵增益的虚拟现实对象操纵方法，包括以下步骤：<br/>[0007]第一步，根据二分法采集用户在虚拟现实操纵的能够接受的最大和最小操纵增益，对二分分采集的最大和最小操作增益进行平均值处理，得到在虚拟现实中用户对象操纵能够接受的最大和最小操纵增益；所述操纵增益包括平移操纵增益，旋转操纵增益和缩放操纵增益；
[0008]第二步，在虚拟环境中随机放置对象，计算用户在视点下的物体
‑
目标视觉反馈度量并记录该采样视点下用户操纵对象选择的最合适的操纵增益；
[0009]第三步，对第二步采集的物体
‑
目标视觉反馈度量以及该采样视点下用户操纵对象选择的操纵增益进行拟合，得到操纵增益拟合函数，并根据第一步得到的用户对象操纵能够接受的最大和最小操纵增益，得到操纵增益函数。
[0010]所述第一步，具体实现如下：
[0011](1)在虚拟现实场景中，设置平移操纵增益，旋转操纵增益和缩放操纵增益的范围分别为[1,300]，[1,50]和[1,30]，通过二分法采集到用户在虚拟现实操纵的时候能够接受的最大平移操纵增益，旋转操纵增益和缩放操纵增益；
[0012](2)在虚拟现实场景中，设置平移操纵增益，旋转操纵增益和缩放操纵增益的范围为[0,1]，通过二分法采集到用户在虚拟现实操纵的时候能够接受的最大平移操纵增益，旋转操纵增益和缩放操纵增益；
[0013](3)将步骤(1)和步骤(2)采集到的用户在虚拟现实操纵的时候能够接受的最大和最小操纵增益数据各自求平均值，得到用户在虚拟现实中测情况接受的最大和最小平移操纵增益，旋转操纵增益和缩放操纵增益。
[0014]所述第二步，具体实现如下：
[0015](1)构建与用户视点相关的左相机和右相机，分别获得每个相机下的目标和物体的OBB包围盒，计算每个相机下目标和物体的OBB包围盒中心点的距离d，目标和物体的OBB包围盒长轴角度差θ，同时计算用户视点操纵对象的投影面积和目标投影面积的比值p；
[0016](2)多个用户在虚拟现实环境中通过滑块调整平移操纵增益，旋转操纵增益和缩放操纵增益，直到用户觉的操纵增益合适，然后使用步骤(1)计算对应的对象物体
‑
目标视觉反馈度量(d,θ,p)，同时保存最后滑块对应的操纵增益。
[0017]所述第三步，具体实现如下：
[0018]最大和最小值限制在用户能够接受的最大和最小操纵增益，得到操纵增益函数，如下公式所示，
[0019][0020][0021][0022]公式(1)为平移操纵增益g
t
，公式2为旋转操纵增益g
r
，公式3为缩放平移增益g
s
；
[0023]d为每个相机下目标和物体的OBB包围盒中心点的距离，θ为目标和物体的OBB包围盒长轴角度差，p为用户视点操纵对象的投影面积和目标投影面积的比值。
[0024]现有技术的操纵增益都是通过手部运动的速度计算控制/显示比率，并通过使用该比率来调整用户手部运动来操纵虚拟环境(VE)中的对象，比如PRISM方法和非线性映射方法。但是这类方法，在操作过程中，用户不仅需要注意观察对象和目标在视图中的位置和姿势，还需要注意手部运动的速度，因此用户的任务负载很高，这降低了操作的效率和准确性。本明与现有技术相比的优点在于：本专利技术提出了视觉反馈的自适应操纵增益的虚拟现实对象操纵方法，本专利技术度量每一帧中用户视图的目标
‑
物体视觉度量通过操作增益度量函数自适应调整每一帧的对象操纵增益，从而达到每一帧最适合的操作增益。用户只需关注视图。与现有方法相比，该专利技术不需要用户观察到的物体和目标在视图中的位置和姿势，控制手的操纵速度。本专利技术通过用户研究度量完成任务的时间，位置误差，旋转误差和度量误差，与先前的方法相比，本专利技术的方法提高了用户操纵的效率和准确性。主要在三个场景中对比了4种方法：CC1为传统方法，其中操纵增益为1；CC2为PRISM方法；CC3为基于手的速度和加速度的非线性映射方法；CC4为基于手的速度的动态增益方法；EC为本专利技术的方法。表1为完成任务的时间，用户使用本专利技术的方法可以更快地将对象操纵到目标。表2，3，4分别为位置误差，旋转误差和度量误差，用户可以使用本专利技术的方法更精确地操纵对象。其中
第一列S1,S2,S3表示三个场景；第二列EC,CC1,CC2,CC3,CC4分别表示对应的方法；第三列表示平均值以及标准差；第四列表示相对增加值，第五列表示显著性，第六列是cohen
’
d，值越大表示本专利技术的方法越好，第七列表示方法的效果，有very small,small,Medium,large,very larger,huge六个等级。Very small表示没有效果，huge表示效果非常好。
[0025]表1：任务完成时间，以秒为单位
[0026][0027][0028]表2：位置误差，以mm为单位
[0029][0030]表3：旋转误差，以
°
为单位
[0031][0032][0033]表4：缩放误差
[0034][0035]附图说明
[0036]图1为本专利技术飞机发动机装配期间的部件操作视图；其中a,b是用户正在进行平移操纵对象。c图中用户正在进行缩放操对象；
[0037]图2为本专利技术方法实现流程图；
[0038]图3为本专利技术中引入的操纵增益概念图；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉反馈的自适应操纵增益的虚拟现实对象操纵方法，其特征在于包括以下步骤：第一步，根据二分法采集用户在虚拟现实操纵的能够接受的最大和最小操纵增益，对二分分采集的最大和最小操作增益进行平均值处理，得到在虚拟现实中用户对象操纵能够接受的最大和最小操纵增益；所述操纵增益包括平移操纵增益，旋转操纵增益和缩放操纵增益；第二步，在虚拟环境中随机放置对象，计算用户在视点下的物体
‑
目标视觉反馈度量并记录该采样视点下用户操纵对象选择的最合适的操纵增益；第三步，对第二步采集的物体
‑
目标视觉反馈度量以及该采样视点下用户操纵对象选择的操纵增益进行拟合，得到操纵增益拟合函数，并根据第一步得到的用户对象操纵能够接受的最大和最小操纵增益，得到操纵增益函数。2.根据权利要求1所述的基于视觉反馈的自适应操纵增益的虚拟现实对象操纵方法，其特征在于：所述第一步，具体实现如下：(1)在虚拟现实场景中，设置平移操纵增益，旋转操纵增益和缩放操纵增益的范围分别为[1,300]，[1,50]和[1,30]，通过二分法采集到用户在虚拟现实操纵的时候能够接受的最大平移操纵增益，旋转操纵增益和缩放操纵增益；(2)在虚拟现实场景中，设置平移操纵增益，旋转操纵增益和缩放操纵增益的范围为[0,1]，通过二分法采集到用户在虚拟现实操纵的时候能够接受的最大平移操纵增益，旋转操纵增益和缩放操纵增益；(3)将步骤(1)和步骤(2)采集到的用户在虚拟现实操纵...

【专利技术属性】
技术研发人员：王莉莉，刘小龙，栾帅，吴健，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：