一种基于指套式装置的虚拟物体三维形状再现方法制造方法及图纸

本发明专利技术公开了一种基于指套式装置的虚拟物体三维形状触觉再现方法，包括：利用指套式力触觉交互装置在移动终端触摸屏上触摸具有三维形状的虚拟物体，移动判断指套式力触觉交互装置在移动终端触摸屏上的移动方向，并检测接触点物体图像高度；计算局部梯度，根据梯度方向判断手指接触位置及物体图像类型，根据物体图像类型和梯度大小将虚拟物体信息映射至指套式力触觉交互装置；控制振动指套上振点的位置、指振动频率以及振动节奏。通过产生与虚拟物体三维形状信息、手指与虚拟物体接触姿态信息相一致的分布式触觉刺激反馈给操作者，从而模拟人手以不同姿态接触不同形状虚拟物体时所产生的触感，提供使用者良好的触觉交互体验。

A method of reproducing the three-dimensional shape of the fingertip device based on virtual objects

The invention discloses a reproducing method, virtual 3D shape tactile fingertip device based on include the use of the fingertip haptic interaction device in the mobile terminal on the touch screen touch virtual objects with three-dimensional shape of the mobile judgment fingertip haptic interaction device in the mobile terminal touch screen mobile direction, and contact detection body image height; local gradient calculation, determine the finger contact position and the object image types according to the gradient direction, according to the type and size of the object image gradient of the virtual objects information mapped to the fingertip haptic interaction device; vibration control, vibration on the fingertip position, refers to the frequency of the vibration and vibration rhythm. Through contact with the distributed tactile information, 3D virtual objects and virtual objects finger pose information consistent stimulus feedback to the operator, so as to simulate contact produced by different shapes of virtual objects in different attitude when touch, provides users with good haptic interactive experience.

【技术实现步骤摘要】
一种基于指套式装置的虚拟物体三维形状再现方法
本专利技术涉及力触觉再现算法
，涉及物体三维形状再现方法，更为具体的说是涉及一种可用于移动终端的指套式力触觉交互装置的物体三维形状再现算法。
技术介绍
移动终端作为迅速发展的个人计算与通信系统，近年来进入智能化发展的阶段。移动终端交互方式目前主要集中在视听觉交互，能提供的力触觉交互有限。将力触觉交互技术应用于移动终端能够拓宽移动终端的功能和应用范围，扩大受众人群(如视听障碍者)，增强交互临场感，具有广阔的应用前景和市场价值。用于移动终端的力触觉形状再现方法主要分为三类。第一种再现算法对移动终端的触摸屏表面施加超声波振动，使得用户手指和屏幕之间产生空气薄膜，控制滑动摩擦力再现虚拟物体形状。例如，AliIsrar等人将物体在接触点的局部斜率映射到手指与触摸屏的摩擦力，从而实现对虚拟物体三维形状力触觉再现，该再现算法已经运用在博物馆里并且以及运用在博物馆中用于帮助游客感受古生物化石。第二种算法通过给移动终端屏幕施加高直流电压，在用户的手指和触摸屏上之间产生静电力，并将静电力刺激映射到三维形状特征。例如，Byung-KilHan等人在手指和屏幕之间建立了基于电振动的触觉反馈模型，该再现算法以及应用到电子图书馆和盲文等领域；吉林大学提出了基于横向力的静电力触觉再现算法，将按压物体的横向力映射到手指与触摸屏之间的静电力从而感受物体的三维形状。这种展现虚拟物体三维形状的再现算法容易实现、成本低、便于操作，但只能提供切向的力反馈，无法提供操作者真实的触感。第三类再现方法是使用穿戴式装置穿戴于手指上对触摸屏显示的物体进行形状再现。例如，意大利TeCIP研究所研制了一套用于再现三维形状的可穿戴指套式力触觉反馈设备。该设备通过伺服电机驱动的机械结构再现虚拟物体表面的凹凸方向，同时用音圈电机产生的振动刺激模拟接触物体表面时的触感。但是当前的使用穿戴式装置再现虚拟形状方法缺少对人手交互状态(如手指探索方向和运动状态)的考虑导致触觉反馈效果不够真实，并且大量实验发现人对振动位置和振动节奏敏感，而对强度的变化不敏感。
技术实现思路
为解决上述问题，本专利技术公开了一种基于指套式装置的虚拟物体三维形状触觉再现方法，采用将形状以及接触状态与振动位置和节奏关联起来的方法，将振动客观特性与人手主动感知特性结合，借助外置式指套力触觉交互装置以真实再现物体三维形状。为了达到上述目的，本专利技术提供如下技术方案：一种基于指套式装置的虚拟物体三维形状触觉再现方法，包括如下步骤：步骤1，利用指套式力触觉交互装置在移动终端触摸屏上触摸具有三维形状的虚拟物体，移动判断指套式力触觉交互装置在移动终端触摸屏上的移动方向，并检测接触点物体图像高度；指套式力触觉交互装置的指腹及指端两侧位置分别设置有振动单元；步骤2，计算局部梯度并用于振动位置、振动频率和振动节奏的编码步骤2-1，结合图像高度信息计算手指运动方向下物体图像的局部梯度；步骤2-2，根据梯度方向判断手指接触位置及物体图像类型；步骤2-3，根据物体图像类型和梯度大小将虚拟物体信息映射至指套式力触觉交互装置；步骤3，控制振动指套上振点的位置、指腹部振点的振动幅度以及指端左右侧振点的振动节奏。进一步的，所述步骤1中的移动方向根据如下方法得到：触摸屏表面检测接触点位置，并根据一定时间间隔后接触点位置变化来判断手指移动方向。进一步的，所述步骤2-1具体包括：首先通过下式计算虚拟物体3D高度的梯度：其中，h(x,y)是图像高度信息；然后读取移动终端检测手指在触摸屏上的运动方向：其中Pi表示在时刻ti手指的位置向量；最后通过3D高度的梯度和手指运动方向的向量积计算接触点的局部梯度：其中，表示局部梯度，θi表示两个向量之间的夹角。进一步的，读取移动终端检测手指在触摸屏上的运动方向时，在移动终端触摸屏具有低空间分辨率的情况下，计算Vi的平均值。进一步的，所述步骤2-2具体包括：当局部梯度值为0时，判断为平面图像，此时指腹部与物体接触；当局部梯度方向为负时，判断为曲面或斜面图像且手指运动方向图像斜降，此时手指与运动方向相反一侧与物体接触；当局部梯度方向为正时可判断为曲面或斜面图像且手指运动方向图像斜升，此时手指与运动方向相同一侧与物体接触。进一步的，所述步骤2-3具体包括：判断为平面形状时，将平面物体高度映射为指腹部振动幅度；判断为曲面或斜面物体时，将曲面图像梯度大小映射为手指接触一侧的振动节奏，当梯度非零且保持不变时，判断为斜面物体，此时手指接触一侧振动节奏保持不变。进一步的，所述步骤3具体包括：当判断为平面形状，控制指腹部振动单元按照下式得出的振动幅度进行振动：D＝k1×h其中，D为振动幅度，k1是非零比例因子，为最大振动幅度与接触点图像最大像素高度的比值；当判断为曲面或斜面时，控制指端接触一侧的振动单元按照下式得出的振动节奏进行振动：其中，R为振动节奏；k2是非零比例因子，为最大振动节奏与最大局部梯度的比值。进一步的，所述振动单元为压电致动器，对于指腹部压电致动器，在一定的电压范围内增加电压值来增加振动幅度表达平面物体高度信息；对于指端两侧压电致动器，通过调节方波周期以改变左/右侧振点振动节奏来表达图像弯曲程度信息。与现有技术相比，本专利技术具有如下优点和有益效果：通过产生与虚拟物体三维形状信息、手指与虚拟物体接触姿态信息相一致的分布式触觉刺激反馈给操作者，当指套在屏幕上接触虚拟三维物体时，通过控制手指上相应位置振动单元的振动幅度、节奏来反馈刺激，从而模拟人手以不同姿态接触不同形状虚拟物体时所产生的触感，提供使用者良好的触觉交互体验。附图说明图1为指套式交互装置示意图。图2为本专利技术的系统框图。图3为指套式交互装置致动器排布方式示意图，其中(a)为指套式装置，装置在左右侧和下侧各布置一个振动单元，(b)为三个振动单元在手指上的对应位置。图4为移动终端二次曲面虚拟物体案例图，其中(a)为二次曲面物体，(b)为移动终端屏幕。具体实施方式以下将结合具体实施例对本专利技术提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本专利技术而不用于限制本专利技术的范围。本专利技术基于如图1所示的系统环境实现，其中包括含有触摸屏的移动终端和指套式力触觉交互装置，其中指套式力触觉再现装置包括电容笔头和压电致动器阵列。振动触觉指套在指腹和指端两侧安装有三个压电致动器，并能调节其振动幅度与节奏，如图3所示，指套上压电致动器阵列分布在指腹及指端两侧位置。压电致动器也可采用其他能够控制其振动幅度与节奏的振动单元。如图2所示，该再现算法把手指与虚拟3D物体交互过程中的交互状态以及形状用局部梯度来刻画，将手指与虚拟三维物体交互中的接触位置、虚拟物体表面凹凸形状(轮廓高度)、表面梯度(沿探索方向的高度变化率)分别对应控制振动指套上振点的位置、指腹部振点的振动频率以及指端左右侧振点的振动节奏，从而实现与交互状态和物体三维形状相一致的振动触觉反馈，从而实现物体三维形状再现。图4为本专利技术的实施案例，左侧为二次曲面虚拟物体，其在移动终端的坐标位置与移动终端触摸屏的坐标位置一致。以此为例，本专利技术提供的基于指套式装置的虚拟物体三维形状再现方法包括如下步骤：步骤1、交互状态和接触点图像高度的检测。穿戴指套式设备在如图1所示的本文档来自技高网...

【技术保护点】
一种基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，包括如下步骤：步骤1，利用指套式力触觉交互装置在移动终端触摸屏上触摸具有三维形状的虚拟物体，移动判断指套式力触觉交互装置在移动终端触摸屏上的移动方向，并检测接触点物体图像高度；指套式力触觉交互装置的指腹及指端两侧位置分别设置有振动单元；步骤2，计算局部梯度并用于振动位置、振动频率和振动节奏的编码步骤2‑1，结合图像高度信息计算手指运动方向下物体图像的局部梯度；步骤2‑2，根据梯度方向判断手指接触位置及物体图像类型；步骤2‑3，根据物体图像类型和梯度大小将虚拟物体信息映射至指套式力触觉交互装置；步骤3，控制振动指套上振点的位置、指腹部振点的振动幅度以及指端左右侧振点的振动节奏。

【技术特征摘要】
1.一种基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，包括如下步骤：步骤1，利用指套式力触觉交互装置在移动终端触摸屏上触摸具有三维形状的虚拟物体，移动判断指套式力触觉交互装置在移动终端触摸屏上的移动方向，并检测接触点物体图像高度；指套式力触觉交互装置的指腹及指端两侧位置分别设置有振动单元；步骤2，计算局部梯度并用于振动位置、振动频率和振动节奏的编码步骤2-1，结合图像高度信息计算手指运动方向下物体图像的局部梯度；步骤2-2，根据梯度方向判断手指接触位置及物体图像类型；步骤2-3，根据物体图像类型和梯度大小将虚拟物体信息映射至指套式力触觉交互装置；步骤3，控制振动指套上振点的位置、指腹部振点的振动幅度以及指端左右侧振点的振动节奏。2.根据权利要求1所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，所述步骤1中的移动方向根据如下方法得到：触摸屏表面检测接触点位置，并根据一定时间间隔后接触点位置变化来判断手指移动方向。3.根据权利要求1所述的基于指套式装置的虚拟物体三维形状触觉再现方法，其特征在于，所述步骤2-1具体包括：首先通过下式计算虚拟物体3D高度的梯度：其中，h(x,y)是图像高度信息；然后读取移动终端检测手指在触摸屏上的运动方向：其中Pi表示在时刻ti手指的位置向量；最后通过3D高度的梯度和手指运动方向的向量积计算接触点的局部梯度：其中，表示局部梯度，θi...

【专利技术属性】
技术研发人员：吴涓，杨怀宁，欧阳强强，韩啸，吴淼，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32