智能终端虚拟滑动按钮触觉再现渲染方法及装置制造方法及图纸

本发明专利技术提供一种智能终端虚拟滑动按钮触觉再现渲染方法及装置，属于触摸屏技术和人机交互领域。包括获取用户进行交互操作时手指在触摸屏上的位置坐标，位移和速度，判断触摸点击或者拖拽，模拟类似于点击的触觉反馈，通过触觉棘爪增加触觉制动效果，根据位移和运动速度的大小实时控制滑动时的摩擦系数，产生触觉反馈，实现虚拟滑动按钮的触觉再现渲染。本发明专利技术通过对虚拟滑动按钮的不同交互操作在触觉感知过程中产生相对应的触觉反馈，提高交互效率和准确度，在使用触摸屏时增加了用指尖感受事物的体验，减轻了视觉、听觉的认知负荷，提高了交互效率和沉浸感。了交互效率和沉浸感。了交互效率和沉浸感。

【技术实现步骤摘要】
智能终端虚拟滑动按钮触觉再现渲染方法及装置


[0001]本专利技术属于触摸屏技术和人机交互领域，尤其涉及一种智能终端虚拟滑动按钮触觉再现渲染方法及装置。

技术介绍

[0002]随着科技的进步，触摸屏已经成为手机、平板电脑、ATM、自动售货机、汽车仪表板和智能家电等不可或缺的一部分。在这些交互式屏幕上，物理控件逐渐被虚拟控件所取代，以增大触摸面积。但是虚拟控件缺乏复杂的触觉反馈，会导致用户的体验质量和任务性能下降、认知负荷增加，使交互变得不舒适和缓慢。此外，当没有触觉线索提供时，用户就必须依赖视觉和听觉线索来获取信息，可能会对其他任务产生干扰。对于视力受损者等特殊人群来说，在使用智能终端设备时由于缺乏触觉信息传输通道，会对日常生活与学习造成更多的不便。
[0003]在目前所普及的智能终端中，通过虚拟滑动按钮来进行人机交互控制是一种很常见的行为。虚拟滑动按钮可用于音量大小和音视频进度的控制、开机界面滑动解锁、APP登录时验证以及智能家电控制等。通过点击按钮并对其进行拖动来完成任务，在这一过程中通常会提供视觉(如外观、颜色的变化等)或者听觉(如点击、拖拽时的声音、任务完成时的提示音等)反馈或者两者相结合。与视觉和听觉相比，使用触觉作为虚拟滑动按钮交互过程中的感官反馈使用较少。在交互界面增加触觉反馈，可以增加交互的真实感和沉浸感，提高交互效率和准确度。
[0004]目前已经有一些应用于触摸屏交互界面上的虚拟滑动按钮的方法。
[0005]2014年论文“Virtual touch screen“VIRTOS”implementing virtual touch buttons and virtual sliders using a projector and camera”提出了一个带有虚拟触摸按钮和触摸滑块的名为VIRTOS的大型交互式显示器，基于用户手投射的阴影区域来检测触摸，开发了一个带有触摸滑块的突破式游戏。
[0006]2015年论文“GelTouch:Localized Tactile Feedback Through Thin,Programmable Gel”在平板电脑上使用一种可以在柔软和坚硬之间选择性转换的凝胶层，设计了一个可以在浏览所呈现的图片时引导滚动运动的触觉滑块，建立了滚动速度和滚动期间感知到的触觉提示频率的映射模型，提供了简单的触觉反馈。
[0007]2018年中国专利CN110764421A中通过获取用户对虚拟滑道内的虚拟滑块的滑动操作产生控制指令，进而控制被控设备的运行，为用户提供了更宽的调档范围，以让用户更加顺滑地控制被控设备，更好地做到了用户与风扇的交互控制，提高了用户体验。
[0008]通过对智能终端虚拟滑动按钮研究现状的分析，现有的应用于触摸屏的虚拟滑动按钮大多还是通过视觉和听觉进行信息的传输，缺少触觉反馈，用户感受不到任何引导性线索会降低交互体验感。少有的添加触觉反馈的虚拟滑动按钮采用的是随着电流产生的温度升高而改变硬度的凝胶覆盖在电阻式触摸屏上，该方法触觉感受单一，且不能用于通过摩擦调制原理创建可编程触觉渲染，触觉再现真实感差。

技术实现思路

[0009]本专利技术提供一种智能终端虚拟滑动按钮触觉再现渲染方法及装置，以提供触觉信息，减轻用户在交互过程中的视觉和听觉线索的依赖，丰富交互体验。在对滑块进行触摸点击时，通过施加超声振动驱动信号模拟点击感，提示用户已捕获虚拟滑动按钮。虚拟滑动按钮在滑轨不同区域被拖拽时建立位移/速度
‑
驱动信号参数之间的映射关系，对用户的交互操作进行引导与确认，从而提高交互的准确性。
[0010]本专利技术采取的技术方案是，包括下列步骤：
[0011](1)获取用户进行交互操作时手指在触摸屏上的位置坐标；
[0012](2)获取用户进行交互操作时不同时刻手指的位移和速度；
[0013](3)判断用户进行交互时的手势类别为触摸点击或者拖拽；
[0014](4)在用户触摸按压虚拟滑动按钮时模拟类似于点击的触觉反馈；
[0015](5)在开始滑动和即将到达目标时通过触觉棘爪增加触觉制动效果；
[0016](6)滑动过程中在不同区域分别建立位移
‑
超声振动驱动信号电压、速度
‑
超声振动驱动信号频率、位移
‑
静电力驱动信号电压以及速度
‑
静电力驱动信号频率映射模型，手指位移距离和运动速度作为输入，驱动信号电压、频率作为输出。根据位移和运动速度的大小实时控制滑动时的摩擦系数，产生触觉反馈，实现虚拟滑动按钮的触觉再现渲染。
[0017]本专利技术所述虚拟滑动按钮应用于滑块验证码中，用来进行用户注册登陆验证、安全支付验证，所述滑块验证码基于Unity2017.2.4f1平台绘制并运行。
[0018]本专利技术所述步骤(1)的实现方法如下：获取用户进行交互时手指在触摸屏上所处的位置包括通过将触觉再现屏和触控定位屏进行“二屏合一”的触控显示屏技术实时跟踪测量手指位置信息。
[0019]本专利技术所述步骤(2)的实现方法如下：以虚拟滑动按钮所在位置为原点建立二维坐标系，X轴表示水平方向，Y轴表示竖直方向，计算手指在不同时刻与坐标原点间的距离x或y，即为当前时刻的位移，计算手指从上一位置水平或竖直滑动至当前位置所用时间为Δt，水平或垂直滑动距离为Δx或Δy，则手指当前运动速度为v＝Δx/Δt或v＝Δy/Δt。
[0020]本专利技术所述步骤(3)的实现方法如下：计算从手指开始接触虚拟滑动按钮时1s内的位置坐标差值，若差值等于0即为触摸点击，否则为拖拽。
[0021]本专利技术所述步骤(4)的实现方法如下：
[0022]1)获取用户按压虚拟滑动按钮时的按压力F
n
，包括在终端外壳上安装力传感器实时测量并记录；
[0023]2)设定按压力阈值F
d
＝0.5N，当用户与触摸屏交互操作被判断为静态手势触摸点击且F
n
≥F
d
时，立即施加超声振动驱动信号，通过摩擦力瞬时变化和感知粗糙度的增加来模拟点击感。
[0024]本专利技术所述步骤(5)的实现方法如下：在开始滑动和即将到达目标时分别设计一4mm左右的方形棘爪提供触觉制动效果，对用户操作进行提示。
[0025]本专利技术所述步骤(6)的实现方法如下：
[0026](1)将所要模拟的虚拟滑动按钮的滑动轨道按照距目标点的远近进行划分，分别为低摩擦区域和高摩擦区域两个部分，每个区域的最大位移分别为L1和L2；
[0027](2)在不同区域分别建立位移
‑
超声振动驱动信号电压、速度
‑
超声振动驱动信号
频率、位移
‑
静电力驱动信号电压以及速度
‑
静电力驱动信号频率映射模型，实现触觉反馈随运动位移和速度变化而变化的效果；
[0028]1)超声振动触觉再现技术
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，包括下列步骤：(1)获取用户进行交互操作时手指在触摸屏上的位置坐标；(2)获取用户进行交互操作时不同时刻手指的位移和速度；(3)判断用户进行交互时的手势类别为触摸点击或者拖拽；(4)在用户触摸按压虚拟滑动按钮时模拟类似于点击的触觉反馈；(5)在开始滑动和即将到达目标时通过触觉棘爪增加触觉制动效果；(6)滑动过程中在不同区域分别建立位移
‑
超声振动驱动信号电压、速度
‑
超声振动驱动信号频率、位移
‑
静电力驱动信号电压以及速度
‑
静电力驱动信号频率映射模型，手指位移距离和运动速度作为输入，驱动信号电压、频率作为输出，根据位移和运动速度的大小实时控制滑动时的摩擦系数，产生触觉反馈，实现虚拟滑动按钮的触觉再现渲染。2.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述虚拟滑动按钮应用于滑块验证码中，用来进行用户注册登陆验证、安全支付验证，所述滑块验证码基于Unity2017.2.4f1平台绘制并运行。3.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(1)的实现方法如下：获取用户进行交互时手指在触摸屏上所处的位置包括通过将触觉再现屏和触控定位屏进行“二屏合一”的触控显示屏技术实时跟踪测量手指位置信息。4.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(2)的实现方法如下：以虚拟滑动按钮所在位置为原点建立二维坐标系，X轴表示水平方向，Y轴表示竖直方向，计算手指在不同时刻与坐标原点间的距离x或y，即为当前时刻的位移，计算手指从上一位置水平或竖直滑动至当前位置所用时间为Δt，水平或垂直滑动距离为Δx或Δy，则手指当前运动速度为v＝Δx/Δt或v＝Δy/Δt。5.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(3)的实现方法如下：计算从手指开始接触虚拟滑动按钮时1s内的位置坐标差值，若差值等于0即为触摸点击，否则为拖拽。6.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(4)的实现方法如下：1)获取用户按压虚拟滑动按钮时的按压力F
n
，包括在终端外壳上安装力传感器实时测量并记录；2)设定按压力阈值F
d
＝0.5N，当用户与触摸屏交互操作被判断为静态手势触摸点击且F
n
≥F
d
时，立即施加超声振动驱动信号，通过摩擦力瞬时变化和感知粗糙度的增加来模拟点击感。7.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(5)的实现方法如下：在开始滑动和即将到达目标时分别设计一个方形棘爪提供触觉制动效果，对用户操作进行提示。8.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(6)的实现方法如下：(1)将所要模拟的虚拟滑动按钮的滑动轨道按照距目标点的远近进行划分，分别为低摩擦区域和高摩擦区域两个部分，每个区域的最大位移分别为L1和L2；(2)在不同区域分别建立位移
‑
超声振动驱动信号电压、速度
‑
超声振动驱动信号频率、
为静电力驱动信号电压幅值，当驱动电压幅值越大时，产生的静电吸引力越大，进而增大了手指与触摸屏之间的切向摩擦力；通过相同方式建立触觉感知粗糙度
‑
静电力驱动信号频率映射模型，通过实验得到拟合关系：R2＝R2(F2)其中，F2为静电力驱动信号频率，R2为触觉感知粗糙度；3)建立位移
‑
驱动信号电压映射模型手指距起始点的位移为0时，对应于最大摩擦力f
max
；手指距起始点为最大位移L1时，对应于最小摩擦力f
min
，将手指距起始点的位移与手指在运动过程中所受的摩擦力成比例进行映射：其中，L为手指距离起始点的位移，f为位移L处手指所受摩擦力，k为位移
‑
摩擦力映射关系的拟合系数，b为截距，将其与f1＝(V1)相结合，进而可以得到位移
...

【专利技术属性】
技术研发人员：孙晓颖，陈征，张中华，赵轶男，燕学智，陈建，
申请(专利权)人：吉林大学，
类型：发明
国别省市：