一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法制造方法及图纸

本发明专利技术提供一种静电力触觉反馈装置的高清图像纹理的力触觉再现方法，属于人机交互领域。根据高清图像像素灰度进行图像分割，将灰度等级相近或相同的邻域内像素点划分为同一分割图块，对分割图块中像素点梯度取加权平均，分割图块中所有像素点的梯度用此加权平均值表示；接触高清图像时，首先得到所对应的分割图块的梯度值，再建立梯度值和手指感知摩擦力之间的映射模型以及感知摩擦力和装置驱动电压的映射模型，最后通过交互设备将高清图像的纹理实时反馈给操作者。本发明专利技术显著提升多媒体终端触觉再现的数据源；可以扩展到不同静电力触觉驱动模式下的高清图像特征提取以及触觉再现，易于推广应用。

A force touch reconstruction method of high definition image texture based on electrostatic tactile feedback device

【技术实现步骤摘要】
一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法
本专利技术属于虚拟现实与人机交互领域，尤其涉及基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法。
技术介绍
触觉交互是人机交互领域的新技术，具有触觉再现功能的智能手机、平板电脑等在医疗卫生、电子商务、教育娱乐、视障人群等具有广泛应用前景。通过触觉再现技术，一方面利用裸指触摸多媒体终端屏幕可感知被显示物体的形状、纹理及柔韧性，另一方面控制手指与触摸屏之间摩擦力的变化形式可提供光滑、粗糙等不同触感，极大地提高了交互过程的真实感与交互体验的丰富性。依据实现原理的不同，现有的多媒体终端触觉再现方式主要包括振动式、静电力式和空气压膜式，其中静电力式具有真实感高、体验丰富、功耗低、重量轻等优势，是在触摸屏上实现触觉再现最重要的方式。静电力触觉交互技术的兴起推动触觉交互技术快速发展，直接触摸触觉面板而不需要穿戴设备完成虚拟平面的交互，具有易操作、便携、低功耗的特点。2010年，美国迪斯尼研究院论文“TeslaTouch:ElectrovibrationforTouchSurfaces”研制出基于电振动原理的触觉原理样机TeslaTouch，加载电信号至透明导电极板构成触摸面板，生成切向摩擦力提供触觉反馈。2015年，论文“Methodandapparatusforsensorystimulation”面向终端设备提供了易于集成的提供触觉反馈效果的解决方案，在屏幕上附加透明的导电膜生成电振动触觉反馈。这些触觉设备极大的推进了基于平面的触觉技术的发展，为进一步研究图像与触觉转化模型与评价提供基础。目前，国内外研究所及高校致力于研究更高效的触觉反馈算法，探索触觉与驱动信号的关系、触觉特征及其影响因素以及触觉评价。2013年，Meyer等人在论文“Fingertipfrictionmodulationduetoelectrostaticattraction”研制出一种可测指尖感知力大小的摩擦计，提出静电力与驱动信号的平方律，通过实验数据绘制出静电力与驱动信号幅度、静电力与驱动信号频率的关系曲线。Lim等人在2015年论文“Forceanddisplacementanalysisofahaptictouchscreen”中利用正弦与方波信号定量研究驱动信号大小与感知力的关系，得到几种频率、电压幅度的驱动信号与感知力强度的关系曲线，低频驱动信号与高频驱动信号的感知力的不同。以上成果主要研究在不同触觉设备中驱动信号与感知力关系，为评价触觉反馈及系统性能提供理论基础。在图像处理领域，Minksy等人在1990年论文“Feelingandseeing:issuesinforcedisplay”中，利用Sandpaper系统，提出力与梯度的函数表达式，利用图像局部梯度值求解水平以及垂直力大小模拟局部触感反馈。Robel等人在2001年论文“Forcecanovercomeobjectgeometryintheperceptionofshapethroughactivetouch”中，进一步研究手指滑过凸起形状时手指受力与滑过虚拟形状的力关系，建立凸起形状的梯度特征与该位置的指尖水平受力大小的映射模型。2008年，印度理工学院Vasudevan等提出基于图像与力渲染掩膜相乘纹理触觉再现模型，Kim等人在2013年论文“Tactilerenderingof3Dfeaturesontouchsurfaces”中提出了一种3D几何形状的触觉渲染方法，通过实验数据拟合摩擦力与驱动电压的精神物理学函数表达，具有实际应用价值，并且提出1维以及2维空间下指尖接触点摩擦力大小与梯度特征、滑动速度的数学表达模型，将渲染方法应用到感知3维几何形状，将静电力触觉技术推向至市场。然而，由于高清图像像素点多，计算量大，上述方法应用效果并不理想。关于如何实现高清图像—静电力触觉间的高效地转化，研究可以反馈真实的、多样的触觉的力触觉渲染方法，对提升触觉交互设备的性能和丰富用户触觉交互体验有着重要意义。然而由于高清图像像素点多，计算量大，对算法及设备要求高，现有的图像特征提取及渲染方法应用效果并不理想。
技术实现思路
本专利技术提供一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法，以解决由于高清图像像素点多，计算量大，对算法及设备要求高，现有的图像特征提取及渲染方法应用效果并不理想的问题。本专利技术采取的技术方案是：包括下列步骤：(1)首先将高清图像灰度化，生成灰度矩阵；高清图像有m×n个像素，每个像素都含有红、绿、蓝三种颜色分量，分别用R、G、B来表示，将其转化成二维数据矩阵，得到符合人类视觉的灰度矩阵：H(x，y)＝0.3R+0.59G+0.11BH(x，y)为像素点(x，y)的灰度值，其中x∈{0，1……m-1}，y∈{0，1……n-1}为高清图像中对应的像素点的坐标值；(2)计算高清图像中每一像素点梯度选取水平和垂直两个方向的模板和图像像素邻域，在以像素点(x，y)为中心的邻域内对待检高清图像做灰度加权和差分运算，此处选用3*3的模板匹配图像，相当于以3*3的窗口对图像进行滑动滤波，得到梯度Fx和Fy；-101-202-101(a)水平模板图-1-2-1000121(b)垂直模板图x-1，y-1x，y-1x+1，y-1x-1，yx，yx+1，yx-1，y+1x，y+1x+1，y+1(c)图像像素邻域Fx(x，y)＝H(x+1，y-1)+2H(x+1，y)+H(x+1，y+1)-H(x-1，y-1)-2H(x+1，y)+H(x+1，y+1)-H(x-1，y-1)Fy(x，y)＝H(x-1，y+1)+2H(x，y+1)+H(x+1，y+1)-H(x-1，y-1)-2H(x，y-1)-H(x+1，y-1)(3)根据像素点灰度值对高清图像进行分割，以分割图块为单位构建梯度直方图，统计分割图块内每个像素点的梯度方向和梯度幅值，梯度方向范围是0°～180°，将其均匀分为9份，也就是每20°为一个bin，然后统计各分割图块中每个像素点的梯度方向，属于哪个区间，利用像素点的权值在该bin上加权，此处像素点的权值采用其梯度幅值；(4)对9个bin上的梯度向量进行加权，权值为每个bin的梯度幅值，最终得出每个分割图块的梯度幅值F和角度θ；(5)当手指在触摸屏上滑动时，手指运动的单位方向向量为：其中，wi是手指在ti时刻的位置向量，本文档来自技高网...

【技术保护点】
1.一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法，其特征在于，包括下列步骤：/n(1)首先将高清图像灰度化，生成灰度矩阵；/n高清图像有m×n个像素，每个像素都含有红、绿、蓝三种颜色分量，分别用R、G、B来表示，将其转化成二维数据矩阵，得到符合人类视觉的灰度矩阵：/nH(x，y)＝0.3R+0.59G+0.11B/nH(x，y)为像素点(x，y)的灰度值，其中x∈{0，1……，m-1}，y∈{0，1……n-1}为高清图像中对应的像素点的坐标值；/n(2)计算高清图像中每一像素点梯度/n选取水平和垂直两个方向的模板和图像像素邻域，在以像素点(x，y)为中心的邻域内对待检高清图像做灰度加权和差分运算，此处选用3*3的模板匹配图像，相当于以3*3的窗口对图像进行滑动滤波，得到梯度F

【技术特征摘要】
1.一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法，其特征在于，包括下列步骤：
(1)首先将高清图像灰度化，生成灰度矩阵；
高清图像有m×n个像素，每个像素都含有红、绿、蓝三种颜色分量，分别用R、G、B来表示，将其转化成二维数据矩阵，得到符合人类视觉的灰度矩阵：
H(x，y)＝0.3R+0.59G+0.11B
H(x，y)为像素点(x，y)的灰度值，其中x∈{0，1……，m-1}，y∈{0，1……n-1}为高清图像中对应的像素点的坐标值；
(2)计算高清图像中每一像素点梯度
选取水平和垂直两个方向的模板和图像像素邻域，在以像素点(x，y)为中心的邻域内对待检高清图像做灰度加权和差分运算，此处选用3*3的模板匹配图像，相当于以3*3的窗口对图像进行滑动滤波，得到梯度Fx和Fy；
Fx(x，y)＝H(x+1，y-1)+2H(x+1，y)+H(x+1，y+1)-H(x-1，y-1)-2H(x-1，y)-H(x-1，y+1)
Fy(x，y)＝H(x-1，y+1)+2H(x，y+1)+H(x+1，y+1)-H(x-1，y-1)-2H(x，y-1)-H(x+1，y-1)






(3)根据像素点灰度值对高清图像进行分割，以分割图块为单位构建梯度直方图，统计分割图块内每个像素点的梯度方向和梯度幅值，梯度方向范围是0°～180°，将其均匀分为9份，也就是每20°为一个bin，然后统计各分割图块中每个像素点的梯度方向，属于哪个区间，利用像素点的权值在该bin上加权，此处像素点的权值采用其梯度幅值；
(4)对9个bin上的梯度向量进行加权，权值为每个bin的梯度幅值，最终得出每个分割图块的梯度幅值F和角度θ；
(5)当手指在触摸屏上滑动时，手指运动的单位方向向量为：



其中，wi是手指在ti时刻的位置向量，wi-1是手指ti-1时刻的位置向量，vi是手指运动方向的单位方向向量；
(6)计算手指和触摸屏间的摩擦力为：



其中，fi是ti时刻手指感知摩擦力的标量值，f0是非零的比例因子，F是高清图像分割图块梯度幅值，θi是梯度和运动方向两个向量的夹角；是高清图像分割图块梯度，vi是手指运动的单位方向向量；
(7)计算装置的驱动电压：感知摩擦力和驱动电压之间在对数-对数条件下满足如下关系：
fi＝1.24V-1.05
其中，fi是对数条件下(6)中计算得出的手指感知摩擦力的标量值，V是施加到交互设备的上的电压幅值。


2.根据权利要求1所述一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法，其特征在于，步骤(2)中水平模板为：









-1
0
1


-2
0
2


-1
0
1






。


3.根据权利要求1所述一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法，其特征在于，步骤(2)中垂直模板为：





<...

【专利技术属性】
技术研发人员：孙晓颖，赵越，刘国红，韩宇，宋瑞，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22