一种基于振动触觉的游戏智能桌垫制造技术

本发明专利技术涉及一种基于振动触觉的游戏智能桌垫，属于虚拟现实与人际交互领域。包括第一区域，为处理区域，得到结果后用于驱动第二区域和第三区域，第二区域为左侧触觉反馈区域，第三区域为右侧触觉反馈区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。优点在于：使用基于经验模态分解的能量比以及梅尔频率倒谱系数这两种参量的融合特征参量，与单一特征参量相比，可以提高识别精度，能更加准确的判断声音类型；振动类型的匹配简单方便，在游戏过程中为用户带来振动触觉反馈，为用户规避游戏中遇到的危险，增强游戏体验。

A table mat for game intelligence based on vibration touch

【技术实现步骤摘要】
一种基于振动触觉的游戏智能桌垫
本专利技术属于虚拟现实与人际交互领域，尤其涉及音频的触觉反馈装置及方法。
技术介绍
触觉是人与外界交互的重要感知通道，触觉能让人感觉到物体表面的硬度、形状、温度以及粗糙度等多种物理属性，是五种感官中唯一存在双向交互的感官知觉，具有重要的意义，尤其是对视障听障患者而言，触觉是他们认识这个世界的重要途径之一。触觉反馈技术涉及电子、计算机、通信、心理学、生理学等多个学科，是当前虚拟现实和人机交互的热点和前沿，触觉再现能给人带来更加真实的沉浸感，与传统的视觉和听觉交互相比更加注重交互的自然和谐性，将人机交互的发展推向了新的发展阶段。触觉技术广泛应用于远程操作、医学仿真、艺术设计、娱乐、飞行仿真、虚拟现实等领域。如今，研究人员对将触觉反馈整合到听觉系统中越来越感兴趣。听觉感受的研究和技术仍然主要集中在改善声音本身，虽然似乎是存有潜在的工业影响，但在多媒体环境中，触觉反馈与音频、视频和文本等一种或多种媒体相结合的触觉反馈仍然未得到充分利用。然而，报道多媒体触觉反馈潜力的文章越来越多。少数研究人员已经表明触觉反馈是用户沉浸感的一个关键因素，因此触觉反馈在音频信号中的应用是具有广阔前景的。触觉反馈可能为体验音频内容开辟新的途径：用户与音频内容之间的关系不仅限于用户只是倾听的被动环境，而且可以使身体参与更多的沉浸体验。除了与听觉内容平行的物理感觉之外，用户还可以接收到一条互补的信息，或者通过触觉交互来强化一种情感，而不是简单的沉浸。在现有技术的基础上，通过增强听觉与触觉联合体验，这一领域具有令人兴奋的研究前景，其社会利益也具有重大意义。目前已有一些应用于游戏场景下的专利技术装置。2015年中国专利CN204246822U中公开了一种无线游戏振动背靠,通过无线接收装置接收游戏设备发出的控制信号,随着游戏的振动信号,通过振动刺激游戏者背部感触,提高游戏的仿真性与代入感,特别是针对格斗类、射击类、飞行类、赛车类游戏,背部振动不但可以保障手部操作的精准性,而且全新的背部振动,让背部感受游戏中的被打击、被碰撞等振动反馈,使游戏者更能身临其境。2015年中国专利CN204428794U提公开的游戏体感背心，提高了游戏的真实感，增强了游戏的娱乐性。2019年CN110215697A中公开了一种游戏振动手柄。根据所述事件坐标确定目标马达标识，控制所述目标马达标识对应的马达振动。根据不同的事件坐标确定目标马达标识，不同的目标马达标识对应游戏手柄上不同的马达，实现了根据振动事件的事件坐标控制游戏手柄上不同的马达振动，根据游戏手柄上不同马达的振动情况实现了基于触觉的信息传递，玩家从而根据振感获取游戏场景信息，可快速、准确的作出判断及反应操作。总体来看，现有的音频触觉反馈装置基本分为手持式、可穿戴式和座椅式几种。其中手持式和可穿戴式体积小、便于携带，座椅式接收反馈的面积更大、沉浸感更强。但是如果是用户在普通场景下的电脑游戏过程中使用音频触觉反馈，这三种装置都会或多或少的对用户产生限制。因为在电脑游戏操作过程中，用户的手腕和小臂部分始终在操作键盘和鼠标，始终能接触到桌面，因此提出了一种可以便捷地平铺于桌面的基于振动触觉的智能游戏桌垫来为用户提供振动触觉反馈，避免了其他装置造成的对身体其他部位的约束性。
技术实现思路
本专利技术提供一种基于振动触觉的游戏智能桌垫，目的是在电脑游戏过程中通过基于振动触觉的游戏智能桌垫来传递触觉，触觉输出是通过电脑向桌垫传送声音数据来智能触发的，在此过程中，可以增强玩家的游戏体验。本专利技术采取的技术方案是：包括：第一区域，所述第一区域为处理区域，得到结果后用于驱动第二区域和第三区域；第二区域，所述第二区域为左侧触觉反馈区域；第三区域，所述第三区域为右侧触觉反馈区域。本专利技术所述第二区域和第三区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。本专利技术所述第一区域的处理方法被完整地封装在芯片中并植入桌垫内部，并引出USB连接线与电脑连接，包括下列步骤：(1)数据采集；(2)预处理；(3)数据训练；(4)结果识别。本专利技术所述步骤(1)数据采集包括：采用portaudio音频接口对对游戏中发出的声音数据进行采集，采样率为44.1kHz，采集后对数据进行分帧处理，每帧取1024个数据，采用交叠分段方法取数，使帧与帧之间平滑过渡、保持其连续性。前一帧和后一帧之间的交叠部分为帧移，此处设置帧移为512。本专利技术所述步骤(2)中的预处理部分，包括下列步骤：1)滤波，对采集到的声音数据进行过滤，使用二阶带通滤波器，通带和阻带分别为60Hz和1000Hz；2)端点检测，从连续的语音流中检测出有效的语音段，它包括两个方面，检测出有效语音的起始点即前端点，检测出有效语音的结束点即后端点；3)特征提取，提取每帧数据中能够表征音频信号特性的特征参数，要提取的参量为基于经验模态分解(EMD)的能量比以及梅尔频率倒谱系数(MFCC)这两种参量的融合特征参量。本专利技术所述的3)特征提取方法，包括下列步骤：(I)采用基于经验模态分解算法EMD的IMF能量比的特征提取方法：经验模态分解算法是Hilbert-Huang变换HHT的核心算法，验模式分解算法是通过算法过程定义的，而并非由确定的理论公式定义的，所以对其进行准确的理论分析非常困难，我们目前只能借助大量的数字仿真试验不断对其性能进行深入的研究，经验模态分解算法的实质是依不同时间尺度特征将多分量信号分解成一系列单分量信号，即本征模态函数IntrinsicModeFunction，IMF，并提取出该复杂信号的趋势项，从而使得信号的瞬时频率具有物理意义，其分解步骤如下：a)将信号x(t)所有局部极大值点和局部极小值点分别用3次样条曲线连起来构成x(t)的上下包络线，两条曲线间包含所有的信号。计算其平均值曲线θ1(t)，进而得：h1(t)＝x(t)-θ1(t)将h1(t)作为待处理信号，重复上述求包络均值和差值的计算，筛选k次得到第k个待处理信号h1k(t)；h1k(t)＝h1(k-1)(t)-θ1k(t)直到h1k(t)符合IMF分量的特征，从原信号中分解得到了第1个IMF，记为c1(t)；c1(t)＝h1k(t)b)从原信号中减去c1(t)，得到第1阶剩余信号r1(t):r1(t)＝x(t)-c1(t)把r1(t)作为新的信号重复步骤(I)，将第2、第3直到第n-1个IMF分量c2(t)、c3(t)、…cn-1(t)，若第n阶IMF分量cn(t)或其剩余信号rn(t)小于预先设定的值或rn(t)变成1个单调函数时，筛选结束，这样原始音频数据x(t)可表示为有限个IMF和1个剩余信号的和：IMF反映了原信号中不同的频率成分，且n个IMF的频率从大到小排列，余项变为很低频率的脉动即趋势项，信号经EMD分解后得到有限个IMF分本文档来自技高网...

【技术保护点】
1.一种基于振动触觉的游戏智能桌垫，其特征在于，包括：/n第一区域，所述第一区域为处理区域，得到结果后用于驱动第二区域和第三区域；/n第二区域，所述第二区域为左侧触觉反馈区域；/n第三区域，所述第三区域为右侧触觉反馈区域。/n

【技术特征摘要】
1.一种基于振动触觉的游戏智能桌垫，其特征在于，包括：
第一区域，所述第一区域为处理区域，得到结果后用于驱动第二区域和第三区域；
第二区域，所述第二区域为左侧触觉反馈区域；
第三区域，所述第三区域为右侧触觉反馈区域。


2.根据权利要求1所述的基于振动触觉的游戏智能桌垫，其特征在于：所述第二区域和第三区域，在游戏过程中来针对人手腕或小臂进行触觉反馈，用于增强游戏过程中用户的游戏体验。


3.根据权利要求1所述的基于振动触觉的游戏智能桌垫，其特征在于，所述第一区域的处理方法，包括下列步骤：
(1)数据采集；
(2)预处理；
(3)数据训练；
(4)结果识别。


4.根据权利要求3所述的基于振动触觉的游戏智能桌垫，其特征在于，所述步骤(1)数据采集包括：采用portaudio音频接口对对游戏中发出的声音数据进行采集，采样率为44.1kHz，采集后对数据进行分帧处理，每帧取1024个数据，采用交叠分段方法取数，使帧与帧之间平滑过渡、保持其连续性。前一帧和后一帧之间的交叠部分为帧移，此处设置帧移为512。


5.根据权利要求3所述的基于振动触觉的游戏智能桌垫，其特征在于，所述步骤(2)中的预处理部分，包括下列步骤：
1)滤波，对采集到的声音数据进行过滤，使用二阶带通滤波器，通带和阻带分别为60Hz和1000Hz；
2)端点检测，从连续的语音流中检测出有效的语音段，它包括两个方面，检测出有效语音的起始点即前端点，检测出有效语音的结束点即后端点；
3)特征提取，提取每帧数据中能够表征音频信号特性的特征参数，要提取的参量为基于经验模态分解EMD的能量比以及梅尔频率倒谱系数MFCC这两种参量的融合特征参量。


6.根据权利要求5所述的基于振动触觉的游戏智能桌垫，其特征在于，所述的3)特征提取方法，包括下列步骤：
(I)采用基于经验模态分解算法EMD的IMF能量比的特征提取方法：
经验模态分解算法是Hilbert-Huang变换HHT的核心算法，验模式分解算法是通过算法过程定义的，而并非由确定的理论公式定义的，所以对其进行准确的理论分析非常困难，我们目前只能借助大量的数字仿真试验不断对其性能进行深入的研究，经验模态分解算法的实质是依不同时间尺度特征将多分量信号分解成一系列单分量信号，即本征模态函数IntrinsicModeFunction，IMF，并提取出该复杂信号的趋势项，从而使得信号的瞬时频率具有物理意义，其分解步骤如下：
a)将信号x(t)所有局部极大值点和局部极小值点分别用3次样条曲线连起来构成x(t)的上下包络线，两条曲线间包含所有的信号。计算其平均值曲线θ1(t)，进而得：
h1(t)＝x(t)-θ1(t)
将h1(t)作为待处理信号，重复上述求包络均值和差值的计算，筛选k次得到第k个待处理信号h1k(t)；
h1k(t)＝h1(k-1)(t)-θ1k(t)
直到h1k(t)符合IMF分量的特征，从原信号中分解得到了第1个IMF，记为c1(t)；
c1(t)＝h1k(t)
b)从原信号中减去c1(t)，得到第1阶剩余信号r1(t):
r1(t)＝x(t)-c1(t)
把r1(t)作为新的信号重复步骤(I)，将第2、第3直到第n-1个IMF分量c2(t)、c3(t)、…cn-1(t)，若第n阶IMF分量cn(t)或其剩余信号rn(t)小于预先设定的值或rn(t)变成1个单调函数时，筛选结束，这样原始音频数据x(t)可表示为有限个IMF和1个剩余信号的和：



IMF反映了原信号中不同的频率成分，且n个IMF的频率从大到小排列，余项变为很低频率的脉动即趋势项，信号经EMD分解后得到有限个IMF分量，每个分量均代表机动目标内某一部件的频率，因此各个分量的频域能量可能存在某种关系，据此提出基于EMD的IMF能量比的特征提取算法，过程如下：
对任一信号，定义第i阶IMF的能量为；



以各个IMF分...

【专利技术属性】
技术研发人员：孙晓颖，刘璐，林琳，王庆龙，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22