用于生成与音频信号相关联的触觉效果的系统和方法技术方案

本发明专利技术涉及一种用于生成与音频信号相关联的触觉效果的系统和方法。公开的用于输出触觉效果的系统包括处理器，该处理器被配置成接收音频信号；至少部分基于音频信号，通过下述操作来确定触觉效果：识别音频信号中的一个或多个分量；以及确定与一个或多个分量相关联的触觉效果；并且输出与触觉效果相关联的触觉信号。

【技术实现步骤摘要】
相关申请的交叉引用本申请要求于2013年9月6日提交的并且标题为“Aud1 to Haptics”的美国临时申请N0.61/874,933的优先权，其全部内容通过引用被包含在此。本申请涉及与本申请同一天提交的并且标题为“Systems and Methods forGenerating Haptic Effects Associated with Transit1ns in Aud1 Signals，，(代理人案号:N0.1MM477 (51851-879623))的美国专利申请N0.14/078，438，其全部内容通过引用被包含在此。本专利申请涉及与本申请同一天提交的并且标题为“Systems and Methods forGenerating Haptic Effects Associated with an Envelope in Aud1 Signals，，(代理人案号:N0.1MM478 (51851-879624))的美国专利申请N0.14/078，442有关，其全部内容通过引用被包含在此。
本专利技术一般涉及触觉反馈，更具体地，涉及。
技术介绍
触摸使能设备已经日益变得普遍。例如，移动和其它设备可以配置有触敏显示器，使得用户能通过触摸显示器的部分提供输入。作为另一例子，与显示器分离的触觉使能表面可以用于输入，诸如触控板、鼠标或其它设备。此外，一些触摸使能设备利用触觉效果，例如，配置成模拟触摸表面上的纹理或摩擦的触觉效果。在一些设备中，这些触觉效果可以与由设备输出的音频或其它效果相关。然而，由于处理和输出音频和触觉效果的等待时间，这些效果可能不太引人注目。由此，需要与音频效果相关联的改进的触觉效果。
技术实现思路
本公开内容的实施例包括以在触摸区上感受并且与音频信号相关联的触觉效果为特征的设备。这些触觉效果可以包括但不限于纹理的变化、摩擦系数的变化和/或通过使用与表面接触的物体可以感知的触摸表面中的边界、障碍或其它不连续的模拟。 在一个实施例中，本公开内容的系统可以包括处理器，其被配置成:接收音频信号；通过识别音频信号中的一个或多个分量以及确定与一个或多个分量相关联的触觉效果，至少部分基于音频信号来确定触觉效果；以及输出与触觉效果相关联的触觉信号。另一实施例包括用于至少部分基于音频信号来确定触觉效果的方法。 所述的这些示例性实施例不限制或限定本主题的范围，而是提供帮助其理解的例子。在详细描述中论述了示例性实施例，并提供了进一步描述。通过检验本说明书和/或通过实施所要求的主题的一个或多个实施例，可以进一步理解由各个实施例提供的优点。 【附图说明】 在说明书的剩余部分中，更具体地阐述全面和详尽的公开内容。本说明书参考下述附图。 图1A示出用于生成与音频信号相关联的触觉效果的示例性系统； 图1B示出图1A中所示的系统的一个实施例的外部视图； 图1C示例图1A中所示的系统的另一实施例的外部视图； 图2A示例用于生成与音频信号相关联的触觉效果的示例性实施例； 图2B示例用于生成与音频信号相关联的触觉效果的示例性实施例； 图3示例根据一个实施例的用于生成与音频信号相关联的触觉效果的示例性实施例； 图4示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图； 图5示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图； 图6示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图； 图7示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图； 图8示例根据一个实施例的用于生成与音频信号相关联的触觉效果的方法的流程图； 图9A示例根据一个实施例的用于生成具有A/V信号的内容的系统概图；以及 图9B不例根据另一个实施例的用于生成具有A/V信号的内容的系统概图。 【具体实施方式】 现在，将详细地参考各个和替代示例性实施例和附图。通过说明，提供每一例子，而不是限制。对本领域的技术人员来说，能做出改进和变化是显而易见的。例如，示例或描述为一个实施例的部分的特征可以用在另一实施例上来产生又一实施例。因此，期望该公开内容包括落在所附权利要求及其等同物的范围内的改进和变化。 生成与音频信号相关联的触觉效果的设备的示例性例子 本公开内容的一个示例性实施例包括计算系统，诸如智能电话、平板电脑或便携式音乐设备。在一些实施例中，计算系统可以包括可穿戴设备，或嵌入家具或衣服中，或具有嵌入式致动器的任何其它设备。计算系统能包括一个或多个传感器和/或可以与一个或多个传感器，诸如加速度计，以及用于确定相对于该例子中对应于设备的屏幕的显示区的触摸位置的传感器(例如光学、电阻或电容式)通信。 当用户与设备交互时，一个或多个触觉输出设备，例如致动器被用来提供触觉效果。例如，可以输出触觉效果来模拟设备的表面上的纹理的存在。在一个这种实施例中，当用户的手指跨表面移动时，可以输出振动、电场或其它效果来模拟设备的表面上的纹理感。类似地，在另一实施例中，当用户移动手指跨过设备时，基于手指的位置、速度和/或加速度或手指已经与设备接触的时间长度，能改变(例如，增加或减小)所感知的屏幕的摩擦系数。在其它实施例中，移动设备可以输出诸如振动、上托、点击或表面变形的触觉效果。在一些实施例中，当某一事件发生时，可以在一定时间段(例如50ms)内输出触觉效果。在其它实施例中，触觉效果可以随固定周期改变，例如，在实施例中，可以输出以10Hz速率，例如10Hz正弦曲线改变的纹理。 在示例性实施例中，触觉效果包括与音频信号相关联的效果。例如，在一些实施例中，触觉效果可以包括与音频轨相关联的触觉效果。在一些实施例中，在确定触觉效果时，用户可能正收听音频轨(例如使用耳机、扬声器或一些其它类型的音频输出设备)。在其它实施例中，可以预先确定触觉效果，作为“触觉轨(haptic track)”的一部分。可以与音频文件一起，分发该触觉轨，以便其随音频轨播放。在一些实施例中，可以使触觉轨与音频轨同步，使得触觉效果对应于音频轨中的分量。在其它实施例中，触觉效果可以与音频-视觉(“AV”)轨，例如视频文件的音频部分相关联。 在一个所示的实施例中，可以通过分析音频信号来识别或确定音频信号内的分量，确定触觉效果。在一些实施例中，分量可以包括音频信号内的事件，诸如离散事件，例如枪击、爆炸、尖叫或战斗。此外，在一些实施例中，分量可以包括与经常性的音频效果，诸如吉他、钢琴或说话者相关联的源。此外，在一些实施例中，分量可以包括在音频信号内出现的特征。术语特征是表示音频段的描述符的专门术语，在一些实施例中，可以使算法来通过例如识别情绪，对音频信号的段进行分类。在一个实施例中，可以将Mel频率倒频谱(MFCC)用作用于分类的音频特征。在这种实施例中，系统可以使用那些MFCC或其它特征或描述符，识别事件或源。此外，在一些实施例中，音频信号可以包括音频分量，诸如语音的声音(例如，说话或唱歌)，以及与动作(例如开火、汽车噪声和特效)以及背景噪声(例如音乐或机械声)相关联的分量。在一个示例性实施例中，系统可以分析音频文件来确定这些分量的位置，以及向特定分量指定触觉效果。在本文档来自技高网...

【技术保护点】
一种用于输出触觉效果的系统，包括：处理器，所述处理器被配置成：接收音频信号；至少部分基于所述音频信号，通过下述操作来确定触觉效果：识别所述音频信号中的一个或多个分量；以及确定与所述一个或多个分量相关联的触觉效果；以及输出与所述触觉效果相关联的触觉信号。

【技术特征摘要】
2013.09.06 US 61/874,933;2013.11.12 US 14/078,4451.一种用于输出触觉效果的系统，包括: 处理器，所述处理器被配置成: 接收音频信号； 至少部分基于所述音频信号，通过下述操作来确定触觉效果: 识别所述音频信号中的一个或多个分量；以及 确定与所述一个或多个分量相关联的触觉效果； 以及 输出与所述触觉效果相关联的触觉信号。2.如权利要求1所述的系统，其中，识别所述音频信号的一个或多个分量包括: 接收与一个或多个分量相关联的信号； 将所述音频信号分成多个段； 分析所述多个段中的一个来确定所述一个或多个分量是否存在；以及 基于所述一个或多个分量的存在，对所述段进行分类。3.如权利要求2所述的系统，其中，分析所述多个音频段中的一个包括实施声事件检测技术。4.如权利要求3所述的系统，其中，所述声事件检测技术包括自动语音识别。5.如权利要求2所述的系统，其中，对所述多个音频段中的一个进行分类包括将该音频段和与所述一个或多个分量相关联的数据的数据库进行比较。6.如权利要求2所述的系统，其中，确定触觉效果包括基于所述段的分类来指定触觉效果。7.如权利要求1所述的系统，其中，识别所述音频信号的一个或多个分量包括隔离所述音频信号中的音频效果的源。8.如权利要求7所述的系统，其中，确定与所述一个或多个分量相关联的触觉效果包括向所述源指定触觉效果。9.如权利要求7所述的系统，其中，隔离所述音频信号中的音频效果的源包括隔离所述音频信号中的语音。10.如权利要求9所述的系统，其中，确定与所述一个或多个分量相关联的触觉效果包括: 确定与所述语音相关联的一个或多个情绪；以及 确定与所述一个或多个情绪相关联的触觉效果。11.如权利要求10所述的系统，其中，确定与语音相关联的一个或多个情绪包括下述中的一个或多个:基于频率的分析、基于时间的分析、话音质量分析或将所述语音的特征和与所述语音中的情绪相关联的数据的数据库进行比较。12.如权利要求1所述的系统，进一步包括: 音频输出设备，所述音频输出设备被配置成接收所述音频信号并且输出可听效果；以及 与所述处理器通信的触觉输出设备，所述触觉输出设备被配置成接收所述触觉信号并且输出所述触觉效果。13.如权利要求1所述的系统，进一步包括数据存储，所述数据存储被配置成接收所述触觉信号并且将所述触觉信号存储在触觉轨中。14.如权利要求1所述的系统，其中，所述触觉效果包括下述中的一个或多个:摩擦系数的变化、模拟纹理或振动。15.一种用于输出触觉效果的方法，包括: 接收音频信号； 至少部分基于所述音频信号，通过下述操作来确定触觉效果: 识别所述音频信号中的一个或多个分量；以及 确定与所述一个或多个分量相关联的触觉效果；以及 输出与所述触觉效果相关联的触觉信号。16.如权利要求15所述的方法，其中，识别所述音频信号的一个或多个分量包括: 接收与一个或多个分量相关联的信号； 将所述音频信号分成多个段； 分析所述多个段中的一个来确定所述一个或多个分量是否存在；以及 基于所述一个或多个分量的存在，对所述段进行分类。17.如权利要求16所述的方法，其中，分析所述多个音频段中的一个包括实施声事件检测技术。18.如权利要求17所述的方法，其中，所述声事件检测技术包括自动语音识别。19.如权利要16所述的方法，其中，对所述多个音频段中的一个进行分类包括将所述音频段和与所述一个或多个分量相关联的数...

【专利技术属性】
技术研发人员：君·曼扭尔·克鲁斯赫南德斯，贾迈勒·沙博恩，文森特·莱韦斯克，阿利·莫达雷斯，
申请(专利权)人：意美森公司，
类型：发明
国别省市：美国;US