用于基于视觉特性来生成触觉效果的系统和方法技术方案

本公开涉及用于基于视觉特性来生成触觉效果的系统和方法。公开了用于基于视觉特性触觉来设计触觉效果的系统和方法。本文描述的一个说明性系统包括用户输入设备、存储器、触觉输出设备以及处理器，该处理器与用户输入设备和存储器进行通信。该处理器被配置为：接收具有多个特性的输入，多个特性中的至少一个特性与第一形状相关联，识别与第一形状相关联的图像或标签，以及识别与图像或标签相关联的触觉效果。该处理器还被配置为将触觉效果与第一形状相关联，并且将与触觉效果相关联的触觉信号发送至触觉输出设备，触觉信号使得触觉输出设备输出触觉效果。

System and method for generating tactile effects based on visual characteristics

【技术实现步骤摘要】
用于基于视觉特性来生成触觉效果的系统和方法
本申请涉及用户界面设备的领域。更具体地，本申请涉及基于视觉特性来生成触觉效果。
技术介绍
为了创建更沉浸式的视觉体验(包括在游戏和视频应用程序中)，内容创建者已经利用了更复杂和更高清晰度的视频和音频系统。内容创建者还包括触觉效果，以进一步增强游戏者或观看者的体验。然而，用于识别视觉对象并且将单独的触觉效果分配给那些图像的传统系统可能是困难和耗时的，并且可能导致次优的结果。需要用于增强触觉设计者向视频图像分配触觉效果的能力的系统和方法。
技术实现思路
在一个实施例中，一种用于基于视觉特性来设计触觉效果的系统包括：用户输入设备、存储器、触觉输出设备以及处理器，该处理器与用户输入设备和存储器进行通信。该处理器被配置为：接收具有多个特性的输入，多个特性中的至少一个特性与第一形状相关联，识别与第一形状相关联的图像或标签，以及识别与图像或标签相关联的触觉效果。该处理器还被配置为将触觉效果与第一形状相关联，并且将与触觉效果相关联的触觉信号发送至触觉输出设备，触觉信号使得触觉输出设备输出触觉效果。在另一实施例中，一种用于基于视觉特性来设计触觉效果的方法包括：接收具有多个特性的输入，多个特性中的至少一个特性与第一形状相关联，识别与第一形状相关联的图像或标签，识别与图像或标签相关联的触觉效果，并且将触觉效果与第一形状相关联。在又一实施例中，计算机可读介质可以包括程序代码，当该程序代码由处理器执行时，处理器被配置为执行这样的方法。提及这些说明性实施例不是为了限制或限定本主题的限制，而是为了提供示例以帮助对其进行理解。在详细的描述中讨论了说明性实施例，并且在此提供了进一步的描述。通过检查本说明书和/或通过实践所要求保护的主题的一个或多个实施例，可以进一步理解由各种实施例提供的优点。附图说明在本说明书的其余部分中，更具体地阐述了完整且可行的公开内容。本说明书参考以下附图。图1示出了用于基于视觉特性设计触觉效果的说明性系统。图2是用于基于视觉特性设计触觉效果的一个示例性实施例的方法步骤的流程图。图3是用于基于视觉特性设计触觉效果的另一示例性实施例的方法步骤的流程图。具体实施方式现在将详细参考各种和替代的说明性实施例以及附图。每个示例是作为说明而非限制提供的。对于本领域技术人员来说将显而易见的是，可以进行修改和变化。例如，作为一个实施例的部分示出或描述的特征可以在另一实施例中使用以产生又一实施例。因此，本公开旨在包括落入所附权利要求及其等同物的范围内的修改和变化。用于基于视觉特性来生成触觉效果的系统的说明性示例在一个说明性实施例中，触觉设计者正在设计用于视频游戏的触觉。设计者希望为游戏中的枪响添加效果。设计者没有使用诸如文本输入来执行搜索，而是用她的手指在她的笔记本电脑中的数码相机前模拟了枪支的形状。系统识别出她的手指的形状具有与枪支相关联的视觉特性。然后，系统搜索数据库以识别与包含那些相同或相似视觉特性的枪支的图像相关联的触觉效果，包括与枪响相关联的触觉效果，并且将列表提供给用户。然后，设计者可以选择她想要播放的用于枪响的一种或多种效果。在一些实施例中，系统还可以能够将标签与视觉特性相关联并且使用标签来搜索触觉效果。例如，系统识别与设计者的手指的形状相关联的视觉特性，并且确定它们与枪支相关联。然而，系统不会寻找具有相同特性的图像，而是将标签“枪支”施加到手指的形状。然后，系统使用标签“枪支”来搜索与枪支相关联的效果。系统向用户提供列表，然后用户选择适当的效果。在一些实施例中，系统可以分析图像而不是用户模仿的形状。例如，触觉设计者可以上传剪辑并且识别要分析的一个或多个特定帧。该系统对帧中的对象的视觉特性进行识别，并且然后搜索具有那些视觉特性的图像以及与图像相关联的触觉效果。可选地，系统可以将标签应用于帧中的对象，并且然后搜索与标签相关联的触觉效果。然后，系统可以将效果列表提供给设计者，设计者可以选择在视频的一个或多个适当帧期间要播放的一种或多种适当的效果。前述示例仅仅是说明性的，并且不旨在以任何方式限制所要求保护的专利技术。用于基于视觉特性来生成触觉效果生成的说明性系统图1示出了用于使用音频和视频来生成触觉效果的说明性系统100。特别地，在该示例中，系统100包括计算设备101，该计算设备101具有经由总线106与其他硬件进行接口的处理器102。存储器104可以包括任何合适的有形(和非暂态)计算机可读介质，例如RAM、ROMEEPROM等，其包含对计算设备的操作进行配置的程序组件。在该示例中，计算设备101还包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112、附加存储装置114和相机120。网络设备110可以表示有助于网络连接的任何组件中的一个或多个。示例包括但不限于有线接口(例如，以太网、USB、IEEE1394)和/或无线接口(例如，IEEE802.11、蓝牙)或用于对蜂窝电话网络进行存取的无线电接口(例如，用于对CDMA、GSM、UMTS或(一个或多个)其他移动通信网络进行存取的收发器/天线)。I/O组件112可以被用于促进与设备(例如，一个或多个显示器、触摸屏显示器、键盘、鼠标、扬声器、麦克风、相机和/或用于输入数据或输出数据的其他硬件)的连接。存储装置114表示非易失性存储装置，例如设备101中包括的磁性、光学或其他存储介质。相机120表示能够捕获视觉图像的任何种类的传感器。相机120可以被安装在计算设备101的表面上或者可以是分开的。相机120经由I/O端口112与计算设备101进行通信。系统100还包括触摸表面116，在该示例中，触摸表面116被集成到设备101中。触摸表面116表示被配置为感测用户的触摸输入的任何表面。一个或多个传感器108被配置为当对象接触触摸表面时检测触摸区域中的触摸并且提供适当的数据以供处理器102使用。可以使用任何适当数量、类型或布置的传感器。例如，电阻式和/或电容式传感器可以被嵌入到触摸表面116中，并且被用于确定触摸的位置和其他信息，例如压力。作为另一示例，可以使用具有触摸表面的视图的光学传感器来确定触摸位置。在一些实施例中，传感器108、触摸表面116和I/O组件112可以被集成到单个组件(例如，触摸屏显示器)中。例如，在一些实施例中，触摸表面116和传感器108可以包括被安装在显示器的上方的触摸屏，该显示器被配置为接收显示信号并且向用户输出图像。然后，用户可以使用显示器来观看电影或其他视频并且与触觉生成设计应用程序进行交互。在其他实施例中，传感器108可以包括LED检测器。例如，在一个实施例中，触摸表面116可以包括被安装在显示器的侧面上的LED手指检测器。在一些实施例中，处理器102与单个传感器108进行通信，在其他实施例中，处理器102与多个传感器108(例如，第一触摸屏和第二触摸屏)进行通信。传感器108被配置为检测用户交互，并且基于该用户交互，将信号发送到处理器10本文档来自技高网...

【技术保护点】
1.一种非暂态计算机可读介质，包括程序代码，所述程序代码在由处理器执行时被配置为使得所述处理器执行以下操作：/n接收具有多个特性的输入，所述多个特性中的至少一个特性与第一形状相关联；/n识别与所述第一形状相关联的图像或标签；/n识别与所述图像或标签相关联的触觉效果；以及/n将所述触觉效果与所述第一形状相关联。/n

【技术特征摘要】
20181114 US 16/190,6801.一种非暂态计算机可读介质，包括程序代码，所述程序代码在由处理器执行时被配置为使得所述处理器执行以下操作：
接收具有多个特性的输入，所述多个特性中的至少一个特性与第一形状相关联；
识别与所述第一形状相关联的图像或标签；
识别与所述图像或标签相关联的触觉效果；以及
将所述触觉效果与所述第一形状相关联。


2.根据权利要求1所述的计算机可读介质，还包括程序代码，所述程序代码在执行时被配置为执行以下操作：
识别所述图像中的第二形状；以及
至少部分地基于所述第一形状和所述第二形状之间的相似性来识别所述触觉效果。


3.根据权利要求1所述的计算机可读介质，其中，所述图像包括来自视频的帧。


4.根据权利要求1所述的计算机可读介质，还包括程序代码，所述程序代码在执行时被配置为建议要与所述第一形状相关联的多个触觉效果。


5.根据权利要求2所述的计算机可读介质，还包括程序代码，所述程序代码在执行时被配置为执行以下操作：
识别与所述第一形状相关联的对象；以及
通过在包含多个图像的数据集中搜索所述对象，来识别包含与所述第一形状相似的所述第二形状的所述图像。


6.根据权利要求1所述的计算机可读介质，其中，所述输入包括手势。


7.根据权利要求1所述的计算机可读介质，其中，所述输入包括图像。


8.根据权利要求1所述的计算机可读介质，还包括程序代码，所述程序代码在执行时被配置为通过将所述触觉效果记录到触觉轨迹来将所述触觉效果与所述第一形状相关联，所述触觉轨迹与视频相关联。


9.根据权利要求1所述的计算机可读介质，还包括程序代码，所述程序代码在执行时被配置为将所述触觉效果输出到触觉效果生成器。


10.一种方法，包括：
接收...

【专利技术属性】
技术研发人员：贾马尔·萨布恩，胡安·曼努埃尔·克鲁兹赫南德茲，
申请(专利权)人：意美森公司，
类型：发明
国别省市：美国;US