基于检测到的视频事件的动态触觉产生制造技术

一种接收包括至少视频数据的输入媒体的方法或系统，其中，检测所述视频数据内的视频事件。收集与检测到的视频事件关联的相关数据并且基于收集到的相关数据来配置一个或多个特征参数。视频事件的类型是确定的并且基于视频事件的类型来选择一组特征参数。然后，基于所选择的这组特征参数来自动产生触觉效果。

Dynamic haptic generation based on detected video events

A method or system for receiving input media including at least video data, wherein video events in the video data are detected. Collecting relevant data associated with detected video events and configuring one or more characteristic parameters based on the collected relevant data. The type of video events is determined and a set of feature parameters is selected based on the type of video events. Then, the haptic effect is automatically generated based on the selected feature parameters.

【技术实现步骤摘要】
基于检测到的视频事件的动态触觉产生
一个实施例总体上涉及触觉效果，并且更具体地涉及基于检测到的视频事件的触觉效果的产生。
技术介绍
触觉(Haptics)是一种触感和力反馈技术，通过向用户施加诸如力、振动和运动的触觉反馈效果(即，“触觉效果”)来利用用户的触摸感觉。可以配置诸如移动装置、触摸屏装置和个人计算机的装置产生触觉效果。通常，可以在装置的操作系统(“OS”)内编程对能够产生触觉效果的嵌入式硬件(诸如，致动器)的调用。这些调用指定要运用哪种触觉效果。例如，当用户使用例如按钮、触摸屏、控制杆、操纵杆、轮盘或某个其他控件与装置进行交互时，装置的OS可通过控制电路向嵌入式硬件发送运用命令。然后，嵌入式硬件产生适宜的触觉效果。可以配置装置协调触觉效果的输出与诸如游戏或其他媒体的其他内容的输出，使触觉效果合并到其他内容中。例如，在游戏背景下，当开发游戏时，开发人员可嵌入与游戏关联的触觉效果并且表现在游戏内发生的诸如机关枪射击、爆炸或车祸的动作。通常，在游戏开发过程中的后期，诸如，当游戏开发人员正在完成游戏应用的开发时或当游戏开发人员将完成的游戏应用移植到新平台时，在游戏中添加触觉效果。这通常导致在已经开发了所有音频和视频效果之后添加触觉效果的现象。因为触觉效果通常是在该过程中的后期添加的，所以这通常轮到由触觉效果开发人员或其他某个开发人员进行关于将触觉效果与音频或视频效果关联的决策。另外，开发人员通常没有关于适用于音频或视频效果的触觉效果的选择的输入。
技术实现思路
在本公开的实施例中，提出了一种动态产生触觉效果的方法。该方法包括接收至少包括视频数据的输入媒体并且检测该视频数据内的视频事件。该方法继续收集与检测到的视频事件关联的相关数据，然后基于收集到的相关数据来配置一个或多个特征参数。确定视频事件的类型，然后选择基于视频事件的类型的一组特征参数。该方法最后基于所选择的这组特征参数来自动产生触觉效果。附图说明附图并入本文中并且形成说明书的部分，例示了本专利技术并且与具体实施方式一起进一步用于说明本专利技术的原理并且使相关领域的技术人员能够制造并且使用本专利技术。另外，附图标记的最左边的数字标识附图标记首次出现的图(例如，附图标记“310”指示如此编号的元件是在图3中首次标记或首次出现的)。另外，具有相同附图标记的后面带有字母表中的不同字母或其他不同标记(例如，撇号)的元件指示在结构、操作或形式上相同但是可以被识别为处于不同的空间位置或在不同的时间点重现的元件。图1例示了根据本公开的实施例的系统的框图。图2是根据本公开的实施例的触觉效果产生系统的框图，触觉效果产生系统检测事件，收集数据，配置参数并且动态地产生触觉。图3是根据本公开的实施例的碰撞事件检测的插图。图4A和图4B是根据本公开的实施例的爆炸事件检测的插图。图5是根据本公开实施例的当自动检测视频事件时图1的系统功能的流程图。具体实施方式一个实施例是用于检测视频事件并且自动产生用于检测到的视频事件的定制的、自定义触觉效果的方法和系统。该方法和系统包括手动或自动检测视频事件。收集诸如事件的开始时间和结束时间、像素数据和运动分析数据的相关数据。基于收集到的数据来配置特征参数。识别视频事件的类型，例如碰撞事件或爆炸事件。然后，基于视频事件的类型，选择一组特征参数并且基于所选择的这组特征参数来产生对应的自定义的触觉效果。虽然本文中描述的实施例对于特定应用而言是例示性实施例，但是应当理解，本专利技术不限于此。获取了本文中提供的教导的本领域的技术人员将认识到在其范围内的另外的修改形式、应用和实施例以及本专利技术将在其中有显著效用的另外的领域。一个实施例是一种系统，该系统基于检测到的视频事件，例如视频流或片段中的碰撞或爆炸，来自动产生触觉效果。实施例包括视频事件的自动检测，分析视频数据并且随后配置参数以定义和产生相关的触觉效果。所产生的触觉效果因此基于特定检测到的视频事件，由此产生定制的触觉效果。可以自动或基于人工识别的视频事件来进行视频检测。图1说明了根据实施例的系统100的框图。在一个实施例中，系统100是一装置的一部分并且系统100基于检测到的视频事件来针对装置提供自动触觉效果。在另一个实施例中，系统100与装置分开并且基于检测到的视频事件来针对装置远程提供自动触觉效果。虽然示出为单个系统，但是系统100的功能可以作为分布式系统而实施。系统100包括用于传播信息的总线115或其他通信机构以及与总线115联接的用于处理信息的处理器111。处理器111可以是任何类型的通用或专用处理器。系统100进一步包括存储器116，用于存储信息和将由处理器111执行的指令。存储器116可包括随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘的静态存储器或任何其他类型的计算机可读介质的任何组合。计算机可读介质可以是可由处理器111访问的任何可用的暂态和非暂态介质并且可以包括易失性和非易失性介质、可移除和不可移动介质、通信介质和存储介质。通信介质可以包括诸如载波或其他传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块或其他数据并且可以包括本领域中已知的任何其他形式的信息传递介质。存储介质可以包括RAM、闪存、ROM、可擦可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可移动磁盘、只读光盘存储器(“CD-ROM”)或本领域中已知的任何其他形式的存储介质。在一个实施例中，存储器116存储当由处理器111执行时提供功能的软件模块。这些模块包括为系统100提供操作系统功能的操作系统117以及实施例中的装置的其余部分。模块进一步包括自动检测视频事件的视频事件检测模块118，如下面更详细公开的。在某些实施例中，视频事件检测模块118可以包括多个模块，其中，每个单独模块提供用于检测视频事件的特定的单独功能。例如，视频事件检测模块118可以包括检测模块，所述检测模块基于颜色和运动分析、视觉测距法或运动传感器或任何其他外部传感器来检测事件。系统100将通常包括一个或更多个附加的应用模块119，以包括附加功能，诸如Immersion公司的“TouchSense”应用，其将触觉效果整合入音频/视觉输入。在发送和/或接收来自远程源的数据的实施例中，系统100进一步包括诸如网络接口卡的通信装置113，通信装置113提供诸如红外、无线电、Wi-Fi的移动无线网络通信或蜂窝网络通信。在其他实施例中，通信装置113提供诸如以太网连接或调制解调器的有线网络连接。处理器111经由总线115进一步与诸如液晶显示器(“LCD”)的显示器120联接，用于向用户显示图形表示或用户界面。显示器120可以是配置为发送和接收来自处理器111的信号的诸如触摸屏的触摸敏感输入装置并且可以是多重触摸触摸屏。处理器111可以进一步与键盘或光标控制器124联接，以允许用户与诸如鼠标或输入笔(stylus)的系统100交互。在一个实施例中，系统100进一步包括致动器122。处理器111可以将与所产生的触觉效果关联的触觉信号发送到致动器122，致动器122进而输出诸如振动触感触觉效果、静电摩擦触觉效果或变形触觉效果的触觉效果。致动器122包括致动器驱动电路。致动器122可以是例本文档来自技高网...

【技术保护点】
一种动态产生触觉效果的方法，包括：接收包括至少视频数据的输入媒体；检测所述视频数据内的视频事件；收集与检测到的所述视频事件关联的相关数据；基于收集到的所述相关数据来配置一个或多个特征参数；确定所述视频事件的类型；基于所述视频事件的类型来选择一组特征参数；以及基于所述一组特征参数来产生触觉效果。

【技术特征摘要】
2016.10.31 US 15/338,7631.一种动态产生触觉效果的方法，包括：接收包括至少视频数据的输入媒体；检测所述视频数据内的视频事件；收集与检测到的所述视频事件关联的相关数据；基于收集到的所述相关数据来配置一个或多个特征参数；确定所述视频事件的类型；基于所述视频事件的类型来选择一组特征参数；以及基于所述一组特征参数来产生触觉效果。2.根据权利要求1所述的方法，其中，检测所述视频事件包括自动产生所述视频事件的开始时间和结束时间。3.根据权利要求1所述的方法，其中，收集所述相关数据包括收集所述视频事件的一组连续帧的像素数据。4.根据权利要求1所述的方法，其中，收集所述相关数据包括所述视频事件的一组连续帧内的对象或事件的运动分析。5.根据权利要求4所述的方法，其中，所述运动分析包括产生运动分析矢量。6.根据权利要求1所述的方法，其中，收集所述相关数据包括收集所述视频事件的一组连续帧的音轨数据。7.根据权利要求1所述的方法，其中，配置所述一个或多个特征参数包括基于与检测到的所述视频事件关联的像素的数量来配置触觉参数。8.根据权利要求7所述的方法，其中，配置所述一个或多个特征参数包括基于与检测到的所述视频事件关联的一组连续帧的像素数量差异来配置触觉参数。9.根据权利要求1所述的方法，其中，配置所述一个或多个特征参数包括基于与检测到的所述视频事件关联的一组连续帧之间的运动分析矢量来配置触觉参数。10.根据权利要求1所述的方法，其中，配置所述一个或多个特征参数包括基于与检测到的所述视频事件关联的音轨的幅度和频率来配置触觉参数。11.根据权利要求1所述的方法，其中，确定所述视频事件的类型包括确定碰撞事件或爆炸事件。12.根据权利要求1所述的方法，其中，选择所述一组特征参数包括当所述视频事件的类型是碰撞事件时选择使用运动分析矢量或当所述视频事件的类型是爆炸事件时使用像素...

【专利技术属性】
技术研发人员：伍黎雯，
申请(专利权)人：意美森公司，
类型：发明
国别省市：美国,US