基于多媒体内容的补充信息提供触觉效果的方法和系统技术方案

本公开一般涉及基于多媒体内容的补充信息提供触觉效果的系统和方法。例如，一种公开的方法包括以下步骤：接收包括多媒体内容和补充数据的多媒体数据，其中补充数据描述多媒体内容；至少部分地基于补充数据确定触觉效果；以及在播放多媒体内容时输出触觉效果。

Method and System of Supplementary Information Providing Tactile Effect Based on Multimedia Content

【技术实现步骤摘要】
基于多媒体内容的补充信息提供触觉效果的方法和系统本申请是分案申请，其母案申请的申请号为201410452996.X，申请日为2014年9月5日。相关申请的交叉引用本申请要求于2013年9月6日提交的标题为“AudiotoHaptics”的美国临时专利申请No.61/874,933的优先权，通过引用将其全部内容合并于此。本申请涉及于2013年11月12日提交的标题为“SystemsandMethodsforGeneratingHapticEffectsAssociatedwithTransitionsinAudioSignals”的美国专利申请No.14/078,438，通过引用将其全部内容合并于此。本申请涉及于2013年11月12日提交的标题为“SystemsandMethodsforGeneratingHapticEffectsAssociatedwithanEnvelopeinAudioSignals”的美国专利申请No.14/078,442，通过引用将其全部内容合并于此。本专利申请涉及于2013年11月12日提交的标题为“SystemsandMethodsforGeneratingHapticEffectsAssociatedwithAudioSignals”的美国专利申请No.14/078,445，通过引用将其全部内容合并于此。
本公开一般涉及基于多媒体数据提供触觉效果的方法和系统，并且具体地涉及基于多媒体内容的补充信息提供触觉效果的方法和系统。
技术介绍
近年来，多媒体技术的进展被不断用于增强并且为用户提供更逼真的观看体验。现在的电视有更大的屏幕、高清晰度的屏幕分辨率和3D功能。此外，现在的手持装置经常有色彩鲜艳的高分辨率屏幕，并通过互联网访问多种内容源。类似地，音频技术的进展，例如改进环绕声系统、保真度更高的家庭影院扬声器和高清音频进一步增强用户的多媒体观看体验。除了视频和音频技术的进展之外，还使用触觉效果，通过观看者的触觉使用户进一步沉浸在观看体验中。提供与视频游戏中的事件相对应的触觉效果的触觉启用视频游戏机控制器是使用触觉增强用户体验的普遍示例。类似地，现在的大多数手持移动装置(例如，蜂窝电话、平板计算机)都包括允许应用提供触觉效果的硬件。采用触觉来增强音频和/或视频内容的回放也是公知的。在一些情况下，触觉设计者编辑触觉轨道——在多媒体内容的回放期间要在特定时间输出的触觉效果的特殊集合——通过播放多媒体文件的系统或装置使用触觉轨道，以提供触觉效果。虽然该方法的优点在于它向多媒体内容产生特别调整的触觉轨道，但是它需要雇用触觉设计者为每个多媒体内容项目人工设计触觉轨道。对人工设计的替代包括使用算法来分析音频和/或视频内容，以确定要输出的触觉效果的自动处理。这种技术的示例包括声学事件检测(“AED”)(如上述美国专利申请No.14/078,445所述)、盲源分离(“BBS”)(亦如上述美国专利申请No.14/078,445所述)以及图像模式匹配。但是，这些已知的自动触觉化(automatedhaptification)算法存在不准确和处理要求高的问题。此外，自动触觉化算法还有过度包含——不希望的并且经常导致过度嘈杂的触觉轨道的触觉化事件(例如，在键盘上打字、叫喊、音乐)——以及欠包含——不能将多媒体内容中的关键事件触觉化的倾向。
技术实现思路
本公开一般涉及一种方法，包括以下步骤：接收包括多媒体内容和补充数据的多媒体数据，其中所述补充数据描述多媒体内容，至少部分地基于补充数据确定触觉效果，以及在播放多媒体内容时输出触觉效果。在另一个实施例中，计算机可读介质包括使得处理器执行这种方法的程序代码。提出这些示例性实施例不是要限制或限定本专利技术，而是要提供示例，帮助其理解。在详细描述中讨论了示例性实施例，并且这里提供了本专利技术的进一步描述。通过检查本说明书，可以进一步理解本专利技术的各种实施例提供的优点。附图说明在参考附图阅读下面的详细描述时，可以更好地理解根据本公开的这些和其它特征、方案和优点，其中：图1A和图1B是根据本公开的实施例的系统框图。图2A至图2H是根据本公开的实施例的多媒体数据的框图。图3是根据本公开的实施例的流程图。图4是根据本公开的实施例的流程图。具体实施方式根据本公开的实施例提供基于多媒体数据提供触觉效果的方法和系统，更具体地涉及基于多媒体内容的补充信息(以下称为“补充信息”)提供触觉效果的方法和系统。如本文中所使用的，“多媒体数据”包括多媒体内容和补充信息两者。示例性实施例在一个示例性实施例中，家庭拥有家庭影院系统，其包括电视、能够访问互联网和触觉启用的A/V接收器、扬声器和触觉沙发。该家庭经常使用基于互联网的电影流媒体服务来观看电影，通过电影流媒体服务，A/V接收器接收多媒体数据流，其包括选择的电影以及该电影的补充信息(例如，元数据标签、隐藏式字幕信息)。在一个特定示例中，该家庭选择观看第一次世界大战动作/剧情电影。当用于电影的数据流开始到达时，A/V接收器确定元数据容器(通常已知为标签)存在。通过分析标签，A/V接收器确定在标签的类型字段中文本“战争”的存在，并基于该类型，确定将应用将触觉效果的输出强度增加到超过默认等级的触觉主题。此外，A/V接收机将类型提供给分析电影的音频和视频轨道的自动触觉化算法，以识别为其产生触觉效果的模式。在本示例中，A/V接收器专注于战争电影中常见的模式，例如爆炸、枪声等等，并基于算法产生触觉效果。除了分析音频和视频轨道之外，A/V接收器还针对关键词分析隐藏式字幕文本。例如，如果A/V接收器在隐藏式字幕数据中的特定时间戳处发现单词“爆炸”，则A/V接收器将该信息输入自动算法。然后算法寻找该时间戳周围的爆炸模式，并产生对应的触觉效果，例如强烈震动，与爆炸对应。在电影播放时，A/V接收器向触觉沙发发送信号，使其在与影片内发生的事件相对应的时间处输出触觉效果。该示例性实施例仅为示例，如同这里所述，可以实施本专利技术的多个其它实施例。示例性装置下面参考附图，其中贯穿附图相同的附图标记表示相似的元件。图1A和图1B是根据本公开的实施例，基于补充信息提供触觉效果的系统的框图。图1A示出包括各种组件的系统100。在一些实施例中，图1A所示系统100是包括电视、A/V接收器、多个扬声器、带游戏控制器的游戏机、万能遥控器、触觉启用设备和/或可穿戴触觉输出装置的家庭娱乐系统。在一个特定实施例中，图1B所示系统100包括电视(显示器116)、A/V接收器122、扬声器120、遥控器114和触觉启用的沙发124。在其它实施例中，系统100包括手持装置，例如移动电话、个人数字助理(PDA)、平板计算机、膝上型计算机、掌上型计算机或手持导航系统。还在其它实施例中，系统100可包括信息亭、汽车头单元或类似系统。本公开的实施例可通过与数字电子电路、计算机硬件、固件和软件组合来实现，或者可包括数字电子电路、计算机硬件、固件和软件的组合。图1A和图1B所示系统100包括处理器110。处理器110接收输入信号，并产生用于通信、显示以及提供触觉反馈的信号。处理器110包括一个或多个计算机可读介质，例如可包括随机存取存储器(RAM)的存储器112，或者与一个或多个计算机可读介质通信。处理本文档来自技高网...

【技术保护点】
1.一种方法，包括：由处理器接收多媒体内容和补充信息；由所述处理器基于所述多媒体内容确定触觉效果；由所述处理器基于所述补充信息确定所述触觉效果的修改版本；以及由所述处理器发送信号，所述信号被配置为使得触觉输出装置在播放所述多媒体内容的同时输出所述触觉效果的所述修改版本。

【技术特征摘要】
2013.09.06 US 61/874,933;2013.12.31 US 14/145,6501.一种方法，包括：由处理器接收多媒体内容和补充信息；由所述处理器基于所述多媒体内容确定触觉效果；由所述处理器基于所述补充信息确定所述触觉效果的修改版本；以及由所述处理器发送信号，所述信号被配置为使得触觉输出装置在播放所述多媒体内容的同时输出所述触觉效果的所述修改版本。2.根据权利要求1所述的方法，其中，所述多媒体内容包括视频轨道，并且其中，通过分析所述视频轨道来确定所述触觉效果。3.根据权利要求1所述的方法，其中，所述多媒体内容包括音频轨道，并且其中，通过分析所述音频轨道来确定所述触觉效果。4.根据权利要求1所述的方法，其中，通过网络接收所述多媒体内容作为数据流。5.根据权利要求1所述的方法，其中，所述补充信息包括具有触觉效果数据的元数据容器。6.根据权利要求1所述的方法，其中，所述补充信息包括与数据库中的一个或多个触觉效果相对应的触觉效果代码。7.根据权利要求1所述的方法，其中，至少部分地基于从所述补充信息导出的上下文信息、关键词或触觉主题来确定所述触觉效果的所述修改版本。8.一种系统，包括：处理器；和存储器，所述存储器包括程序代码，所述程序代码可由所述处理器执行以：接收多媒体内容和补充信息；基于所述多媒体内容确定触觉效果；基于所述补充信息确定所述触觉效果的修改版本；以及发送信号，所述信号被配置为使得触觉输出装置在播放所述多媒体内容的同时输出所述触觉效果的所述修改版本。9.根据权利要求8所述的系统，其中，所述多媒体内容包括视频轨道，并且其中，通过分析所述视频轨道来确定所述触觉效果。10.根据权利要求8所述的系统，其中，所述多媒体内容包括音频轨道，并且其中，通过分析所述音频轨道来确定所述触觉效果。11.根据权利要求8所述的系统，其中，通过网络接收所述多媒体内容作为数据流。12.根据权利要求8所述的系统，其中，所述补充信息包括具有触觉效果数据的元数据容器。13.根据权利要求8所述的系统，其中，所述补充信息包括与数据库中的一个或多个触觉效果相对应的触觉效果代码。14.根据权利要求8所述的系统，其中，至少部分地基于从所述补充信息导出的上下文信息、关键词或触觉主题来确定所述触觉效果的所述修改版本。15.一种方法，包括：由处理器从第...

【专利技术属性】
技术研发人员：文森特·莱韦斯克，阿利·莫达雷斯，君·曼扭尔·克鲁斯赫南德斯，贾迈勒·沙博恩，
申请(专利权)人：意美森公司，
类型：发明
国别省市：美国,US