具有同步的多设备音频流传输系统技术方案

实施例包括电子控制单元，该电子控制单元包括用于从外部音频源接收音频流的音频输入设备，该音频流在音频路径和触觉路径之间被拆分；触觉路径中的无线收发器，用于使用短程无线通信将音频流发送到至少一个可穿戴触觉设备；以及处理器，耦接到收发器并且被配置为计算与将音频流传送到(一个或多个)可穿戴触觉设备相关联的延时量，并基于计算出的延迟将音频流分成包括播放时间的多个音频包。控制单元还包括：音频路径中的缓冲器，用于基于计算出的延迟将时间延迟插入到音频流中；以及音频路径中的音频输出设备，用于将经时间延迟的音频流输出到外部音频收听设备。

Multi-device audio streaming transmission system with synchronization

【技术实现步骤摘要】
【国外来华专利技术】具有同步的多设备音频流传输系统对相关申请的交叉引用本申请要求于2016年9月14日提交的美国临时申请No.62/394707的优先权，该申请通过引用整体并入本文。
技术介绍
多媒体娱乐的消费者正在寻求提高多感官沉浸的方法。用于提供音频沉浸的现有系统包括使用重低音音箱(subwoofer)来感受音乐的低音调和改善电影或视频游戏的音频，以及使用环绕声来使用户沉浸在更有趣的体验中。但是，除了音频内容之外，这些方法在虚拟现实或其它视听场景中不提供多感官刺激。此外，对于喜欢在“旅途中”体验多媒体娱乐的用户来说，重低音音箱尤其不方便，因为重低音音箱设备的物理尺寸妨碍了便携性。同时，现有的便携式设备(诸如常规的耳机)不能提供与重低音音箱相同的低频效果。向现有系统添加触感或触觉刺激以用于音频和/或视听沉浸可以提供多感官沉浸并使娱乐体验更加愉快。例如，基于音乐作品的音频信号生成的振动可以与音频信号同步，以提供增强的音乐体验，其中用户既听到又感觉到音乐。一些现有的触觉设备与音频/视觉输出设备分离，因此需要单独的部件来与产生剩余的多媒体体验同步的操作。例如，可以通过经由有线或无线连接连接到音频或视听系统的可穿戴触觉设备来提供触觉刺激。在一些情况下，无线连接可能是优选的，使得用户可以在旅途中或从任何位置体验多感官沉浸。一种解决方案将触觉设备嵌入鞋类内部，诸如例如鞋子或被设计成放置在现有鞋子内部的鞋垫，并且使用短程无线通信技术(诸如例如)来向触觉设备和/或在触觉设备之间发送音频信号。但是，用于经由无线通信将音频从音频系统流传输(streaming)到外围设备的现有技术具有若干已知缺点。例如，一些现有的音频流传输技术具有足够严重到引起娱乐体验的音频成分和视频成分之间的可感知延迟的延时(latency)问题。结果，向这种场景添加触觉刺激可以导致娱乐体验的音频成分和触觉成分之间的可感知延时。因而，本领域中仍然需要一种改进的多感官系统，这种改进的多感官系统可以与相关联的音频内容同步地无线递送触觉内容，以便在虚拟现实、环绕声或其它视听场景中提供个人的多感官体验。
技术实现思路
本专利技术旨在通过提供系统和方法来解决上述问题，所述系统和方法尤其被设计为在多个设备之间提供低延时的无线连接，使得在多感官娱乐体验期间音频内容的递送与相关的触觉内容的递送同步。例如，一个实施例包括电子控制单元，其包括：用于从外部音频源接收音频流的音频输入设备和耦接到音频输入设备的信号拆分器，该信号拆分器用于在音频路径和触觉路径之间拆分音频流；耦接到触觉路径的无线收发器，用于使用短程无线通信技术将音频流发送到至少一个可穿戴触觉设备。此外，电子控制单元包括处理器，该处理器耦接到无线收发器并且被配置为计算与音频流到所述至少一个可穿戴触觉设备的传送相关联的延时量并且将音频流分成多个音频包，每个音频包包括基于计算出的延时量的播放时间。电子控制单元还包括：在音频路径中包括的缓冲器，用于将时间延迟插入到被提供给音频路径的音频流中，该时间延迟基于计算出的延时量；以及耦接到音频路径的音频输出设备，用于将经时间延迟的音频流输出到外部音频收听设备。另一个示例实施例包括娱乐系统，该娱乐系统包括电子控制单元和被配置为将音频流转换成触觉信号的至少一个可穿戴触觉设备。电子控制单元包括：音频输入设备，用于从外部音频源接收音频流；音频输出设备，用于将音频流输出到外部音频收听设备；以及无线收发器，用于使用短程无线通信技术将音频流发送到至少一个可穿戴触觉设备。电子控制单元还包括处理器，该处理器被配置为通过计算与音频流无线到至少一个可穿戴触觉设备的传送相关联的延时量、将音频流分成多个音频包并将时间延迟插入到被提供给音频收听设备的音频流中来同步触觉信号的递送与经时间延迟的音频流的递送，其中每个音频包包括基于计算出的延时量的播放时间，时间延迟基于计算出的延时量。另一个示例实施例包括一种使音频流的递送与从音频流导出的触觉信号的递送同步的方法。该方法包括使用被配置用于短程无线通信的无线收发器与至少一个可穿戴触觉设备建立无线连接；经由音频输入设备从外部音频源接收音频流；在包括缓冲器和音频输出设备的音频路径与耦接到无线收发器和处理器的触觉路径之间拆分音频流；使用处理器计算与通过无线收发器向至少一个可穿戴触觉设备发送音频流相关联的延时量；使用处理器将触觉路径的音频流分成多个音频包，每个音频包包括基于计算出的延时量的播放时间；使用缓冲器将时间延迟插入到音频路径的音频流中，该时间延迟基于计算出的延时量；将经时间延迟的音频流提供给音频输出设备，以便递送到耦接到音频输出设备的外部音频收听设备；以及经由无线收发器将多个音频包发送到至少一个可穿戴触觉设备。又一个示例实施例包括一种方法，包括：使用被配置用于短程无线通信的无线收发器与电子控制单元建立无线连接；经由无线收发器从电子控制单元接收多个音频包；对于每个音频包，使用处理器检索在音频包中包括的播放时间数据；从内部时钟检索当前播放时间；基于音频包中包括的播放时间数据和当前播放时间来计算每个音频包的新播放时间值；以及将每个音频包提供给用于将音频包转换成触觉信号的一个或多个触觉换能器，该触觉信号由一个或多个触觉换能器根据对应的新播放时间值而输出。所附权利要求限定本申请。本公开总结了实施例的各方面，并且不应当用于限制权利要求。，如本领域普通技术人员在研究以下附图和具体实施方式后将明白的，根据本文描述的技术可想到其它实现方式，并且这些实现方式打算是在本申请的范围内。附图说明为了更好地理解本专利技术，可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制，并且可省略相关元素以强调和清楚地说明本文所述的新颖特征。此外，如本领域中已知的，系统部件可以不同地布置。在附图中，除非另有说明，否则相同的标号在不同附图中可以指相同的部件。图1是根据实施例的示例性娱乐系统的框图。图2图示了根据实施例的图1的娱乐系统的示例性实现方式。图3是根据实施例的在图1的娱乐系统中包括的示例性电子控制单元的框图。图4是根据实施例的在图1的娱乐系统中包括的示例性触觉设备的框图。图5是根据实施例的使音频流的递送与从音频流导出的触觉信号的递送同步的示例方法的流程图。图6是根据实施例的另一个示例性方法的流程图。具体实施方式虽然本专利技术可以以各种形式实施，但是附图示出了并且本说明书描述了一些示例性且非限制性的实施例，应当理解本公开被认为是本专利技术的示例，并不意图将本专利技术限制于所示的具体实施例。而且，并非所有描绘或描述的部件都是必需的，并且一些实施例可以包括附加的、不同的或更少的部件。在不脱离本文所述的权利要求的精神或范围的情况下，部件的布置和类型可以改变。在本申请中，反意连接词(disjunctive)的使用旨在包括连接词。定冠词或不定冠词的使用并不旨在指示基数。特别地，对“该”对象或“一个”对象的引用也旨在表示可能多个这种对象中的一个。各种实施例提供了一种电子控制单元，该电子控制单元无线耦接到一个或多个可穿戴触觉设备并且通信地耦接到音频源(诸如，例如媒体播放器)和音频收听设备(诸如，例如耳机)以便为用户提供个人多感官沉浸。例如，(一个或多个)可穿戴触觉设备可以显著改善听音乐、看电影、玩视频游戏或其它音频或视听场景的体验。(一个或本文档来自技高网...

【技术保护点】
1.一种电子控制单元，包括：音频输入设备，用于从外部音频源接收音频流；耦接到音频输入设备的信号拆分器，用于在音频路径和触觉路径之间拆分音频流；耦接到触觉路径的无线收发器，用于使用短程无线通信技术将音频流发送到至少一个可穿戴触觉设备；处理器，耦接到无线收发器并被配置为：计算与音频流到所述至少一个可穿戴触觉设备的传送相关联的延时量，以及将音频流分成多个音频包，每个音频包包括基于计算出的延时量的播放时间；包括在音频路径中的缓冲器，用于将时间延迟插入到被提供给音频路径的音频流中，该时间延迟基于计算出的延时量；以及耦接到音频路径的音频输出设备，用于将经时间延迟的音频流输出到外部音频收听设备。

【技术特征摘要】
【国外来华专利技术】2016.09.14 US 62/394,7071.一种电子控制单元，包括：音频输入设备，用于从外部音频源接收音频流；耦接到音频输入设备的信号拆分器，用于在音频路径和触觉路径之间拆分音频流；耦接到触觉路径的无线收发器，用于使用短程无线通信技术将音频流发送到至少一个可穿戴触觉设备；处理器，耦接到无线收发器并被配置为：计算与音频流到所述至少一个可穿戴触觉设备的传送相关联的延时量，以及将音频流分成多个音频包，每个音频包包括基于计算出的延时量的播放时间；包括在音频路径中的缓冲器，用于将时间延迟插入到被提供给音频路径的音频流中，该时间延迟基于计算出的延时量；以及耦接到音频路径的音频输出设备，用于将经时间延迟的音频流输出到外部音频收听设备。2.如权利要求1所述的电子控制单元，还包括：在触觉路径中包括的低通滤波器，用于从被提供给触觉路径的音频流中去除高频分量。3.如权利要求1所述的电子控制单元，其中每个音频包还包括与音频包相关联的同步字和标识符。4.如权利要求1所述的电子控制单元，还包括耦接到触觉路径的数据端口，该数据端口用于从一个或多个外部数据源接收控制数据。5.如权利要求4所述的电子控制单元，其中处理器还被配置为：将控制数据分成多个数据包；将数据包交织到所述多个音频包中；以及将音频包和数据包提供给无线收发器，以便传送到所述至少可穿戴触觉设备。6.如权利要求4所述的电子控制单元，其中数据端口还被配置为经由无线收发器接收由所述至少一个可穿戴触觉设备捕获的数据。7.如权利要求4所述的电子控制单元，其中数据端口是通用串行总线(USB)端口。8.如权利要求1所述的电子控制单元，其中音频输入设备是麦克风。9.如权利要求1所述的电子控制单元，其中无线收发器是蓝牙收发器。10.一种娱乐系统，包括：至少一个可穿戴触觉设备，被配置为将音频流转换成触觉信号；以及电子控制单元，包括：音频输入设备，用于从外部音频源接收音频流，音频输出设备，用于将音频流输出到外部音频收听设备，无线收发器，用于使用短程无线通信技术将音频流发送到所述至少一个可穿戴触觉设备，以及处理器，被配置为通过以下操作使触觉信号的递送与经时间延迟的音频流的递送同步：计算与音频流到所述至少一个可穿戴触觉设备的无线传送相关联的延时量，将音频流分成多个音频包，每个音频包包括基于计算出的延时量的播放时间，以及将时间延迟插入到被提供给音频收听设备的音频流中，该时间延迟基于计算出的延时量。11.如权利要求10所述的娱乐系统，其中电子控制单元还包括通信地耦接到处理器的数据端口，该数据端口用于从外部数据源接收控制数据，该控制数据用于控制所述至少一个可穿戴触觉设备的操作。12.如权利要求11所述的娱乐系统，其中处理器还被配置为：将控制数据分成多个数据包；将数据包交织到所述多个音频包中；以及将音频包和数据包提供给无线收发器，以便传送到所述至少一个可穿戴触觉设备。13.如权利要求10所述的娱乐系统，其中所述至少一个可穿戴触觉设备还被配置为：获得与由所述至少一个可穿戴触觉设备检测到的移动相关联的数据，以及将数据无线发送到电子控制单元。14.如...

【专利技术属性】
技术研发人员：R·亚当斯，D·哈格里弗斯，E·蒙卡尤，B·M·塞勒，
申请(专利权)人：声感股份有限公司，
类型：发明
国别省市：美国,US