【技术实现步骤摘要】
【国外来华专利技术】具有用于广域广播的延迟管理的视听协作方法
本专利技术一般涉及多个表演者视听表演的捕获、处理和/或广播，并且具体地涉及适于管理在多个地理上分布的表演者的近实时视听协作的上下文中捕获的针对视听内容的传输延迟的技术。
技术介绍
移动电话、个人媒体播放器和便携式计算设备的安装基础，连同媒体流媒体和电视机顶盒，每天都在绝对数量和计算能力方面增长。世界上人们的生活方式中普遍存在并且深深地确立，这些设备中的许多设备超越了文化和经济障碍。通过计算方式，这些计算设备提供了与不到十年前的工程工作站或工作组计算机相当的速度和存储能力，并且通常包括强大的媒体处理器，使得它们适合于实时声音合成和其他音乐应用。部分地作为结果，一些便携式手持设备(例如，iPod和其他或安卓设备)，以及媒体应用程序平台和机顶盒(STB)型设备(例如，Apple设备)相当有能力地支持音频和视频处理，而同时提供适合于高级用户接口的平台。实际上，应用程序(例如，SmuleOcarinaTM、LeafIAmT-PainTM、Sing！KaraokeTM、Guitar！By和Mag...
【技术保护点】
1.一种音频协作方法，用于广播在主机设备和访客设备之间具有不可忽略的对等通信延迟的地理上分布的第一表演者和第二表演者的联合表演，所述方法包括：/n在作为本地对等方进行操作的所述主机设备处接收混合的音频表演的媒体编码，所述混合的音频表演的媒体编码(i)包括在作为远程对等方进行通信耦合的所述访客设备处从表演者中的第一表演者捕获的声音音频，并且(ii)与伴奏音频轨迹进行了混合；/n在所述主机设备处，对所接收的混合的音频表演进行可听的呈现，并且相应地捕获来自所述表演者中的第二表演者的声音音频；以及/n将所捕获的第二表演者声音音频与所接收的混合的音频表演进行混合，以用于作为所述广播传...
【技术特征摘要】
【国外来华专利技术】20170403 US 62/480,6101.一种音频协作方法，用于广播在主机设备和访客设备之间具有不可忽略的对等通信延迟的地理上分布的第一表演者和第二表演者的联合表演，所述方法包括：
在作为本地对等方进行操作的所述主机设备处接收混合的音频表演的媒体编码，所述混合的音频表演的媒体编码(i)包括在作为远程对等方进行通信耦合的所述访客设备处从表演者中的第一表演者捕获的声音音频，并且(ii)与伴奏音频轨迹进行了混合；
在所述主机设备处，对所接收的混合的音频表演进行可听的呈现，并且相应地捕获来自所述表演者中的第二表演者的声音音频；以及
将所捕获的第二表演者声音音频与所接收的混合的音频表演进行混合，以用于作为所述广播传输给观众，其中，广播混合包括所述第一表演者和所述第二表演者的声音音频以及所述伴奏音频轨迹，在它们之间具有可忽略的时间滞后。
2.根据权利要求1所述的方法，还包括：
通过广域网，将所述广播混合作为现场直播传输到多个接收者，所述多个接收者构成所述观众。
3.根据权利要求1所述的方法，还包括：
所述第二表演者在所述主机设备处选择性地将所述第一表演者加入所述联合表演。
4.根据权利要求3所述的方法，
其中，加入的第一表演者是从所述观众中选择的，并且至少在所述联合表演的持续时间内，所述加入的第一表演者被与去往所述观众的所述广播的现场直播传输解耦合。
5.根据权利要求4所述的方法，
其中，向所述观众传输的现场直播广播相对于第一表演者声音音频捕获在时间上滞后至少几秒。
6.根据权利要求4所述的方法，还包括：
将所述第一表演者回归到所述观众，并且与此同时，将所述第一表演者重新耦合到所述现场直播传输。
7.根据权利要求6所述的方法，还包括：
选择性地加入第三表演者作为新的远程对等方，并且
此后，
在所述主机设备处接收混合的音频表演的第二媒体编码，所述混合的音频表演的第二媒体编码(i)包括在作为所述新的远程对等方进行通信耦合的新的访客设备处从所述第三表演者捕获的声音音频，并且(ii)与第二伴奏音频轨迹进行了混合；
在所述主机设备处，对所述第二媒体编码进行可听的呈现，并且相应地捕获来自所述第二表演者的附加声音音频；以及
将所捕获的附加声音音频与所接收的第二媒体编码进行混合，以用于作为所述广播的延续而传输给所述观众，其中，所述广播混合包括所述第二表演者和所述第三表演者的声音音频以及所述第二伴奏音频轨迹，在它们之间具有可忽略的时间滞后。
8.根据权利要求1所述的方法，还包括：
将所述第二表演者捕获声音音频提供给所述访客设备远程对等方，以用于在所述访客设备处进行可听的呈现，该呈现相对于捕获来自所述第一表演者的声音音频存在至少一些访客侧时间滞后。
9.根据权利要求8的方法，其中，明显的所述访客侧时间滞后为至少约40-1200ms。
10.根据权利要求8所述的方法，
其中，基本上全部的所述不可忽略的对等通信延迟在所述访客侧时间滞后中是明显的。
11.根据权利要求10所述的方法，
其中，在所述主机设备处或者在第一表演者和第二表演者的所述广播混合中，所述不可忽略的对等通信延迟都不是明显的。
12.根据权利要求1所述的方法，其中，所述不可忽略的对等通信延迟包括：
输入信号到发送的延迟，
网络延迟，
抖动缓冲器延迟，以及
缓冲器和输出延迟。
13.根据权利要求1所述的方法，其中，所述不可忽略的对等通信延迟为至少约100-250ms。
14.根据权利要求1所述的方法，其中，所述不可忽略的对等通信延迟为约100-600ms。
15.根据权利要求1所述的方法，其中，所述不可忽略的对等通信延迟为至少约30-100ms。
16.根据权利要求1所述的方法，
其中，在所述主机设备处接收混合的音频表演并且将所述第二表演者捕获声音音频提供给所述访客设备是使用Web实时通信(WebRTC)型框架经由对等视听连接来进行的。
17.根据权利要求1所述的方法，还包括：
通过广域网来提供所述第一表演者和所述第二表演者的声音音频的广播混合。
18.根据权利要求17所述的方法，
其中，所述广播混合的提供是经由实时消息传输协议(RTMP)型视听流传输协议来进行的。
19.根据权利要求1所述的方法，
其中，至少所述访客设备构成移动手持电话或媒体播放器。
20.根据权利要求1所述的方法，还包括：
在所述主机设备处，根据对声音旋律的音符序列进行编码的声音得分来对第二表演者声音进行音调校正。
21.根据权利要求20所述的方法，还包括：
在所述主机设备处，根据对所述声音旋律的至少一些部分的至少第一组和声音符进行编码的声音得分来对第二表演者声音进行音调校正。
22.根据权利要求1所述的方法，
其中，包括在所接收的混合的表演中的第一表演者声音是经音调校正的声音。
23.根据权利要求1所述的方法，
其中，第一表演者声音和第二表演者声音中的一个是根据对声音旋律的音符序列进行编码的声音得分来进行音调校正的；并且
其中，所述第一表演者声音和所述第二表演者声音中的另一个是根据对所述声音旋律的至少一些部分的至少第一组和声音符进行编码的声音得分来进行音调校正的。
24.根据权利要求1所述的方法，
其中，第一表演者声音和第二表演者声音中的任一个或两个在被包括在所述广播中之前受到计算处理以应用一个或多个音频效果。
25.根据权利要求24所述的方法，其中，所应用的音频效果包括以下各项中的一项或多项：
混响效果，
数字滤波，
频谱均衡化，
非线性失真，
音频压缩，
音调校正或音调偏移，
信道相对增益和/或相位延迟，用于操纵第一表演者或第二表演者在立体声场内的明显放置。
26.根据权利要求1所述的方法，
其中，所接收的媒体编码包括与所捕获的第一表演者声音在表演上同步的视频，
其中，所述方法还包括在所述主机设备处捕获与所捕获的第二表演者声音在表演上同步的视频，并且
其中，所述广播混合是至少所述第一表演者和所述第二表演者的所捕获的音频和视频的视听混合。
27.根据权利要求26所述的方法，还包括：
基于对所述第一表演者声音和所述第二表演者声音中任一者或两者以计算方式定义的音频特...
【专利技术属性】
技术研发人员：安东·霍姆伯格，本杰明·赫什，珍妮·杨，佩里·R·库克，杰弗里·C·史密斯，
申请(专利权)人：思妙公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。