基于从异地分布的表演者捕获的内容自动产生协调的视听作品制造技术

捕获用户的声乐音频以及表演同步的视频并使其与其他用户的视听贡献相协调以形成合成的二重奏式或合唱团式或窗口分栏的音乐视频式的视听表演。在一些情况下，在卡拉OK式的歌词演示的情境中，与伴奏的有声渲染相一致地在移动装置、电视型显示器和/或机顶盒设备上捕获各个用户的声乐表演(以及表演同步的视频)。多个歌手的贡献以这样一种方式被协调和混合：在沿给定的表演时间轴的任何给定时间上选择所述贡献者中的一个或多个的表演同步的视频以进行呈现。该选择与视觉进程相一致，该视觉进程与表演乐谱的其他编码方面(例如，音高轨、伴奏音频、歌词、章节和/或声部)相一致地对视觉布局序列进行编码。

【技术实现步骤摘要】
【国外来华专利技术】基于从异地分布的表演者捕获的内容自动产生协调的视听作品
本专利技术一般涉及视听表演的捕获和/或处理，且特别地涉及适于与声乐表演捕获的便携式装置实施方案相结合使用的技术。
技术介绍
手机和其他便携式计算装置的安装基数在绝对数量和计算能力方面每天都在增长。其普通存在且深深扎根于世界各地人们的生活方式中，几乎超越了所有的文化和经济壁垒。从计算上来说，今天的手机提供了可与小于十年前的台式电脑相媲美的速度和存储能力，这使其非常适合实时声音合成和其他音乐应用。部分地，其结果是，一些现代的手机(例如，可从苹果公司购得的手持数字装置)能够支持音频和视频回放。像传统的原声乐器一样，手机能够是私人的声音产生和捕获装置。然而，与大多数传统乐器相比，其在声学带宽和功率上稍显有限。尽管有着这些缺点，但手机确实具有普遍存在、数量上的优势以及超级移动性的优点，这使得其适宜(至少在理论上)几乎随时随地地将艺术家聚集在一起进行表演。移动音乐领域已在几个发展的研究机构中进行了探索。事实上，近期与诸如SmuleOcarinaTM、SmuleMagicPiano、以及SmuleSing！KaraokeTM(均可从Smule公司购得)之类的应用的体验已显示，先进的数字声学技术可以按提供引人注目的用户体验的方式进行传输。随着数字声学研究员寻求将其创新转换成可部署到现代手持装置(例如，手持机)和可在由处理器、存储器及其其他有限的计算资源所施加的现实世界的约束内和/或在无线网络典型的通信带宽和传输延迟的约束内进行操作的其他平台的商业应用，出现了显著的实际挑战。期望获得改进的技术和功能性能力，特别是相对于视频的。
技术实现思路
已经发现，尽管移动装置平台和应用执行环境施加了许多实际的限制，但包括声乐在内的视听(audiovisual)表演仍可以按创建引人注目的用户体验的方式进行捕获并与其他用户的视听表演相协调。在一些情况下，在卡拉OK式的歌词演示的情境中，与伴奏的有声(audible)渲染(rendering)相一致地在移动装置上捕获各个用户的声乐表演(以及表演同步的视频)。在一些情况下，音高提示可以结合卡拉OK式的歌词演示被呈现给歌手，且可选地，可以提供连续的自动音高修正(或将音高转换成和声)。捕获用户的声乐音频以及表演同步的视频并使其与其他用户的视听贡献相协调以形成合成的二重奏式或合唱团式或窗口分栏的音乐视频式的视听表演。在一些情况下，在卡拉OK式的歌词演示的情境中，与伴奏的有声渲染相一致地在移动装置、电视型显示器和/或机顶盒设备上捕获各个用户的声乐表演(以及表演同步的视频)。多个歌手的贡献以这样一种方式进行协调和混合：在沿给定的表演时间轴的任何给定时间上选择贡献者中的一个或多个的表演同步的视频以进行呈现。选择与视觉进程相一致，该视觉进程与表演乐谱的其他编码方面(例如，音高轨、伴奏音频、歌词、章节和/或声部)相一致地对视觉布局序列进行编码。在本专利技术的一些实施例中，一种根据异地分布的表演者贡献来制备协调的视听作品的方法包括：经由通信网络接收与种子的各个有声渲染在时间上保持一致地在各个远程装置上捕获的表演的多个视听编码，接收的视听编码中的每一者均包括各个表演者声乐作品(vocal)以及时间同步的视频；检索视觉进程，该视觉进程与种子在时间上保持一致地对一连串的模板化屏幕布局进行编码，模板化屏幕布局中的每一者均指定其中视频中的各个是可视觉渲染的视觉单元的数量和布置；将包括各个表演者声乐作品和协调的视频的所捕获的表演中的各个表演关联至视觉单元中的各个；以及根据视觉进程和关联将协调的视听作品渲染为捕获的表演的音频混合和协调的视觉呈现。在一些情况或实施例中，模板化屏幕布局中相继的屏幕布局改变视觉单元的空间布置或数量或改变空间布置和数量两者。在一些情况或实施例中，音频混合包括与在视觉进程中的给定点处的起作用的特定模板化屏幕布局相一致的已被关联至当时起作用的模板化屏幕布局的视觉单元的所捕获的表演中的各个的表演者声乐作品。在一些情况或实施例中，在音频混合中的给定时间点处，所包括的表演者声乐作品仅是针对被关联至当时起作用的模板化屏幕布局的视觉单元的相应所捕获的表演的那些表演者声乐作品。在一些情况或实施例中采用的视觉进程中，从一个模板化屏幕布局至另一个的至少一些转换与在音乐章节之间的边界在时间上相一致。在一些情况或实施例中采用的视觉进程中，从一个模板化屏幕布局至另一个的至少一些转换与在选自以下集合的各个部分之间的转换在时间上相一致：第一声部；第二声部；以及多歌手部。在一些情况或实施例中采用的视觉进程中，从一个模板化屏幕布局至另一个的至少一些转换与种子所对应的基础歌曲的第N个节拍韵律(N≥1)在时间上相一致。在一些情况或实施例中采用的视觉进程中，在至少一些相继的模板化屏幕布局中的视觉单元的数量与种子所对应的基础歌曲的强度相一致地增加。在一些情况或实施例中采用的视觉进程中，至少一些视觉单元的空间布置或大小从一个模板化屏幕布局至下一个相继的模板化屏幕布局发生变化。在一些实施例中，该方法还包括根据对应于种子的结构化音乐布置产生视觉进程。在一些情况或实施例中，结构化音乐布置包括与用于表演者声乐作品的音高轨以及用于表演者声乐作品的歌词中的任一者或两者相一致的音乐章节的编码。在一些情况或实施例中采用的视觉进程中，从一个模板化屏幕布局至另一个的至少一些转换与在结构化音乐布置的音乐章节之间的边界在时间上相一致。在一些情况或实施例中，结构化音乐布置包括伴奏的编码。在一些情况或实施例中采用的视觉进程中，从一个模板化屏幕布局至另一个的至少一些转换与经计算从伴奏中提取的第N个节拍韵律(N≥1)在时间上相一致。在一些情况或实施例中，模板化屏幕布局中的每一者均限定了一组视觉单元的视觉范围，在该组视觉单元中，与表演者中的各个的声乐作品相一致地捕获的视频被渲染。在一些情况或实施例中，模板化屏幕布局包括：至少一个有一个表演者的布局；至少一个有两个表演者的布局；多个有三个和四个表演者的布局；以及针对至少一个表演者数量为N的，多个有N个表演者的布局，其中N≥4。在一些实施例中，该方法还包括与检索到的视觉进程相一致地，从第一模板化屏幕布局转换至下一个相继的模板化屏幕布局，其中对于与特定表演者的声乐作品相一致地捕获的视频，该转换是从第一布局的第一视觉单元至下一个相继布局的第二视觉单元。在一些情况或实施例中，第一视觉单元至第二视觉单元的转换包括下列中的一个或多个：滑动转换；淡入或淡出转换；缩放转换；以及裁剪转换。在一些情况或实施例中，渲染是针对适合于通过通信网络进行存储或传输的视听编码或容器格式的渲染。在一些情况或实施例中，渲染是针对显示器和音频换能器的渲染。在一些实施例中，该方法还包括在音频混合中，对针对已被关联至当时起作用的模板化屏幕布局的特定视觉单元的所捕获的表演的表演者声乐作品的音频幅度进行缩放，其中针对特定表演者的声乐作品的缩放幅度与特定表演者的视频所关联至的特定视觉单元的大小相一致。在一些实施例中，该方法还包括在音频混合中，平移(从左到右)针对已被关联至当时起作用的模板化屏幕布局的特定视觉单元的所捕获的表演的表演者声乐作品，其中针对特定表演者的声乐作品的平移与该特定表演者的视频所关联至的特定视觉单本文档来自技高网...

【技术保护点】
一种根据异地分布的表演者贡献来制备协调的视听作品的方法，所述方法包括：经由通信网络接收与种子的各个有声渲染在时间上保持一致地在各个远程装置上捕获的表演的多个视听编码，接收到的视听编码中的每一者均包括各个表演者声乐作品以及时间同步的视频；检索视觉进程，所述视觉进程与所述种子在时间上保持一致地对一连串的模板化屏幕布局进行编码，所述模板化屏幕布局中的每一者均指定其中所述视频中的各个是可视觉渲染的视觉单元的数量和布置；将包括所述各个表演者声乐作品和协调的视频的所捕获的表演中的各个表演关联至所述视觉单元中的各个视觉单元；以及根据所述视觉进程和所述关联将所述协调的视听作品渲染为所捕获的表演的音频混合和协调的视觉呈现。

【技术特征摘要】
【国外来华专利技术】2015.06.03 US 62/170,2551.一种根据异地分布的表演者贡献来制备协调的视听作品的方法，所述方法包括：经由通信网络接收与种子的各个有声渲染在时间上保持一致地在各个远程装置上捕获的表演的多个视听编码，接收到的视听编码中的每一者均包括各个表演者声乐作品以及时间同步的视频；检索视觉进程，所述视觉进程与所述种子在时间上保持一致地对一连串的模板化屏幕布局进行编码，所述模板化屏幕布局中的每一者均指定其中所述视频中的各个是可视觉渲染的视觉单元的数量和布置；将包括所述各个表演者声乐作品和协调的视频的所捕获的表演中的各个表演关联至所述视觉单元中的各个视觉单元；以及根据所述视觉进程和所述关联将所述协调的视听作品渲染为所捕获的表演的音频混合和协调的视觉呈现。2.根据权利要求1所述的方法，其中，相继的模板化屏幕布局改变所述视觉单元的空间布置或数量，或者改变空间布置和数量两者。3.根据权利要求1所述的方法，其中，所述音频混合包括与在所述视觉进程中的给定点处的起作用的特定模板化屏幕布局相一致的所捕获的表演中的各个表演的表演者声乐作品，该表演者声乐作品已被关联至当时起作用的所述模板化屏幕布局的视觉单元。4.根据权利要求3所述的方法，其中，在所述音频混合中的给定时间点处，所包括的表演者声乐作品仅是针对被关联至当时起作用的所述模板化屏幕布局的视觉单元的相应的捕获的表演的那些表演者声乐作品。5.根据权利要求1所述的方法，其中，在所述视觉进程中，从一个模板化屏幕布局至另一个的至少一些转换与在音乐章节之间的边界在时间上相一致。6.根据权利要求5所述的方法，其中，在所述视觉进程中，从一个模板化屏幕布局至另一个的至少一些转换与在选自以下集合的各个部分之间的转换在时间上相一致：第一声部；第二声部；以及多歌手部。7.根据权利要求5所述的方法，其中，在所述视觉进程中，从一个模板化屏幕布局至另一个的至少一些转换与所述种子所对应的基础歌曲的第N个节拍韵律在时间上相一致，N≥1。8.根据权利要求2所述的方法，其中，在所述视觉进程中，在至少一些相继的模板化屏幕布局中的视觉单元的数量与所述种子所对应的基础歌曲的强度相一致地增加。9.根据权利要求2所述的方法，其中，在所述视觉进程中，至少一些视觉单元的所述空间布置或大小从一个模板化屏幕布局至下一个相继的模板化屏幕布局发生变化。10.根据权利要求1所述的方法，其还包括：根据对应于所述种子的结构化的音乐布置产生所述视觉进程。11.根据权利要求10所述的方法，其中，结构化的音乐布置包括与以下各项中的任一者或两者相一致的音乐章节的编码：表演者声乐作品的音高轨；以及...

【专利技术属性】
技术研发人员：凯文·索昂，布纳·金姆，乔恩·摩勒多佛，约翰·史姆因，珍妮·杨，佩里·库克，
申请(专利权)人：思妙公司，
类型：发明
国别省市：美国,US