用户音乐演奏时预录制音乐伴奏的经改进同步制造技术

本公开涉及用于使预录制音乐伴奏与用户音乐演奏同步的方法，所述用户音乐演奏由至少一个麦克风捕获，所述至少一个麦克风递送输入声学信号以馈入处理单元，所述处理单元包括用于存储所述预录制音乐伴奏的数据的存储器，且基于预录制音乐伴奏数据而提供输出声学信号以馈入至少一个扬声器，所述至少一个扬声器为所述用户播放音乐伴奏，其中所述处理单元：

【技术实现步骤摘要】
【国外来华专利技术】用户音乐演奏时预录制音乐伴奏的经改进同步
[0001]本公开涉及提供人类音乐家与提供人类音乐家的伴奏的预录制音乐数据之间的实时音乐同步的数据处理。
[0002]目标是掌握表演者的音乐意图，并且将其映射到预录制伴奏的音乐意图，以实现可接受的音乐行为。
[0003]已知一些系统能处理音乐家与伴奏之间的实时音乐同步的问题。
[0004]文件D1：克里斯托弗
·
拉斐尔(Christopher Raphael)(2010)：“音乐加一和机器学习(Music Plus One and Machine Learning)”，在第27届机器学习国际会议(International Conference on Machine Learning，ICML)的会议记录中，海法(Haifa)，以色列，21
‑
28，
[0005]涉及学习系统，其中音乐家的意图是从根据同一表演者的实际表演训练的模型预测。尽管存在训练的数据可用性的问题，但同步在此处取决于高级音乐参数(例如音乐学数据)而非事件的概率参数。此外，统计或概率预测破坏了演奏会之间(以及同一表演者)的表演的极端可变性。此外，此方法依赖于使音乐家事件与计算机动作同步。计算机动作并不对高级音乐参数进行建模，并且因此是不切实际的。
[0006]文件D2：罗杰
·
B
·
丹能伯格(Roger B Dannenberg)(1997)：“复合事件和信号的抽象时间扭曲(Abstract time warping of compound events and signals)”，在计算机音乐杂志(Computer Music Journal)中，61
‑
70，
[0007]采用音乐家速度是连续的且保持在两个事件之间的基本假设，从而产生用于同步的音乐位置的分段线性预测。在任何现实世界设置中，速度不连续性是导致此类近似失败的事实。此外，此方法仅考虑了音乐家时间图(Time
‑
Map)且破坏了预录制伴奏时间图(假设其固定)，并且因此遗失了重要高级音乐知识。
[0008]文件D3：阿希亚
·
康特(Arshia Cont)、何塞
·
埃切维斯特(Jose Echeveste)、让
·
路易斯
·
贾维托(Jean
‑
Louis Giavitto)和弗洛伦特
·
雅克马尔(Florent Jacquemard)(2012)：“正确自动伴奏，不管Antescofo中的机器收听或人为错误(Correct Automatic Accompaniment Despite Machine Listening or Human Errors in Antescofo)”，在国际计算机音乐会议(International Computer Music Conference，ICMC)的会议记录中，卢布尔雅那(Ljubljana)(斯洛文尼亚(Slovenia))，
[0009]将预期概念与大脑的认知模型结合以估计音乐家时间图。为了并入高级音乐知识以用于伴奏同步，其引入两种类型的同步：紧密同步(Tight Synchronization)用于确保某些关键位置紧密地同步。
[0010]虽然适当，但其技术方案在所得时间图中引入了不连续性。在使连续音频或视频流同步时，应避免此类不连续性。平滑同步(Smooth Synchronization)尝试通过假设所得伴奏速度等于音乐家的速度且使用所述值预测其位置来产生所得连续时间图。
[0011]尽管存在此适当速度检测，但实时速度容易出错且可能导致不可预测的不连续性。此外，两种策略在同一演奏会中的共存会在所得时间图中造成进一步不连续性。
[0012]文件D4：梁大文(Dawen Liang)、夏广宇(Guangyu Xia)和罗杰
·
B
·
丹能伯格
(2011)：“媒体协调和同步的框架(A framework for coordination and synchronization of media)”，在音乐表达新界面国际会议(International Conference on New Interfaces for Musical Expression)的会议记录中(p.167
‑
172)，
[0013]提议在例如以上紧密(Tight)的偶发性同步与例如松散(Loose)的仅速度同步之间进行折衷，以使时间图动态地同步，以实现将值收敛到参考伴奏时间图的目标。使用横跨音乐持续时间w到未来的恒定窗口，以迫使伴奏补偿时间t处的偏差，使得其在t+w处收敛。这引起在音乐位置输出上呈分段线性的连续曲线。
[0014]然而，此策略具有两个缺点：
[0015]‑
尽管位置连续，但仍存在速度不连续性。此类不连续性导致对音乐家的错误反馈，因为在音乐家速度不正确时，伴奏速度可能会改变，
[0016]‑
恒定开窗口与中间更新不一致。一个实例是在时间t处存在初始滞后，所述初始滞后将不会更改所预测音乐家时间图，从而导致持续滞后。
[0017]本公开旨在改进这种情形。
[0018]为此目的，提议用于使预录制音乐伴奏与用户音乐演奏同步的方法，
[0019]所述用户音乐演奏由至少一个麦克风捕获，所述至少一个麦克风递送输入声学信号以馈入处理单元，
[0020]所述处理单元包括用于存储预录制音乐伴奏的数据的存储器，且基于预录制音乐伴奏数据而提供输出声学信号以馈入至少一个扬声器，所述至少一个扬声器为所述用户播放音乐伴奏，
[0021]其中所述处理单元：
[0022]‑
分析输入声学信号以检测输入声学信号中的音乐事件且确定所述用户音乐演奏中的速度，
[0023]‑
将所检测音乐事件与预录制音乐伴奏数据进行比较以确定所检测音乐事件的时序与所播放音乐伴奏的音乐事件的时序之间的至少一个滞后diff，所述滞后diff将被补偿，
[0024]‑
基于以下而调适输出声学信号的时序：
[0025]*所述滞后diff，以及
[0026]*由下式给出的同步函数F：
[0027][0028]其中x是时间变量，$tempo是用户音乐演奏中的确定的速度，并且w是所述滞后diff的补偿的持续时间。
[0029]因此，“时间图”的概念可用于相较于预录制伴奏对从人类音乐家传入的音乐意图进行建模。时间图是将物理时间t映射到音乐时间p(以节拍为单位)的函数。
[0030]在非实时(或离线)设置中，并且在给定来自装置的速度估计正确的强假设的情况下，时间图位置p是从时间0到t的节拍乘以此速度的积。
[0031]然而，在音乐家不遵循乐谱中设置的速度时，需要在由补偿持续时间w定义的不久的未来调适伴奏的当前本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.用于使预录制音乐伴奏与用户音乐演奏同步的方法，所述用户音乐演奏由至少一个麦克风捕获，所述至少一个麦克风递送输入声学信号以馈入处理单元，所述处理单元包括用于存储所述预录制音乐伴奏的数据的存储器，且基于预录制音乐伴奏数据而提供输出声学信号以馈入至少一个扬声器，所述至少一个扬声器为所述用户播放音乐伴奏，其中所述处理单元：
‑
分析所述输入声学信号以检测所述输入声学信号中的音乐事件，以确定所述用户音乐演奏中的速度，
‑
将所检测音乐事件与所述预录制音乐伴奏数据进行比较以确定所述所检测音乐事件的时序与所播放音乐伴奏的音乐事件的时序之间的至少一个滞后diff，所述滞后diff将被补偿，
‑
基于以下而调适所述输出声学信号的时序：*所述滞后diff，以及*由下式给出的同步函数F：其中x是时间变量，$tempo是所述用户音乐演奏中的确定的速度，并且w是所述滞后diff的补偿的持续时间。2.根据权利要求1所述的方法，其特征在于，音乐伴奏数据定义乐谱，并且其中变量x是对应于所述乐谱的可变节拍数的持续时间的时间值。3.根据权利要求1和2中任一项所述的方法，其特征在于，w具有由音乐伴奏数据定义的乐谱上的至少一个节拍的持续时间。4.根据权利要求1、2和3中任一项所述的方法，其特征在于，选择所述持续时间w。5.根据前述权利要求中任一项所述的方法，其特征在于，伴奏数据定义乐谱，所述乐谱上音乐家演奏的位置pos由经定义为pos(x)＝$tempo*x的线性关系预告，其中x是在所述乐谱上计数的音乐节拍数，并且如果检测到滞后diff，则使用所述同步函数F(x)，以定义对应于所述滞后时间diff的节拍数x
diff
，使得：F(x
diff
)
...

【专利技术属性】
技术研发人员：乔斯，
申请(专利权)人：安泰斯科福公司，
类型：发明
国别省市：