一种人机交互的声音分离的方法技术

本发明专利技术涉及一种人机交互的声音分离的方法，属于音频处理技术领域。该方法首先对待分离的音频进行初步分离，得到每个声音源的音频并划分为不发声区间和发声区间，将该声音源的区间分布图呈现用户，使得用户听音频并看到音频进度对应区间位置；若用户满意声音分离效果，则分离结束；若用户不满意分离结果，则用户可对发声区间和不发声区间进行修改，直至得到满意的分离结果；用户还可以对分离结果进行精细调整，删除声音源中包含其他声音源的声音。本发令用户分离声音无需相应的音乐知识，使得普通用户能够轻松分离视频或音频中不同来源的声音。

【技术实现步骤摘要】
一种人机交互的声音分离的方法
本专利技术涉及一种人机交互的声音分离的方法，属于音频处理

技术介绍
随着网络的发展，越来越多的视频、音频进入大众的生活，同时，对视频、音频的处理的需求也日益增加，越来越多的音、视频被进行处理后进一步用于人们的生活、工作和学习等。在一段视频或音频中，经常会出现多种声音。有时这些声音会互相重叠，比如人说话的同时电话铃响了，分离这些声音是一个巨大的挑战，然而有时我们需要这样的声音分离。目前商业音、视频软件虽然对音、视频有多种处理支持，但是在对单声道声音的分离方面，几乎只能够支持简单的降噪和分割。已有技术中，文献[ISSE:AnInteractiveSourceSeparationEditor,NicholasJ.Bryan,GauthamJ.Mysore,GeWang]使用概率潜在成分分析方法，并令用户涂抹声音频谱图上的频谱归属于哪一个声音来分离声音，较好的提高了声音的分离效果。但是该方法需要用户具有较强的音频相关知识，并且该过程需要耗费大量时间。文献[ANINTERACTIVEAUDIOSOURCESEPARATIONFRAMEWORKBASEDONON-NEGATIVEMATRIXFACTORIZATION,NgocQ.K.Duong,AlexeyOzerov,LouisChevallier,andJo¨elSirot]基于非负矩阵分解的方法，将声音分离分为两步，第一步用户标记出所要分离的声音源发声与不发声的时间段，然后系统进行分离；第二步，根据第一步的结果，用户对声音频谱图进行标记，标记某一特定时间的频率对特定的声音源是活跃、非活跃还是良好分离了的，直到用户得到满意的分离效果。这种方法通过两次标记能够较好分离声音，并且一定程度上减轻了用户的工作量，但是，该方法的第二步还是需要用户具有一定的音频处理专业知识，限制了大众用户的使用。
技术实现思路
本专利技术的目的是为克服已有技术的不足之处，提出一种人机交互的声音分离的方法。本专利技术可将视频或音频中的声音分成不同的声音源，令普通用户能够轻松分离视频、音频中不同来源的声音。本专利技术提出一种人机交互的声音分离的方法，其特征在于，包括以下步骤：(1)初步分离声音，具体步骤如下：(1-1)设待分离音频为x，对x进行短时傅里叶变换，得到该音频的短时傅里叶变换谱X；(1-2)根据步骤(1-1)的X，令V＝|X|2，得到X的能量矩阵，V为M×N的非负矩阵，N为短时傅里叶变换后的时间维度，M为短时傅里叶变换后的频率维度；(1-3)设非负矩阵V≈WH，其中W为M×r的非负矩阵，H为r×N的非负矩阵；r为特征频谱的个数，r＝d×k，d为用户指定要分离出的声音源个数，k为每种声音的特征频谱个数，令k＝1，利用非负矩阵分解法，分别得到非负矩阵W和非负矩阵H；具体步骤如下：(1-3-1)初始化非负矩阵W为一个M×r的随机矩阵，每个元素值取为0到1之间的随机数，初始化非负矩阵H为r×N的随机矩阵，每个元素值取为0到1之间的随机数；(1-3-2)按照如下迭代规则分别对W、H进行更新：其中，WT，HT分别为W，H的转置，⊙为哈达玛积；(1-3-3)重复步骤(1-3-2)，迭代1000次，迭代完毕后得到最终的非负矩阵W和非负矩阵H；其中，W的每一列分别为不同声音源的特征频谱H的每一行为对应声音源的激发矩阵；(1-4)按照以下方式分别得到各个声音源音频：(1-4-1)计算Vi＝WiHi，其中i＝1,2…d；Wi为第i个声音源对应的特征频谱，Hi为第i个声音源对应的激发矩阵，则Vi为第i个声音源的短时傅里叶变换能量谱；(1-4-2)令得到每个声音源的短时傅里叶变换谱(1-4-3)利用短时傅里叶变换逆变换，得到各个声音源音频xi；(1-5)对每个声音源，将xi中数值小于0.01的部分记为不发声区间，其他区域记为发声区间，并将该声音源的区间分布图呈现用户，使得用户听音频并看到音频进度对应区间位置；若用户满意声音分离效果，则分离结束；(2)若用户不满意分离效果，进行分离调整；具体步骤如下：(2-1)用户对声音源的发声区间和不发声区间进行修改，调整每种声音的特征频谱个数k，k的取值范围在1到min(M,N)；(2-2)用户更新分离结果，具体步骤如下：(2-2-1)定义一个与Hi大小相同的矩阵Hmask，Hmask中令标记后发声的区域对应数值为1，不发声的区域数值为0，同时在发声和不发声区域的交界处的若干列赋值为0.1且列的数量不超过连续同数值区域的横坐标长度的10％；将步骤(1)得到的Hi与Hmask相乘，得到更新后的Hi；(2-2-2)将更新后的Hi按照原顺序组合成为新的H，将新得到的H和步骤(1)得到的W分别作为初始H和W，重复步骤(1-3-2)至(1-3-3)，得到新的非负矩阵W和非负矩阵H；(2-3)重复步骤(1-4)至(1-5)，得到新的分离结果，分离结束。(2-4)若用户不满意分离效果，则重新进行步骤(2)或进行步骤(3)，直到得到满意的分离效果，分离结束；(3)用户对步骤(2)得到的分离结果进行精细调整，删除声音源中还包含其他声音源的声音；具体步骤如下：(3-1)用户选择需要精细分离的声音源；(3-2)播放步骤(3-1)的声音源的音频，令用户选择其中包含其他声音源声音的时间段；(3-3)系统给出两个声音选项，用户选择两个声音选项中包含其他声音源声音的选项；两个声音选项的获得步骤如下：(3-3-1)将步骤(3-1)选择的声音源的Xi取出，复制并命名为B，设B纵坐标最小值为a，最大值为b，中间值为m；(3-3-2)将B分成两个矩阵B1、B2，其中B1是将B矩阵的a到m部分全部设置为0，B2是将B矩阵的m到b部分全部设置为0；(3-3-3)将B1和B2分别进行短时傅里叶变换逆变换，分别得到高频段声音和低频段声音，限制声音播放区间在选定时间段内，即为第一次声音选择时的两个声音选项；(3-3-4)当用户选择包含其他声音源声音的选项后，令被选择的矩阵为新的B；若选择的是B1对应的声音，则更新a＝m,若选择的是B2对应的声音，则更新b＝m,(3-4)重复(3-3-2)和(3-3-3),直到用户听到声音中只包含其他声音源声音，删除此段声音；(3-5)记录删除段对应的横坐标范围和纵坐标范围，整个区域简记为p；(3-6)重复(3-1)至(3-5)，直到没有其他声音源声音出现；(3-7)系统对原音频x再次进行处理，定义d个大小为M×N的全0矩阵P1,P2…Pd，令对应声音源i的记录p中的区域在Pi的值为1；(3-8)定义d个大小为M×N的全为t矩阵Λ1,Λ2…Λd；(3-9)令HM1i等于Hi中所有元素向右移一位，并令第一列元素全为0；令HP1i等于Hi中所有元素向左移一位，并令最后一列元素全为0；令T1为Hi的横坐标大小；(3-10)计算(3-11)令CPi和CMi中横坐标不在p范围内的数值置为0；(3-12)利用步骤(2)得到的W、H、Wi和Hi作为初始化W、H、Wi和Hi；(3-13)按照如下迭代规则分别对Wi和Hi进行更新，得到更新后的非负矩阵Wi和Hi：其中，WiT，HiT分别为Wi，Hi的转置；(3-14)重复步骤(1-4)至(1-5)，得到新的分离结果，分离本文档来自技高网...

【技术保护点】
1.一种人机交互的声音分离的方法，其特征在于，包括以下步骤：(1)初步分离声音，具体步骤如下：(1‑1)设待分离音频为x，对x进行短时傅里叶变换，得到该音频的短时傅里叶变换谱X；(1‑2)根据步骤(1‑1)的X，令V＝|X|2，得到X的能量矩阵，V为M×N的非负矩阵，N为短时傅里叶变换后的时间维度，M为短时傅里叶变换后的频率维度；(1‑3)设非负矩阵V≈WH，其中W为M×r的非负矩阵，H为r×N的非负矩阵；r为特征频谱的个数，r＝d×k，d为用户指定要分离出的声音源个数，k为每种声音的特征频谱个数，令k＝1，利用非负矩阵分解法，分别得到非负矩阵W和非负矩阵H；具体步骤如下：(1‑3‑1)初始化非负矩阵W为一个M×r的随机矩阵，每个元素值取为0到1之间的随机数，初始化非负矩阵H为r×N的随机矩阵，每个元素值取为0到1之间的随机数；(1‑3‑2)按照如下迭代规则分别对W、H进行更新：

【技术特征摘要】
1.一种人机交互的声音分离的方法，其特征在于，包括以下步骤：(1)初步分离声音，具体步骤如下：(1-1)设待分离音频为x，对x进行短时傅里叶变换，得到该音频的短时傅里叶变换谱X；(1-2)根据步骤(1-1)的X，令V＝|X|2，得到X的能量矩阵，V为M×N的非负矩阵，N为短时傅里叶变换后的时间维度，M为短时傅里叶变换后的频率维度；(1-3)设非负矩阵V≈WH，其中W为M×r的非负矩阵，H为r×N的非负矩阵；r为特征频谱的个数，r＝d×k，d为用户指定要分离出的声音源个数，k为每种声音的特征频谱个数，令k＝1，利用非负矩阵分解法，分别得到非负矩阵W和非负矩阵H；具体步骤如下：(1-3-1)初始化非负矩阵W为一个M×r的随机矩阵，每个元素值取为0到1之间的随机数，初始化非负矩阵H为r×N的随机矩阵，每个元素值取为0到1之间的随机数；(1-3-2)按照如下迭代规则分别对W、H进行更新：其中，WT，HT分别为W，H的转置，⊙为哈达玛积；(1-3-3)重复步骤(1-3-2)，迭代1000次，迭代完毕后得到最终的非负矩阵W和非负矩阵H；其中，W的每一列分别为不同声音源的特征频谱H的每一行为对应声音源的激发矩阵；(1-4)按照以下方式分别得到各个声音源音频：(1-4-1)计算Vi＝WiHi，其中i＝1,2…d；Wi为第i个声音源对应的特征频谱，Hi为第i个声音源对应的激发矩阵，则Vi为第i个声音源的短时傅里叶变换能量谱；(1-4-2)令得到每个声音源的短时傅里叶变换谱(1-4-3)利用短时傅里叶变换逆变换，得到各个声音源音频xi；(1-5)对每个声音源，将xi中数值小于0.01的部分记为不发声区间，其他区域记为发声区间，并将该声音源的区间分布图呈现用户，使得用户听音频并看到音频进度对应区间位置；若用户满意声音分离效果，则分离结束；(2)若用户不满意分离效果，进行分离调整；具体步骤如下：(2-1)用户对声音源的发声区间和不发声区间进行修改，调整每种声音的特征频谱个数k，k的取值范围在1到min(M,N)；(2-2)用户更新分离结果，具体步骤如下：(2-2-1)定义一个与Hi大小相同的矩阵Hmask，Hmask中令标记后发声的区域对应数值为1，不发声的区域数值为0，同时在发声和不发声区域的交界处的若干列赋值为0.1且列的数量不超过连续同数值区域的横坐标长度的10％；将步骤(1)得到的Hi与Hmask相乘，得到更新后的Hi；(2-2-2)将更新后的Hi按照原顺序组合成为新的H，将新得到的H和步骤(1)得到的W分别作为初始H和W，重复步骤(1-3-2)至(1-3-3)，得到新的非负矩阵W和非负...

【专利技术属性】
技术研发人员：刘华平，周峻峰，孙富春，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11