混合语音分离方法及装置制造方法及图纸

本发明专利技术提供了一种混合语音分离方法及装置，该方法包括：通过近端录音设备和远端录音设备分别采集近音轨和远音轨，其中，所述近音轨为包括第一语音和环境噪音的第一混合语音，所述远音轨为包括所述第一语音、第二语音和环境噪音的第二混合语音；对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件；根据所述第一标记文件对所述远音轨中的混合语音进行分离。在本发明专利技术中，通过标记第一语音的开始和结束时间，从而从混合语音中识别第一语音，以分离出第一语音和第二语音，从而提高了在复杂背景音场景下的语音分离效果。

Method and device of mixed speech separation

【技术实现步骤摘要】
混合语音分离方法及装置
本专利技术涉及语音处理和识别领域，具体而言，涉及一种混合语音分离方法及装置。
技术介绍
当前，市面上需要进行语音分离的录音器多用在安静环境，例如汽车内，或者用在背景音规律环境，例如看电视。分离方式多为二维水平摆放或者一维水平摆放，例如，使用2个～6个MIC通过声音的传播速度判断声音的方向与类型(人声、噪音)从而分离出不同方向人的声音(音轨)。但是，按以上分离方式，在某些复杂环境下，例如，在服务场所中，背景音会变化的场景将导致无法正确的分离出人声(掺杂噪音和环境音)。
技术实现思路
本专利技术实施例提供了一种混合语音分离方法及装置，以至少解决相关技术中在背景音会变化的场景下语音分离效果不理想的问题。根据本专利技术的一个实施例，提供了一种混合语音分离方法，包括：通过近端录音设备和远端录音设备分别采集近音轨和远音轨，其中，所述近音轨为包括第一语音和环境噪音的第一混合语音，所述远音轨为包括所述第一语音、第二语音和环境噪音的第二混合语音；对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件；根据所述第一标记文件对所述远音轨中的混合语音进行分离。可选地，对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件之前，还包括：通过降噪处理以及基于空间信息对所述近音轨中的第一语音进行增强处理得到所述第一语音。可选地，对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件之前，还包括：对所述第一语音进行语音信号处理以判断出所述第一语音的每段录音的开始时间点和结束时间点。可选地，根据所述第一标记文件对所述远音轨中的第二混合语音进行分离包括：将所述混合语音中与所述第一标记文件中的时间标记相同的语音识别为第一语音，以从所述第二混合语音中切分出所述第一语音和第二语音。根据本专利技术的另一个实施例，提供了一种混合语音分离装置，包括：近端录音模块，用于采集近音轨，其中，所述近音轨为包括第一语音和环境噪音的第一混合语音；远端录音模块，用于采集远音轨，其中，所述远音轨为包括所述第一语音、第二语音和环境噪音的第二混合语音；标注模块，用于对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件；分离模块，用于根据所述第一标记文件对所述远音轨中的混合语音进行分离。可选地，所述装置还包括：预处理模块，用于通过降噪处理以及基于空间信息对所述近音轨中的第一语音进行增强处理得到所述第一语音。可选地，所述装置还包括：判断模块，用于对所述第一语音进行语音信号处理以判断出所述第一语音的每段录音的开始时间点和结束时间点。可选地，所述分离模块包括：识别单元，用于将所述第二混合语音中与所述第一标记文件中的时间标记相同的语音识别为第一语音；切分单元，用于从所述第二混合语音中切分出所述第一语音和第二语音。根据本专利技术的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。在本专利技术的上述实施例中，通过标记第一语音的开始和结束时间，从而从混合语音中识别第一语音，以分离出第一和第二语音，从而提高了在复杂背景音场景下的语音分离效果。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的混合语音分离方法的流程图；图2是根据本专利技术实施例的服务场景下的语音分离方法的流程图；图3是根据本专利技术实施例的混合语音分离装置的结构框图；图4是根据本专利技术可选实施例的混合语音分离装置的结构示意图。具体实施方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。在本实施例中提供了一种混合语音分离方法，图1是根据本专利技术实施例的方法流程图，如图1所示，该流程包括如下步骤：步骤S102，通过近端录音设备和远端录音设备分别采集近音轨和远音轨，其中，所述近音轨为包括第一语音和环境噪音的第一混合语音，所述远音轨为包括所述第一语音、第二语音和环境噪音的第二混合语音；步骤S104，对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件；步骤S106，根据所述第一标记文件对所述远音轨中的混合语音进行分离。在本实施例的步骤S104之前，还可以包括：通过降噪处理以及基于空间信息对所述近音轨中的第一语音进行增强处理得到所述第一语音。基于空间信息对所述近音轨中的第一语音进行增强处理，具体地，可以是将近端录音设备设置为定向拾音设备，该定向拾音设备将第一语音的声源方位作为预设的拾音方位；对来源于预设的拾音方位的音频数据进行增强处理，即可得到清晰的第一语音。在本实施例中，在对远音轨中的混合语音进行分离之前，还通过降噪处理以及基于空间信息对所述远音轨中非环境噪音的语音(未分离的第一语音和第二语音)进行增强处理；处理方式可以与近音轨的处理方式相同。在本实施例中，对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件之前，还可以包括：对所述第一语音进行语音信号处理以判断出所述第一语音的每段录音的开始时间点和结束时间点。在本实施例中，对所述第一语音进行语音信号处理，具体可以是对第一语音进行语音端点检测；第一语音可能是若干个非连续的语音片段，通过语音端点检测可以标注出每个语音片段的起始端点和结束端点，对应地，即可确定第一语音中每个语音片段的开始时间点和结束时间点。此外，还对远音轨中非环境噪音的语音(未分离的第一语音和第二语音)进行语音端点检测，标注远音轨中非环境噪音的语音(未分离的第一语音和第二语音)中的每个语音片段的开始时间点和结束时间点。在实施例的步骤S106中，将所述混合语音中与所述第一标记文件中的时间标记相同的语音识别为第一语音，以从所述第二混合语音中切分出所述第一语音和第二语音。根据第一语音中每个语音片段的开始时间点和结束时间点，以及远音轨中非环境噪音的语音(未分离的第一语音和第二语音)中的每个语音片段的开始时间点和结束时间点；可以确定远音轨中非环境噪音的语音中的哪些语音片段为第一语音，区分出第一语音后，则剩下的语音片段为第二语音。为了便于对本专利技术所提供的技术方案的理解，下面将结合具体场景的实施例进行描述。本实施例提供了一种混合语音分离方法。该方法可以应本文档来自技高网...

【技术保护点】
1.一种混合语音分离方法，其特征在于，包括：/n通过近端录音设备和远端录音设备分别采集近音轨和远音轨，其中，所述近音轨为包括第一语音和环境噪音的第一混合语音，所述远音轨为包括所述第一语音、第二语音和环境噪音的第二混合语音；/n对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件；/n根据所述第一标记文件对所述远音轨中的混合语音进行分离。/n

【技术特征摘要】
1.一种混合语音分离方法，其特征在于，包括：
通过近端录音设备和远端录音设备分别采集近音轨和远音轨，其中，所述近音轨为包括第一语音和环境噪音的第一混合语音，所述远音轨为包括所述第一语音、第二语音和环境噪音的第二混合语音；
对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件；
根据所述第一标记文件对所述远音轨中的混合语音进行分离。


2.根据权利要求1所述的方法，其特征在于，对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件之前，还包括：
通过降噪处理以及基于空间信息对所述近音轨中的第一语音进行增强处理得到所述第一语音。


3.根据权利要求2所述的方法，其特征在于，对所述近音轨中的第一语音的每段录音的开始时间和结束时间进行标注得到第一标记文件之前，还包括：
对所述第一语音进行语音信号处理以判断出所述第一语音的每段录音的开始时间点和结束时间点。


4.根据权利要求3所述的方法，其特征在于，根据所述第一标记文件对所述远音轨中的第二混合语音进行分离包括：
将所述第二混合语音中与所述第一标记文件中的时间标记相同的语音识别为第一语音，从所述第二混合语音中切分出所述第一语音和第二语音。


5.一种混合语音分离装置，其特征在于，包括：
近端录音模块，用于采集近音轨，其中，所述近音轨为包括第一语音和环境...

【专利技术属性】
技术研发人员：李健，徐浩，梁志婷，
申请(专利权)人：秒针信息技术有限公司，
类型：发明
国别省市：北京;11