本公开实施例公开了一种语音信号的提取方法、装置、计算机可读存储介质及电子设备，其中，该方法包括：获取在目标区域内采集的多通道混合音频信号和图像序列；确定目标区域内的目标用户；基于图像序列，确定目标用户的唇部区域图像序列；基于唇部区域图像序列，确定唇部状态特征数据，以及确定目标用户的唇部与麦克风阵列的空间位置特征数据；基于多通道混合音频信号，确定音频特征数据；基于唇部状态特征数据、音频特征数据和空间位置特征数据，从多通道混合音频信号中提取目标用户的语音信号。本公开实施例实现了将多通道混合音频信号和空间位置特征数据结合进行多模态语音分离提高了语音信号提取的稳定性和准确性。提高了语音信号提取的稳定性和准确性。提高了语音信号提取的稳定性和准确性。
【技术实现步骤摘要】
语音信号的提取方法、装置、可读存储介质及电子设备
[0001]本公开涉及计算机
，尤其是一种语音信号的提取方法、装置、计算机可读存储介质及电子设备。
技术介绍
[0002]随着人机交互方式的不断发展，人机交互的高效性、准确性、便捷性是相关领域研究的目标。多模态语音分离作为人机交互的一种方式，目前得到广泛的研究和应用。多模态语音分离是指将音频和图像相结合，使用神经网络等手段对听觉和视觉信号进行多模态融合来解决声源分离问题。这种方法通过对模型进行训练，使模型同时学习音频和图像的特征，通过图像作为辅助，更好地学习到音频中不同说话人的声音信息。
[0003]目前的多模态语音分离方法，通常对说话人的唇部图像的质量要求较高，在出现唇部遮挡或唇部图像不清晰时，对语音分离的效果影响较大。
技术实现思路
[0004]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种语音信号的提取方法、装置、计算机可读存储介质及电子设备。
[0005]本公开的实施例提供了一种语音信号的提取方法，该方法包括：获取在目标区域内采集的多通道混合音频信号和图像序列；确定目标区域内的目标用户；基于图像序列，确定目标用户的唇部区域图像序列；基于唇部区域图像序列，确定唇部状态特征数据；基于多通道混合音频信号，确定音频特征数据；基于唇部区域图像序列，确定目标用户的唇部与麦克风阵列的空间位置特征数据；基于唇部状态特征数据、音频特征数据和空间位置特征数据，从多通道混合音频信号中提取目标用户的语音信号。
[0006]根据本公开实施例的另一个方面，提供了一种语音信号的提取装置，该装置包括：获取模块，用于获取在目标区域内采集的多通道混合音频信号和图像序列；第一确定模块，用于确定目标区域内的目标用户；第二确定模块，用于基于图像序列，确定目标用户的唇部区域图像序列；第三确定模块，用于基于唇部区域图像序列，确定唇部状态特征数据；第四确定模块，用于基于多通道混合音频信号，确定音频特征数据；第五确定模块，用于基于唇部区域图像序列，确定目标用户的唇部与麦克风阵列的空间位置特征数据；提取模块，用于基于唇部状态特征数据、音频特征数据和空间位置特征数据，从多通道混合音频信号中提取目标用户的语音信号。
[0007]根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于被处理器执行以实现执行上述语音信号的提取方法。
[0008]根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述语音信号的提取方法。
[0009]基于本公开上述实施例提供的语音信号的提取方法、装置、计算机可读存储介质及电子设备，通过获取在目标区域内采集的多通道混合音频信号和图像序列，然后基于唇部区域图像序列，确定唇部状态特征数据，基于唇部区域图像序列，确定唇部状态特征数据和目标用户的唇部与麦克风阵列的空间位置特征数据，以及基于多通道混合音频信号，确定音频特征数据，最后基于唇部状态特征数据、音频特征数据和空间位置特征数据，从多通道混合音频信号中提取目标用户的语音信号。本公开实施例实现了将多通道混合音频信号和空间位置特征数据结合进行多模态语音分离，有效利用了唇部的空间位置和多个麦克风的位置之间的位置关系作为语音分离的辅助信息，更有针对性地对目标用户的唇部位置进行跟踪，提高了语音信号提取的准确性。在出现唇部遮挡或唇部图像质量较差的场景下，可以有效利用唇部和麦克风阵列的位置关系，降低图像质量变差造成的影响，进而提高了语音信号提取的稳定性。
[0010]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0011]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0012]图1是本公开所适用的系统图。
[0013]图2是本公开一示例性实施例提供的语音信号的提取方法的流程示意图。
[0014]图3是本公开一示例性实施例提供的语音信号的提取方法的流程示意图。
[0015]图4是本公开一示例性实施例提供的语音信号的提取方法的流程示意图。
[0016]图5是本公开一示例性实施例提供的唇部位置所在的目标直线与所述麦克风阵列的基准线之间的角度的示意图。
[0017]图6是本公开一示例性实施例提供的语音信号的提取方法的流程示意图。
[0018]图7是本公开一示例性实施例提供的语音信号的提取方法的流程示意图。
[0019]图8是本公开一示例性实施例提供的语音信号的提取方法的流程示意图。
[0020]图9是本公开一示例性实施例提供的一个生成融合特征数据的示例性示意图。
[0021]图10是本公开一示例性实施例提供的语音信号的提取装置的结构示意图。
[0022]图11是本公开另一示例性实施例提供的语音信号的提取装置的结构示意图。
[0023]图12是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
[0024]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0025]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0026]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别
不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0027]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0028]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0029]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0030]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
[0031]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0032]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种语音信号的提取方法，包括：获取在目标区域内采集的多通道混合音频信号和图像序列；确定所述目标区域内的目标用户；基于所述图像序列，确定所述目标用户的唇部区域图像序列；基于所述唇部区域图像序列，确定唇部状态特征数据；基于所述多通道混合音频信号，确定音频特征数据；基于所述唇部区域图像序列，确定所述目标用户的唇部与麦克风阵列的空间位置特征数据；基于所述唇部状态特征数据、所述音频特征数据和所述空间位置特征数据，从所述多通道混合音频信号中提取所述目标用户的语音信号。2.根据权利要求1所述的方法，其中，所述基于所述唇部区域图像序列，确定所述目标用户的唇部与麦克风阵列的空间位置特征数据，包括：基于所述唇部区域图像序列和用于采集所述图像序列的相机的预设参数，确定表示所述目标用户的唇部的空间位置的唇部位置信息；基于所述唇部位置信息和所述麦克风阵列的预设位置信息，确定所述目标用户的唇部位置所在的目标直线与所述麦克风阵列的基准线之间的角度；基于所述角度，确定所述目标用户的唇部位置与所述麦克风阵列之间的角度特征数据；基于所述角度特征数据，确定所述空间位置特征数据。3.根据权利要求2所述的方法，其中，还包括：确定表示所述多通道混合音频信号之间的相位差特征数据；所述基于所述角度，确定所述目标用户的唇部位置与所述麦克风阵列之间的角度特征数据，包括：基于所述角度和所述相位差特征数据，确定所述角度特征数据。4.根据权利要求3所述的方法，其中，所述基于所述角度特征数据，确定所述空间位置特征数据，包括：基于所述角度特征数据和所述相位差特征数据，确定所述空间位置特征数据。5.根据权利要求1所述的方法，其中，所述基于所述唇部状态特征数据、所述音频特征数据和所述空间位置特征数据，从所述多通道混合音频信号中提取所述目标用户的语音信号，包括：利用预先训练的神经网络模型的融合网络，对所述唇部状态特征数据、所述音频特征数据和所述空间位置特征数据进行融合，得到融合特征数据；利用所述神经网络模型的解码网络，对所述融合特征数据进行解码，得到掩码数据；基于所述掩码数据，从所述多通道混合音频信号中提取所述目标用户的语音信号。6.根据权利要求5所述的方法，其中，所述基于所述掩码数据，从所...
【专利技术属性】
技术研发人员：宫一尘，李文鹏，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。