唇动增强的单声道和多声道声源分离制造技术

提供了用于实现源分离技术的方法和系统，并且更具体地，对通过从捕获的图像数据输入唇动信息而增强的混合源单声道和多声道音频信号执行源分离，包括从关注时段内捕获的多个面部图像的中选择目标说话者面部图像；基于目标说话者面部图像的面部特征计算运动矢量；至少基于运动矢量，将与成分源相对应的音频与在关注时段内捕获的混合源音频信号相分离。可以从单声道或多声道音频捕获设备捕获混合的源音频信号。可以通过包括多个学习子模型的融合学习模型来执行音频与音频信号的分离。可以通过盲源分离(“BSS”)学习模型来执行音频与音频信号的分离。号的分离。号的分离。

【技术实现步骤摘要】
唇动增强的单声道和多声道声源分离


本专利技术涉及语音及图形处理
特别的，涉及一种唇动增强的单声道和多声道生源分离技术。

技术介绍

[0001]在数据处理中，源分离是一个广泛且开放的问题，其中信号从多个源被接收、观察或以其他方式输入；特别地，盲源分离(“BSS”)描述了事先不知道不同信号源的数量和性质的源分离场景。期望在没有关于信号源的信息的情况下将信号彼此分离。
[0002]取决于信号从哪里导出的设置，可以获取用于帮助确定信号源的信号源上下文。例如，在自动的公共自助服务亭机器上，特别是在公共交通摄入量高的位置，例如中转站、剧院、旅游景点、过境点等等，可以至少在忙时建立多个队列，以增加吞吐量并减少事务处理的等待时间，例如票证、文档验证等。为了进一步提高吞吐量并减少等待时间，可以在自助服务亭机器上部署语音识别技术，以使自助交易无需人工收银员参与，也无需用户手动操作物理接口即可执行，从而可提高自助交易的效率。
[0003]然而，在这些高公共交通设置中，由于需要管理公共空间，交易通常彼此紧邻地进行。因此，根据特定情况，在公共交通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：基于在关注时段内捕获的目标说话者面部图像的面部特征来计算运动矢量；和至少所述基于运动矢量，将与成分源相对应的音频与在关注时段内捕获的混合源单声道音频信号相分离；其中通过从包括多个学习子模型的融合学习模型执行音频与音频信号的分离。2.根据权利要求1所述的方法，其中计算所述运动矢量包括基于所述面部特征至少计算LLD矢量和光流矢量。3.根据权利要求1所述的方法，其中，在关注时段的每个时刻，基于在相应时刻目标说话者面部图像的宽度和高度，进一步归一化所述运动矢量。4.根据权利要求1所述的方法，其中所述融合学习模型包括至少一个具有接收音频特征作为输入的输入层的学习子模型，以及至少一个具有接收图像特征作为输入的输入层的学习子模型。5.根据权利要求4所述的方法，其进一步包括将由所述融合学习模型的至少一个学习子模型输出的音频特征与由所述融合学习模型的至少一个学习子模型输出的图像特征融合。6.根据权利要求5所述的方法，其中，所述融合学习模型还包括具有输入层的至少一个学习子模型，所述输入层接收包括融合音频特征和图像特征的矢量作为输入。7.根据权利要求6所述的方法，其中所述融合学习模型通过基于所述融合的音频特征和视频特征执行源分离来输出目标掩模和噪声掩模。8.一种系统，包括：一个或多个处理器；和通信地连接到所述一个或多个处理器的存储器，所述存储器存储可由所述一个或多个处理器执行的计算机可执行模块，所述计算机可执行模块在由所述一个或多个处理器执行时执行相关的操作，所述计算机可执行模块包括：面部特征提取模块，所述面部特征提取模块被配置为基于在关注时段内捕获的目标说话者面部图像的面部特征来计算运动矢量；和源分离模块，所述源分离模块被配置为至少基于所述运动矢量，将与成分源相对应的音频与在所述关注时段内捕获的混合源单声道音频信号相分离；其中，所述源分离模块被配置为通过包括多个学习子模型的融合学习模型将音频与音频信号分离。9.根据权利要求8所述的系统，其中所述面部特征提取模块被配置为基于所述面部特征通过至少计算LLD矢量和光流矢量来计算所述运动矢量。10.根据权利要求8所述的系统，其中，所述面部特征提取模块还被配置为：在关注时段的每个时刻，基于相应时刻所述目标说话者面部图像的宽度和高度，对所述运动矢量进行归一化...

【专利技术属性】
技术研发人员：李韵，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：