本公开实施例公开了一种语音信号处理方法、装置、可读存储介质及电子设备，其中，该方法包括：获取目标空间内的语音信号和图像序列；基于语音信号，通过第一语音处理方式，从语音信号中提取第一语音片段信号；基于语音信号和图像序列，通过第二语音处理方式，从语音信号中提取第二语音片段信号；确定当前的语音信号处理状态是否符合语音信号输出条件；若符合语音信号输出条件，确定图像序列的图像质量信息；基于图像序列的图像质量信息，从第一语音片段信号和第二语音片段信号中确定目标语音片段信号，并输出目标语音片段信号。本公开实施例根据图像质量有针对性地选择输出的语音片段信号的来源，进而有助于提高语音识别的准确性。确性。确性。
【技术实现步骤摘要】
语音信号处理方法、装置、可读存储介质及电子设备
[0001]本公开涉及计算机
，尤其是一种语音信号处理方法、装置、计算机可读存储介质及电子设备。
技术介绍
[0002]传统的语音识别技术仅对语音信号进行处理以得到识别结果，这种语音识别方法在语音清晰的环境下识别效果较好。然而，在一些高噪声等复杂环境下，传统的语音识别技术的识别率会迅速下降。为了提高语音识别率，目前存在借助唇部动作视频协助进行语音识别的多模态语音识别方法，在一定程度上提高了高噪声场景下语音的识别率。
[0003]但是，在实时语音交互系统中，在用户的脸部被遮挡、脸部图像不清晰等情况下，基于图像识别得到的视觉特征成为无效的干扰输入，多模态语音识别方法的性能会出现显著下降，因此在视觉特征无效的情况下，如何将无效特征去除，只对有效的语音信号进行识别是需要解决的问题。
技术实现思路
[0004]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种语音信号处理方法、装置、计算机可读存储介质及电子设备。
[0005]本公开的实施例提供了一种语音信号处理方法，该方法包括：获取目标空间内的语音信号和图像序列；基于语音信号，通过第一语音处理方式，从语音信号中提取第一语音片段信号；基于语音信号和图像序列，通过第二语音处理方式，从语音信号中提取第二语音片段信号；确定当前的语音信号处理状态是否符合语音信号输出条件；响应于语音信号处理状态符合语音信号输出条件，确定图像序列的图像质量信息；基于图像序列的图像质量信息，从第一语音片段信号和第二语音片段信号中确定目标语音片段信号，并输出目标语音片段信号。
[0006]根据本公开实施例的另一个方面，提供了一种语音信号处理装置，该装置包括：获取模块，用于获取目标空间内的语音信号和图像序列；第一提取模块，用于基于语音信号，通过第一语音处理方式，从语音信号中提取第一语音片段信号；第二提取模块，用于基于语音信号和图像序列，通过第二语音处理方式，从语音信号中提取第二语音片段信号；第一确定模块，用于确定当前的语音信号处理状态是否符合语音信号输出条件；第二确定模块，用于响应于语音信号处理状态符合语音信号输出条件，确定图像序列的图像质量信息；输出模块，用于基于图像序列的图像质量信息，从第一语音片段信号和第二语音片段信号中确定目标语音片段信号，并输出目标语音片段信号。
[0007]根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述语音信号处理方法。
[0008]根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指
令以实现上述语音信号处理方法。
[0009]基于本公开上述实施例提供的语音信号处理方法、装置、计算机可读存储介质及电子设备，基于语音信号，通过第一语音处理方式，从语音信号中提取第一语音片段信号，基于语音信号和图像序列，通过第二语音处理方式，从语音信号中提取第二语音片段信号，然后响应于当前的语音信号处理状态符合语音信号输出条件，确定图像序列的图像质量信息，最后基于图像序列的图像质量信息，从第一语音片段信号和第二语音片段信号中确定目标语音片段信号，并输出目标语音片段信号。本公开的实施例实现了根据拍摄的图像序列的图像质量，自动选择单模语音处理方式提取的第一语音片段信号或多模语音处理方式提取的第二语音片段信号作为语音识别所需的目标语音片段信号，从而在对输出的目标语音片段信号进行识别时，根据图像质量有针对性地选择输出的语音片段信号的来源，进而有助于提高语音识别的准确性。
[0010]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0011]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0012]图1是本公开所适用的系统图。
[0013]图2是本公开一示例性实施例提供的语音信号处理方法的流程示意图。
[0014]图3是本公开另一示例性实施例提供的语音信号处理方法的流程示意图。
[0015]图4是本公开另一示例性实施例提供的语音信号处理方法的流程示意图。
[0016]图5是本公开另一示例性实施例提供的语音信号处理方法的流程示意图。
[0017]图6是本公开另一示例性实施例提供的语音信号处理方法的流程示意图。
[0018]图7是本公开一示例性实施例提供的语音信号处理装置的结构示意图。
[0019]图8是本公开另一示例性实施例提供的语音信号处理装置的结构示意图。
[0020]图9是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
[0021]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0022]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0023]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0024]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0025]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0026]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0027]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
[0028]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0029]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
[0030]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0031]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种语音信号处理方法，包括：获取目标空间内的语音信号和图像序列；基于所述语音信号，通过第一语音处理方式，从所述语音信号中提取第一语音片段信号；基于所述语音信号和所述图像序列，通过第二语音处理方式，从所述语音信号中提取第二语音片段信号；确定当前的语音信号处理状态是否符合语音信号输出条件；响应于所述语音信号处理状态符合所述语音信号输出条件，确定所述图像序列的图像质量信息；基于所述图像序列的图像质量信息，从所述第一语音片段信号和所述第二语音片段信号中确定目标语音片段信号，并输出所述目标语音片段信号。2.根据权利要求1所述的方法，其中，所述基于所述语音信号和所述图像序列，通过第二语音处理方式，从所述语音信号中提取第二语音片段信号，包括：基于预设的音频特征提取网络，确定所述语音信号的音频特征数据；基于预设的图像序列特征提取网络，确定所述图像序列的图像序列特征数据；将所述音频特征数据和所述图像序列特征数据合并，并将合并后的数据输入预先训练的特征融合网络，得到掩码数据；基于所述掩码数据，从所述语音信号中提取所述第二语音片段信号。3.根据权利要求1所述的方法，其中，所述确定当前的语音信号处理状态是否符合语音信号输出条件，包括：确定当前是否存在按照当前的输出通道对应的语音处理方式正在处理的语音片段信号；响应于当前不存在按照当前的输出通道对应的语音处理方式正在处理的语音片段信号，确定当前的语音信号处理状态符合语音信号输出条件。4.根据权利要求1所述的方法，其中，所述确定所述图像序列的图像质量信息，包括：对于所述图像序列中的每帧图像，确定该图像中是否包含用户的目标部位；响应于该图像不包含所述目标部位，生成表示该图像的图像质量不合格的第一图像质量信息；响应于该图像包含所述目标部位，确定所述目标部位的可识别度；响应于确定所述可识别度符合可识别条件，生成表示该图像的图像质量合格的第二图像质量信息；响应于确定所述可识别度不符合所述可识别条件，生成表示该图像的图像质量不合格的第一图像质量信息；基于得到的第一图像质量信息的数量和第二图像质量信息的数量，确定所述图像序列的图像质量信息。5.根据权利要求4所述的方法，其中，所述确定所述目标部位的可识别度，包括：从该图像中确定包含所述目标部位的目标区域；...
【专利技术属性】
技术研发人员：李文鹏，潘复平，朱长宝，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。