语音识别方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，揭露了一种语音识别方法，所述方法包括：获取待处理语音数据流，所述待处理语音数据流包含多个语音单元数据；通过集成神经网络依次将多个所述语音单元数据进行编码，并在得到任意一所述语音单元数据的编码数据之后，实时将所述编码数据输入至与所述集成神经网络分开部署的解码器进行解码，以得到多个所述语音单元数据的语音识别结果。此外，本申请还涉及一种语音识别装置、电子设备及存储介质。本申请可以提高语音识别的速度。

【技术实现步骤摘要】
语音识别方法、装置、电子设备及存储介质
本申请涉及人工智能
，尤其涉及一种语音识别方法、装置、电子设备及存储介质。
技术介绍
随着互联网的普及，在客户端和服务器端产生的数据越来越多，这些数据包括文本类型的数据和非文本类型的数据，如语音数据。实际应用中常需要对这些非文本类型的数据进行识别，例如，语音识别。通过语音识别可以将语音中的信息转换为文本信息，进而进行自然语言处理或者是人机交互等操作。当需要识别的语音数据比较多时，若无法快速获取到语音识别结果，将影响语音识别的后续操作，如影响自然语音处理的结果（如无法快速识别用户意图）或者影响人机交互的效率（如无法快速根据用户发出的语音信息执行相应控制操作）。因此，亟需一种提高语音识别的速度的技术方案。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种语音识别方法、装置、电子设备及存储介质。第一方面，本申请提供了一种语音识别方法，所述方法包括：获取待处理语音数据流，所述待处理语音数据流包含多个语音单元数据；通过集成神经网络依次将多个所述语音单元数据进行编码，并在得到任意一所述语音单元数据的编码数据之后，实时将所述编码数据输入至与所述集成神经网络分开部署的解码器进行解码，以得到多个所述语音单元数据的语音识别结果。可选地，所述通过集成神经网络依次将多个所述语音单元数据进行编码，包括：提取多个所述语音单元数据的语音标识信息和位置信息；将所述语音标识信息和所述位置信息进行组合，得到多个所述语音单元数据的语音单元特征；通过集成神经网络依次将多个所述语音单元特征进行编码。可选地，所述通过集成神经网络依次将多个所述语音单元特征进行编码，包括：将第i个所述语音单元特征输入至所述集成神经网络进行编码，其中i的初始值为1，i为正整数；当得到所述集成神经网络输出的第i个所述语音单元特征的编码数据时，令i=i+1，再次执行所述将第i个所述语音单元特征输入至所述集成神经网络进行编码的操作。可选地，当所述集成神经网络部署于客户端，则所述解码器部署于服务器，或者当所述集成神经网络部署于CPU，则所述解码器部署于GPU。可选地，所述解码器的数量为多个，所述将所述编码数据输入至与所述集成神经网络分开部署的解码器进行解码包括：根据分配算法从多个所述解码器中确定目标解码器；将所述编码数据输入至所述目标解码器进行解码。可选地，所述集成神经网络为Transformer模型中的编码单元，所述解码器为所述Transformer模型中的解码单元。可选地，所述根据分配算法从多个所述解码器中确定目标解码器，包括：检测各个所述解码器的网络传输状态、负载量和历史处理状况；将所述网络传输状态、所述负载量和所述历史处理状况输入至已训练的马尔可夫模型，得到各个所述解码器的处理速度预测值；获取所述编码数据对应的语音单元数据的处理优先级；根据所述处理优先级和所述处理速度预测值确定目标解码器。第二方面，本申请提供了一种语音识别装置，所述装置包括：语音数据获取模块，用于获取待处理语音数据流，所述待处理语音数据流包含多个语音单元数据；语音识别模块，用于通过集成神经网络依次将多个所述语音单元数据进行编码，并在得到任意一所述语音单元数据的编码数据之后，实时将所述编码数据输入至与所述集成神经网络分开部署的解码器进行解码，以得到多个所述语音单元数据的语音识别结果。第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的语音识别方法的步骤。第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的语音识别方法的步骤。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的语音识别方法、装置、电子设备及计算机可读存储介质，可在获取到包含多个语音单元数据的待处理语音数据流之后，通过集成神经网络依次将多个语音单元数据进行编码，并在得到任意一语音单元数据的编码数据之后，实时将编码数据输入至与集成神经网络分开部署的解码器进行解码，因此，本实施例中不仅集成神经网络可以持续对多个语音数据流进行编码，通过解码器也可以同步对编码得到的编码数据持续解码，使得对语音的编解码的同步进行，所以当语音数据为多个时，能够提高整体语音识别的速度。因此，本专利技术实施例可以解决语音识别速度不高的问题，有利于更快速获取到语音识别结果。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种语音识别方法的流程示意图；图2为本申请实施例提供的一种语音识别装置的模块示意图；图3为本申请实施例提供的实现一种语音识别方法的电子设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为本申请实施例提供的一种语音识别方法的流程示意图。在本实施例中，所述语音识别方法包括：S1、获取待处理语音数据流，所述待处理语音数据流包含多个语音单元数据。本实施例中，所述待处理语音数据流为要进行语音识别的数据流。具体的，所述待识别语音数据流中包含多个语音单元数据，每个语音单元数据的长度可以为相同或者不同。例如，待识别语音数据流包含一个或多个会议的音频。又比如，多个语音单元数据中一个语音单元数据为：“今天天气很好。”另一个语音单元数据为：“周一上午开会”。一可选实施例中，所述获取待处理语音数据流包括：采集包含多个语音单元数据的待处理语音数据流。例如，直接从云端数据库中获取包含多条会议音频的待处理语音数据流。另一可选实施例中，所述获取待处理语音数据流包括：获取原始语音数据，将所述原始语音数据划分为多个语音单元数据，得到所述待处理语音数据流。在该实施例中，获取到的可以为没有进行分段等处理的原始语音数据，可以通过检测语音停顿等方式将原始语音数据划分为多个语音单元数据。S2、通过集成神经网络依次将多个所述本文档来自技高网...

【技术保护点】
1.一种语音识别方法，其特征在于，所述方法包括：/n获取待处理语音数据流，所述待处理语音数据流包含多个语音单元数据；/n通过集成神经网络依次将多个所述语音单元数据进行编码，并在得到任意一所述语音单元数据的编码数据之后，实时将所述编码数据输入至与所述集成神经网络分开部署的解码器进行解码，以得到多个所述语音单元数据的语音识别结果。/n

【技术特征摘要】
1.一种语音识别方法，其特征在于，所述方法包括：
获取待处理语音数据流，所述待处理语音数据流包含多个语音单元数据；
通过集成神经网络依次将多个所述语音单元数据进行编码，并在得到任意一所述语音单元数据的编码数据之后，实时将所述编码数据输入至与所述集成神经网络分开部署的解码器进行解码，以得到多个所述语音单元数据的语音识别结果。


2.如权利要求1所述的方法，其特征在于，所述通过集成神经网络依次将多个所述语音单元数据进行编码，包括：
提取多个所述语音单元数据的语音标识信息和位置信息；
将所述语音标识信息和所述位置信息进行组合，得到多个所述语音单元数据的语音单元特征；
通过集成神经网络依次将多个所述语音单元特征进行编码。


3.如权利要求2所述的方法，其特征在于，所述通过集成神经网络依次将多个所述语音单元特征进行编码，包括：
将第i个所述语音单元特征输入至所述集成神经网络进行编码，其中i的初始值为1，i为正整数；
当得到所述集成神经网络输出的第i个所述语音单元特征的编码数据时，令i=i+1，再次执行所述将第i个所述语音单元特征输入至所述集成神经网络进行编码的操作。


4.如权利要求1所述的方法，其特征在于，当所述集成神经网络部署于客户端，则所述解码器部署于服务器，或者当所述集成神经网络部署于CPU，则所述解码器部署于GPU。


5.如权利要求1所述的方法，其特征在于，所述解码器的数量为多个，所述将所述编码数据输入至与所述集成神经网络分开部署的解码器进行解码包括：
根据分配算法从多个所述解码器中确定目标解码器；
将所述编码数据输入至所述...

【专利技术属性】
技术研发人员：陈诚，黄石磊，程刚，
申请(专利权)人：深圳市北科瑞声科技股份有限公司，
类型：发明
国别省市：广东;44