【技术实现步骤摘要】
表示方法、语音识别方法、装置、电子设备
[0001]本申请实施例涉及人工智能领域，尤其涉及一种表示方法、语音识别方法、装置、电子设备。
技术介绍
[0002]自注意力机制(self-attention)是深度学习中的一种网络框架，广泛应用在自然语言处理、语音识别等领域。自注意力机制可以使得神经网络模型能够更加好地关联上下文，进而使得处理结果更加准确。
[0003]现有的自注意力机制中，一般通过线性变换矩阵，对输入的特征向量等进行线性变化，得到特征向量对应的Query、Key、Value，再根据每个特征向量对应的Query、Key、Value，通过对所有特征进行查询等，得到应用自注意力机制后的网络表示。
[0004]然而，这种注意力机制的参数数量较大，即在应用自注意力机制时占用的内存较大，导致自注意力机制不易进行普及，尤其不易普及至内存或缓存较小的设备中。
技术实现思路
[0005]本申请的目的在于提出一种表示方法、语音识别方法、装置、电子设备，以至少解决或缓解上述问题。
[0006]根...
【技术保护点】
【技术特征摘要】
1.一种语音识别方法，包括：获取对待处理语音对应的数据向量进行特征提取后生成的语音特征向量；通过过滤器对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组，其中，所述三元组包括：查询向量、键向量和值向量；根据所述查询向量、所述键向量和所述值向量进行自注意力计算，获得对应的网络表示；根据所述网络表示，对所述待处理语音进行识别。2.根据权利要求1所述的方法，其中，所述通过过滤器对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组包括：通过两个过滤器分别对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组中的两个向量；根据所述语音特征向量进行赋值操作，获得用于自注意力计算的三元组中的另一向量。3.根据权利要求2所述的方法，其中，通过两个过滤器分别对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组中的两个向量，包括：通过两个过滤器分别对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组中的所述查询向量和所述键向量；所述根据所述语音特征向量进行赋值操作，获得用于自注意力计算的三元组中的另一向量包括：将所述语音特征向量作为值，赋值给用于自注意力计算的三元组中的所述值向量。4.根据权利要求1所述的方法，其中，所述方法应用于语音识别模型，所述语音识别模型包括语音编码器；所述获取对待处理语音对应的数据向量进行特征提取后生成的语音特征向量包括：通过所述语音识别模型获取待处理语音对应的数据向量，并通过所述语音识别模型的特征提取部分对所述数据向量进行特征提取，生成语音特征向量并输入所述语音编码器；所述通过过滤器对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组包括：通过所述语音编码器中的过滤器，对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组；所述根据所述查询向量、所述键向量和所述值向量进行自注意力计算，获得对应的网络表示，包括：通过所述语音编码器中的自注意力层对所述查询向量、所述键向量和所述值向量进行自注意力计算，获得对应的网络表示。5.根据权利要求1所述的方法，其中，所述方法应用于语音识别模型，所述语音识别模型包括语音编码器和语音解码器；所述获取对待处理语音对应的数据向量进行特征提取后生成的语音特征向量包括：通过所述语音识别模型中的语音解码器获取所述语音编码器输出的语音编码向量，并对所述语音编码向量进行特征提取，生成语音特征向量；所述通过过滤器对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组包括：通过所述语音解码器中的过滤器，对所述语音特征向量进行转换处理，获得用于自注意力计算的三元组；
所述根据所述查询向量、所述键向量和所述值向量进行自注意力计算，获得对应的网络表示，包括：通过所述语音解码器中的自注意力层对所述查询向量、所述键向量和所述值向量进行自注意力计算，获得对应的网络表示。6.一种基于自注意力机制的表示方法，包括：获取待处理数据，其中，所述待处理数据为以下之一：待处理语音数据、待处理文本数据、待处理图像数据；获取对所述待处理数据对应的数据向量进行特征提取后生成的特征向量；通过过滤器对所述特征向量进行转换处理，获得用于自注意力计算的三元组，其中，所述三元组包括：查询向量、键向量和值...
【专利技术属性】
技术研发人员：罗浩能，张仕良，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。