【技术实现步骤摘要】
本申请涉及人工智能领域，尤其涉及上下文信息处理方法、装置、计算机设备及存储介质。
技术介绍
1、在语音识别领域，注意力制机能够通过加权重视与当前处理任务最相关的上下文信息，极大地增强了模型的理解和处理复杂语境的能力，从而提高了识别精度并确保对语音数据的细致和深入分析。
2、当前涌现了大量基于注意力机制的改进，但仍然存在一些问题尚未得到解决，比如在语音识别任务中，像自注意力机制虽然可以捕获全局上下文，但是对于局部特征提取能力较弱，且在这个过程中需要大量计算代价。
技术实现思路
1、本申请实施例的目的在于提出一种上下文信息处理方法、装置、计算机设备及存储介质，以解决如何于语音识别任务中，以极低的计算代价下高效地进行的捕获上下文信息和局部特征。
2、为了解决上述技术问题，本申请实施例提供一种上下文信息处理方法，采用了如下所述的技术方案：
3、获取语音信号数据的输入特征集合；
4、将所述输入特征集合进行多头分割处理，得到若干个注意力子空间；
<...【技术保护点】
1.一种上下文信息处理方法，应用于语音识别模型的自注意力模块，其特征在于，包括下述步骤：
2.根据权利要求1所述的上下文信息处理方法，其特征在于，所述将所述输入特征集合进行多头分割处理，得到若干个注意力子空间的步骤，包括：
3.根据权利要求2所述的上下文信息处理方法，其特征在于，所述权重矩阵包括查询矩阵、键矩阵以及值矩阵，其中，所述查询矩阵内包含若干个查询向量，所述特征向量包括查询向量、键向量以及值向量，所述基于所述权重矩阵进行向量转化，得到特征向量的步骤，具体包括：
4.根据权利要求3所述的上下文信息处理方法，其特征在于，所述基于...
【技术特征摘要】
1.一种上下文信息处理方法，应用于语音识别模型的自注意力模块，其特征在于，包括下述步骤：
2.根据权利要求1所述的上下文信息处理方法，其特征在于，所述将所述输入特征集合进行多头分割处理，得到若干个注意力子空间的步骤，包括：
3.根据权利要求2所述的上下文信息处理方法，其特征在于，所述权重矩阵包括查询矩阵、键矩阵以及值矩阵，其中，所述查询矩阵内包含若干个查询向量，所述特征向量包括查询向量、键向量以及值向量，所述基于所述权重矩阵进行向量转化，得到特征向量的步骤，具体包括：
4.根据权利要求3所述的上下文信息处理方法，其特征在于，所述基于所述特征向量和所述权重矩阵进行矩阵变换处理，得到分支目标矩阵的步骤，具体包括：
5.根据权利要求4所述的上下文信息处理方法，其特征在于，在所述基于所述特征向量和所述权重矩阵进...
【专利技术属性】
技术研发人员：郭洋，王健宗，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。