支持边缘计算设备的大模型高质推理方法及系统技术方案

本申请涉及大模型数据处理技术领域，具体涉及支持边缘计算设备的大模型高质推理方法及系统，该方法包括：获取语音采集向量；根据以语音采集向量中的各元素为中心的不同长度的时间窗口内所有元素的频域信息稳定情况和自相似特征的对比情况，得到各元素对应时刻在每个频率处的时频特征值；根据所有元素对应时刻在各频率处的时频特征值和能量幅值的分布离散情况，得到各频率处的情绪显著度；根据各频率处的情绪显著度对语音采集向量的语音频谱中各频率的能量幅值进行过滤后逆变换，得到过滤后的语音采集向量；采用边缘计算设备对过滤后的语音采集向量进行大模型推理。本申请可提高大模型推理计算的准确度。

【技术实现步骤摘要】

本申请涉及大模型数据处理，具体涉及支持边缘计算设备的大模型高质推理方法及系统。

技术介绍

1、大模型高质推理是指通过对大量数据的特征提取，训练大模型用于对新的数据进行预测或分类；在实际的课堂教育中，通常会在上课时段由多个课堂同时产生大量的语音数据，若将语音数据统一传输到上位端进行大模型处理，会占用大量的通信、存储、计算资源，因此需要对课堂语音数据进行边缘计算处理。在进行边缘计算处理时，由于边缘计算设备的性能通常小于上位端设备，因此需要将上位端的大模型进行知识蒸馏。

2、其中，知识蒸馏的目的是为了将大模型的知识迁移到小型模型中，利用较低的计算资源保证一定的数据处理能力，在蒸馏过程中，小型模型不仅学习到大模型中训练数据，还能够通过知识迁移学习大模型训练过程中的标签信息和输出信息。

3、随着多媒体教育的普及发展，课堂产生的语音数据会受到多种噪音干扰，面对高干扰的课堂语音数据形成的训练数据，对大模型训练集中的数据质量影响较大，使得小模型学习到的数据特征、标签信息和输出信息具有较低的置信度，导致大模型推理计算不准确。>

<本文档来自技高网...

【技术保护点】

1.支持边缘计算设备的大模型高质推理方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的支持边缘计算设备的大模型高质推理方法，其特征在于，所述各元素对应时刻在每个频率处的音素显著度的获取方法，包括：

3.如权利要求2所述的支持边缘计算设备的大模型高质推理方法，其特征在于，所述根据各元素对应时刻在每个频率处的长时频率稳定性与短时频率稳定性的对比情况，得到各元素对应时刻在每个频率处的音素显著度，包括：将语音采集向量中第n个元素对应时刻在第k个频率处的音素显著度记为Xn,k，；其中，An,k、Bn,k分别为语音采集向量中第n个元素对应时刻在第k个频率处的长时频...

【技术特征摘要】

1.支持边缘计算设备的大模型高质推理方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的支持边缘计算设备的大模型高质推理方法，其特征在于，所述各元素对应时刻在每个频率处的音素显著度的获取方法，包括：

3.如权利要求2所述的支持边缘计算设备的大模型高质推理方法，其特征在于，所述根据各元素对应时刻在每个频率处的长时频率稳定性与短时频率稳定性的对比情况，得到各元素对应时刻在每个频率处的音素显著度，包括：将语音采集向量中第n个元素对应时刻在第k个频率处的音素显著度记为xn,k，；其中，an,k、bn,k分别为语音采集向量中第n个元素对应时刻在第k个频率处的长时频率稳定性、短时频率稳定性；μ为预设大于0的常数。

4.如权利要求2所述的支持边缘计算设备的大模型高质推理方法，其特征在于，所述各元素对应时刻的语音时域特征的计算方法，包括：

5.如权利要求1所述的支持边缘计算设备的大模型高质推理方法，其特征在于，所述综合各元素对应时刻的语音时域特征在与其在每个频率处的音素显著度得到各元素对应时刻在每个频率处的时频特征值，包括：将各元素对...

【专利技术属性】
技术研发人员：余海涛，尹学诚，
申请(专利权)人：蓝舰信息科技南京有限公司，
类型：发明
国别省市：