一种数据处理模型构建方法、装置、设备及存储介质制造方法及图纸

本申请提出一种数据处理模型构建方法、装置、设备及存储介质，方法包括：从第一运行主体上运行的第一数据处理模型中确定出第二运行主体不支持的算子，作为待优化算子；利用第二运行主体支持的算子构建得到与待优化算子对应的优化算子，以使优化算子能够实现与对应的待优化算子相同的功能，且能够被第二运行主体支持；利用优化算子替换第一数据处理模型中的待优化算子，得到第二数据处理模型，使得第二数据处理模型与第一数据处理模型具有相同的功能与框架，并且能够部署到第二运行主体，实现了相同功能和框架的数据处理模型可以部署到计算资源不同的运行主体上，提高了数据处理模型的实用性，缓解了对数据处理模型的开发压力。力。力。

A data processing model construction method, device, equipment and storage medium

【技术实现步骤摘要】
一种数据处理模型构建方法、装置、设备及存储介质


[0001]本申请涉及模型构建
，尤其涉及一种数据处理模型构建方法、装置、设备及存储介质。

技术介绍

[0002]数据处理服务通常是将预先构建的数据处理模型(例如神经网络模型)部署到运行主体上，以使该运行主体利用数据处理模型来实现数据处理服务。不同的运行主体，具有不同的硬件资源和处理性能，因此，同一种数据处理模型，可能不能同时部署到不同的运行主体上。
[0003]例如，在语音识别场景中，由于云端计算资源丰富，通常通过在云端部署语音识别系统实现语音识别服务。但是出于对用户隐私、带宽延迟、网络不稳定等因素的考虑，在设备端(即端侧)部署语音识别服务成了众望所归。然而，设备端的计算资源相对云端具有显著差异，在云端运行的语音识别系统的算子，可能在设备端不支持，由此导致云端的语音识别系统不能部署到设备端应用，需要针对设备端重新开发语音识别系统。
[0004]因此，相同功能和框架的数据处理模型无法部署到计算资源不同的运行主体上，导致数据处理模型的实用性较低，无法缓解对数据处理模型的开发压力。

技术实现思路

[0005]基于上述现有技术的缺陷和不足，本申请提出一种数据处理模型构建方法、装置、设备及存储介质，能够提高数据处理模型的实用性，缓解对数据处理模型的开发压力。
[0006]一种数据处理模型构建方法，包括：
[0007]从第一运行主体上运行的第一数据处理模型中确定出待优化算子；其中，所述待优化算子为第二运行主体不支持的算子；r/>[0008]利用所述第二运行主体支持的算子构建得到与所述待优化算子对应的优化算子，所述优化算子能够实现与对应的待优化算子相同的功能；
[0009]利用所述优化算子替换所述第一数据处理模型中的待优化算子，得到第二数据处理模型。
[0010]可选的，所述从第一运行主体上运行的第一数据处理模型中确定出待优化算子，包括：
[0011]对所述第一数据处理模型进行算子结构拆解，确定所述第一数据处理模型中的所有算子；
[0012]根据所述第二运行主体的计算资源，对所述第一数据处理模型中的所有算子进行分析，确定所述第一数据处理模型中的、所述第二运行主体不支持的算子，作为待优化算子。
[0013]可选的，利用所述第二运行主体支持的算子构建得到与所述待优化算子对应的优化算子，包括：
[0014]通过对所述第二运行主体支持的算子进行组合或优化，构建得到与所述待优化算子对应的优化算子。
[0015]可选的，所述通过对所述第二运行主体支持的算子进行组合或优化，构建得到与所述待优化算子对应的优化算子，包括：
[0016]从各个待优化算子中，确定出第一类型待优化算子和第二类型待优化算子；所述第一类型待优化算子为所述第二运行主体不支持的算子，所述第二类型待优化算子为与所述第二运行主体所支持的相同类型算子的数据处理方式不同的算子；
[0017]通过对所述第二运行主体支持的算子进行组合，构建与所述第一类型待优化算子相同功能的算子，得到与所述第一类型待优化算子对应的优化算子；
[0018]以及，通过对所述第二运行主体支持的与所述第二类型待优化算子相同类型的算子进行优化，得到与所述第二类型待优化算子对应的优化算子。
[0019]可选的，所述第一类型待优化算子为注意力机制算子或层归一化算子；
[0020]所述通过对所述第二运行主体支持的算子进行组合，构建与所述第一类型待优化算子相同功能的算子，得到与所述第一类型待优化算子对应的优化算子，包括：
[0021]若所述第一类型待优化算子为注意力机制算子，则利用与所述注意力机制算子的功能相匹配的神经网络、批归一化算子和激活函数构建得到所述注意力机制算子对应的半优化算子；
[0022]将所述半优化算子中的批归一化算子融入卷积算子中，得到所述注意力机制算子对应的优化算子；
[0023]或者，
[0024]若所述第一类型待优化算子为层归一化算子，则将与所述层归一化算子相匹配的批归一化算子融入到卷积算子中，得到与所述层归一化算子的功能相同的优化算子；
[0025]其中，所述神经网络、所述卷积算子和所述激活函数均为所述第二运行主体支持的算子。
[0026]可选的，所述第二类型待优化算子为非对称卷积算子；
[0027]所述通过对所述第二运行主体支持的与所述第二类型待优化算子相同类型的算子进行优化，得到与所述第二类型待优化算子对应的优化算子，包括：
[0028]对所述第二运行主体支持的对称卷积算子增加数据维度处理模块，得到与所述非对称卷积算子对应的优化算子；
[0029]其中，所述数据维度处理模块，用于对所述对称卷积算子的输入数据维度进行调整，以使所述输入数据维度符合所述对称卷积算子的要求。
[0030]可选的，所述方法还包括：
[0031]对所述第二数据处理模型进行训练。
[0032]可选的，对所述第二数据处理模型进行训练，包括：
[0033]获取所述第二数据处理模型对应的模型训练数据和数据处理基准模型；
[0034]利用所述模型训练数据，对所述第二数据处理模型和所述数据处理基准模型进行多任务联合训练；
[0035]其中，所述数据处理基准模型为性能高于所述第二数据处理模型性能的数据处理模型。
[0036]可选的，所述模型训练数据为语音识别训练数据；
[0037]所述利用所述模型训练数据，对所述第二数据处理模型和所述数据处理基准模型进行多任务联合训练，包括：
[0038]将所述语音识别训练数据分别输入到所述数据处理基准模型和所述第二数据处理模型，使所述数据处理基准模型对所述语音识别训练数据进行非流式识别，以及，使所述第二数据处理模型对所述语音识别训练数据进行流式识别；
[0039]计算所述第二数据处理模型对应的第一损失函数和所述数据处理基准模型对应的第二损失函数；
[0040]利用所述第一损失函数和所述第二损失函数，对所述第二数据处理模型进行参数调整，直至所述第一损失函数和所述第二损失函数处于预设损失范围内。
[0041]可选的，所述利用所述模型训练数据，对所述第二数据处理模型和所述数据处理基准模型进行多任务联合训练之前，还包括：
[0042]对所述语音识别训练数据进行说话人信息归一化处理。
[0043]一种数据处理模型构建装置，包括：
[0044]算子确定单元，用于从第一运行主体上运行的第一数据处理模型中确定出待优化算子；其中，所述待优化算子为第二运行主体不支持的算子；
[0045]算子构建单元，用于利用第二运行主体支持的算子构建得到与所述待优化算子对应的优化算子，所述优化算子能够实现与对应的待优化算子相同的功能；
[0046]算子替换单元，用于利用所述优化算子替换所述第一数据处理模型中的待优化算子，得到第二数据处理模型。
[0047]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理模型构建方法，其特征在于，包括：从第一运行主体上运行的第一数据处理模型中确定出待优化算子；其中，所述待优化算子为第二运行主体不支持的算子；利用所述第二运行主体支持的算子构建得到与所述待优化算子对应的优化算子，所述优化算子能够实现与对应的待优化算子相同的功能；利用所述优化算子替换所述第一数据处理模型中的待优化算子，得到第二数据处理模型。2.根据权利要求1所述的方法，其特征在于，所述从第一运行主体上运行的第一数据处理模型中确定出待优化算子，包括：对所述第一数据处理模型进行算子结构拆解，确定所述第一数据处理模型中的所有算子；根据所述第二运行主体的计算资源，对所述第一数据处理模型中的所有算子进行分析，确定所述第一数据处理模型中的、所述第二运行主体不支持的算子，作为待优化算子。3.根据权利要求1所述的方法，其特征在于，利用所述第二运行主体支持的算子构建得到与所述待优化算子对应的优化算子，包括：通过对所述第二运行主体支持的算子进行组合或优化，构建得到与所述待优化算子对应的优化算子。4.根据权利要求3所述的方法，其特征在于，所述通过对所述第二运行主体支持的算子进行组合或优化，构建得到与所述待优化算子对应的优化算子，包括：从各个待优化算子中，确定出第一类型待优化算子和第二类型待优化算子；所述第一类型待优化算子为所述第二运行主体不支持的算子，所述第二类型待优化算子为与所述第二运行主体所支持的相同类型算子的数据处理方式不同的算子；通过对所述第二运行主体支持的算子进行组合，构建与所述第一类型待优化算子相同功能的算子，得到与所述第一类型待优化算子对应的优化算子；以及，通过对所述第二运行主体支持的与所述第二类型待优化算子相同类型的算子进行优化，得到与所述第二类型待优化算子对应的优化算子。5.根据权利要求4所述的方法，其特征在于，所述第一类型待优化算子为注意力机制算子或层归一化算子；所述通过对所述第二运行主体支持的算子进行组合，构建与所述第一类型待优化算子相同功能的算子，得到与所述第一类型待优化算子对应的优化算子，包括：若所述第一类型待优化算子为注意力机制算子，则利用与所述注意力机制算子的功能相匹配的神经网络、批归一化算子和激活函数构建得到所述注意力机制算子对应的半优化算子；将所述半优化算子中的批归一化算子融入卷积算子中，得到所述注意力机制算子对应的优化算子；或者，若所述第一类型待优化算子为层归一化算子，则将与所述层归一化算子相匹配的批归一化算子融入到卷积算子中，得到与所述层归一化算子的功能相同的优化算子；其中，所述神经网络、所述卷积算子和所述激活函数均为所述第二运行主体支持的算
子。6.根据权利要求4所述的方法，其特征在于，所述第二类型待优化算子为非对称卷积算子；所述通过对所...

【专利技术属性】
技术研发人员：茆廷志，万根顺，高建清，刘聪，胡国平，刘庆峰，胡郁，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：