数据处理方法以及装置制造方法及图纸

本说明书实施例提供数据处理方法以及装置，其中所述数据处理方法，应用于客户端，包括：根据目标模型的单元运行顺序，确定目标数据处理单元，以及所述目标数据处理单元对应的待处理数据；针对所述目标数据处理单元创建单元会话任务；执行所述单元会话任务获得所述目标数据处理单元对应的单元运行内存，并利用所述目标数据处理单元在所述单元运行内存中处理所述待处理数据；在获得待处理数据对应的中间处理数据情况下，删除所述单元会话任务，释放所述单元运行内存。放所述单元运行内存。放所述单元运行内存。

【技术实现步骤摘要】
数据处理方法以及装置


[0001]本说明书实施例涉及机器学习
，特别涉及数据处理方法。

技术介绍

[0002]随着互联网的发展，神经网络模型的应用越来越广泛。通常神经网络模型被部署在服务端。然而随着用户的增多，服务端在进行数据传输、数据存储、预处理、模型计算等方面都需要耗费大量的计算和网络资源。为了减轻服务端的处理压力，将神经网络模型部署在客户端的需求越来越强烈，然而客户端的内存资源通常有限，通常难以支撑模型运行过程中内存需求，因此，亟需提供一种解决上述问题的技术方案。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了两种数据处理方法。本说明书一个或者多个实施例同时涉及两种数据处理装置，两种语音识别方法，两种语音识别装置，一种风险识别方法，一种风险识别装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了第一种数据处理方法，应用于客户端，包括：
[0005]根据目标模型的单元运行顺序，确定目标数据处理单元，以及所述目标数据处理单元对应的待处理数据；
[0006]针对所述目标数据处理单元创建单元会话任务；
[0007]执行所述单元会话任务获得所述目标数据处理单元对应的单元运行内存，并利用所述目标数据处理单元在所述单元运行内存中处理所述待处理数据；
[0008]在获得待处理数据对应的中间处理数据情况下，删除所述单元会话任务，释放所述单元运行内存。
[0009]根据本说明书实施例的第二方面，提供了第二种数据处理方法，应用于服务端，包括：
[0010]确定目标模型以及所述目标模型对应的预设内存使用阈值；
[0011]根据所述目标模型对应的模型属性信息以及所述预设内存使用阈值，将所述目标模型划分为至少两个数据处理单元；
[0012]针对所述至少两个数据处理单元分别创建单元内存管理策略；
[0013]根据所述至少两个数据处理单元分别对应的单元内存管理策略，生成所述目标模型对应的内存管理策略，并发送至客户端；
[0014]其中，所述内存管理策略用于将所述客户端部署的目标模型划分为至少两个数据处理单元，且针对至少两个数据处理单元分别进行内存管理。
[0015]根据本说明书实施例的第三方面，提供了第一种语音识别方法，应用于客户端，包括：
[0016]根据语音识别模型的单元运行顺序，确定目标语音识别单元，以及所述目标语音识别单元对应的待处理数据；
[0017]针对所述目标数据处理单元创建单元会话任务；
[0018]执行所述单元会话任务获得所述目标语音识别单元对应的单元运行内存，并利用所述目标语音识别单元在所述单元运行内存中处理所述待处理数据；
[0019]在获得待处理数据对应的中间处理数据情况下，删除所述单元会话任务，释放所述单元运行内存。
[0020]根据本说明书实施例的第四方面，提供了第二种语音识别方法，应用于服务端，包括：
[0021]确定语音识别模型以及所述语音识别模型对应的预设内存使用阈值；
[0022]根据所述语音识别模型对应的模型属性信息以及所述预设内存使用阈值，将所述语音识别模型划分为至少两个语音识别单元；
[0023]针对所述至少两个语音识别单元分别创建单元内存管理策略；
[0024]根据所述至少两个语音识别单元分别对应的单元内存管理策略，生成所述语音识别模型对应的内存管理策略，并发送至客户端；
[0025]其中，所述内存管理策略用于将所述客户端部署的语音识别模型划分为所述至少两个语音识别单元，且针对所述至少两个语音识别单元分别进行内存管理。
[0026]根据本说明书实施例的第五方面，提供了第二种语音识别方法，应用于服务端，包括：在接收到网约车订单的乘车指令的情况下，采集待识别语音数据；
[0027]通过语音识别模型对所述待识别语音数据进行语音识别，获得所述待识别语音数据对应的文本数据，其中，所述语音识别模型包括至少两个语音识别单元，所述语音识别模型在语音识别过程中根据所述至少两个语音识别单元的单元运行顺序，对所述至少两个语音识别单元中确定的目标语音识别单元进行内存管理，并且所述目标语音识别单元为所述至少两个语音识别单元中的任意一个；
[0028]对所述文本数据进行风险识别，获得所述网约车订单对应的风险识别结果。
[0029]根据本说明书实施例的第六方面，提供了第一种数据处理装置，应用于客户端，包括：
[0030]第一确定模块，被配置为根据目标模型的单元运行顺序，确定目标数据处理单元，以及所述目标数据处理单元对应的待处理数据；
[0031]第一创建模块，被配置为针对所述目标数据处理单元创建单元会话任务；
[0032]第一执行模块，被配置为执行所述单元会话任务获得所述目标数据处理单元对应的单元运行内存，并利用所述目标数据处理单元在所述单元运行内存中处理所述待处理数据；
[0033]第一删除模块，被配置为在获得待处理数据对应的中间处理数据情况下，删除所述单元会话任务，释放所述单元运行内存。
[0034]根据本说明书实施例的第七方面，提供了第二种数据处理装置，应用于服务端，包括：
[0035]第一确定阈值模块，被配置为确定目标模型以及所述目标模型对应的预设内存使用阈值；
[0036]第一划分模块，被配置为根据所述目标模型对应的模型属性信息以及所述预设内存使用阈值，将所述目标模型划分为至少两个数据处理单元；
[0037]第一创建策略模块，被配置为针对所述至少两个数据处理单元分别创建单元内存管理策略；
[0038]第一生成策略模块，被配置为根据所述至少两个数据处理单元分别对应的单元内存管理策略，生成所述目标模型对应的内存管理策略，并发送至客户端；其中，所述内存管理策略用于将所述客户端部署的目标模型划分为至少两个数据处理单元，且针对至少两个数据处理单元分别进行内存管理。
[0039]根据本说明书实施例的第八方面，提供了第一种语音识别装置，应用于客户端，包括：
[0040]第二确定模块，被配置为根据语音识别模型的单元运行顺序，确定目标语音识别单元，以及所述目标语音识别单元对应的待处理数据；
[0041]第二创建模块，被配置为针对所述目标数据处理单元创建单元会话任务；
[0042]第二执行模块，被配置为执行所述单元会话任务获得所述目标语音识别单元对应的单元运行内存，并利用所述目标语音识别单元在所述单元运行内存中处理所述待处理数据；
[0043]第二删除模块，被配置为在获得待处理数据对应的中间处理数据情况下，删除所述单元会话任务，释放所述单元运行内存。
[0044]根据本说明书实施例的第九方面，提供了第二种语音识别装置，应用于服务端，包括：
[0045]第二确定阈值模块，被配置为确定语音识别模型以及所述语音识别模型对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于客户端，包括：根据目标模型的单元运行顺序，确定目标数据处理单元，以及所述目标数据处理单元对应的待处理数据；针对所述目标数据处理单元创建单元会话任务；执行所述单元会话任务获得所述目标数据处理单元对应的单元运行内存，并利用所述目标数据处理单元在所述单元运行内存中处理所述待处理数据；在获得待处理数据对应的中间处理数据情况下，删除所述单元会话任务，释放所述单元运行内存。2.根据权利要求1所述的方法，在所述目标数据处理单元位于所述单元运行顺序中的非末位的情况下，在所述释放所述单元运行内存之后，还包括：按照所述目标模型的单元运行顺序，确定优先级低于所述目标数据处理单元的关联数据处理单元；将所述关联数据处理单元作为所述目标数据处理单元，将所述中间处理数据确定为所述目标数据处理单元的待处理数据，并执行所述针对所述目标数据处理单元创建单元会话任务步骤。3.根据权利要求1所述的方法，所述根据目标模型的单元运行顺序，确定目标数据处理单元步骤执行之前，还包括：获取针对所述目标模型提交的初始数据，并将所述初始数据输入至所述目标模型；在所述目标数据处理单元位于所述单元运行顺序中的末位情况下，所述释放所述单元运行内存之后，还包括：将所述中间处理数据作为所述初始数据对应的数据处理结果。4.根据权利要求1所述的方法，所述针对所述目标数据处理单元创建单元会话任务，包括：调用预设的会话创建接口，针对所述目标数据处理单元创建单元会话任务；所述执行所述单元会话任务获得所述目标数据处理单元对应的单元运行内存，包括：调用预设的会话运行接口执行所述单元会话任务，用于针对所述目标数据处理单元申请单元运行内存；所述删除所述单元会话任务，释放所述单元运行内存，包括：调用预设的会话删除接口，删除所述单元会话任务，释放所述单元运行内存；其中，所述会话创建接口、所述会话运行接口和所述会话删除接口为所述目标模型对应的神经网络引擎提供的数据处理接口。5.根据权利要求3所述的方法，所述将所述中间处理数据作为所述初始数据对应的数据处理结果之后，还包括：在所述数据处理结果不满足预设条件的情况下，将所述初始数据发送至云数据处理端；接收所述云数据处理端针对所述初始数据反馈的目标数据处理结果，其中，所述云数据处理端利用数据处理模型对所述初始数据进行处理。6.根据权利要求1
‑
5任一项所述的方法，所述根据目标模型的单元运行顺序，确定目标数据处理单元步骤执行之前，还包括：
接收下发所述目标模型的服务端下发的内存管理策略；基于所述内存管理策略确定所述目标模型对应的模型划分信息，并基于所述内存管理策略确定所述模型划分信息对应的内存管理信息；对所述模型划分信息和所述内存管理信息进行存储，其中，所述模型划分信息用于确定所述单元运行顺序，所述内存管理信息用于管理所述单元运行内存。7.一种数据处理方法，应用于服务端，包括：确定目标模型以及所述目标模型对应的预设内存使用阈值；根据所述目标模型对应的模型属性信息以及所述预设内存使用阈值，将所述目标模型划分为至少两个数据处理单元；针对所述至少两个数据处理单元分别创建单元内存管理策略；根据所述至少两个数据处理单元分别对应的单元内存管理策略，生成所述目标模型对应的内存管理策略，并发送至客户端；其中，所述内存管理策略用于将所述客户端部署的目标模型划分为至少两个数据处理单元，且针对至少两个数据处理单元分别进行内存管理。8.根据权利要求7所述的方法，所述根据所述目标模型对应的模型属性信息以及所述预设内存使用阈值，将所述目标模型划分为至少两个...

【专利技术属性】
技术研发人员：周瑜，李裕宏，薛晖，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：