一种业务处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种业务处理方法、装置、设备及存储介质，该方法包括：在本实施例中，各个深度学习模型均分配至少一个第一进程，所有深度学习模型共同分配一个第二进程，各个深度学习模型均加载至至少一个第三进程中，述第一进程接收调用深度学习模型的请求，将请求中的业务数据传输至第二进程；第二进程在累积业务数据至满足预设的条件时，将累积的所有业务数据合并为一个批次的源数据，将源数据传输至第三进程；第三进程调用深度学习模型批处理源数据，获得目标数据。本实施例各个进程之间的分工明确，减少重复性占用资源，通过并行计算的架构调用深度学习模型进行批处理，在资源受限的情况下，可以显著提高运算的效率。可以显著提高运算的效率。可以显著提高运算的效率。

【技术实现步骤摘要】
一种业务处理方法、装置、设备及存储介质


[0001]本申请涉及深度学习的
，尤其涉及一种业务处理方法、装置、设备及存储介质。

技术介绍

[0002]随着处理器、内存等资源的不断提升和数据量的不断增长，诸如CNN(Convolutional Neural Network，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)等深度学习模型有了长足的发展，深度学习模型也越来越多的应用在安防、自动驾驶、语音合成等众多业务中。
[0003]目前每部署一个新的深度学习模型，均会独立对其编译一套独立的代码，对业务数据进行推理，随着业务增多，部署深度学习模型的数量也越来越多，对资源的消耗也越大，在资源受限的情况下，深度学习模型的运算效率较低。

技术实现思路

[0004]本申请提供了一种业务处理方法、装置、设备及存储介质，以解决如何在资源受限的情况下，提高深度学习模型的运算效率的问题。
[0005]根据本申请的一方面，提供了一种业务处理方法，各个深度学习模型均分配至少一个第一进程，所有所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务处理方法，其特征在于，各个深度学习模型均分配至少一个第一进程，所有所述深度学习模型共同分配一个第二进程，各个所述深度学习模型均加载至至少一个第三进程中，所述方法包括：所述第一进程接收调用所述深度学习模型的请求，将所述请求中的业务数据传输至所述第二进程；所述第二进程在累积所述业务数据至满足预设的条件时，将累积的所有所述业务数据合并为一个批次的源数据，将所述源数据传输至所述第三进程；所述第三进程调用所述深度学习模型批处理所述源数据，获得目标数据。2.根据权利要求1所述的方法，其特征在于，所述第二进程中为各个所述深度学习模型分配至少一个第一线程，所有所述深度学习模型共同分配一个第四进程；所述第一进程接收调用所述深度学习模型的请求，将所述请求中的业务数据传输至所述第二进程，包括：所述第一进程接收调用所述深度学习模型的请求，将所述请求中的业务数据写入与所述第三进程建立的共享内存中、得到第一地址与第一元信息，将所述第一地址与所述第一元信息写入与所述第四进程建立的第一队列中；第四进程从所述第一队列中读取所述第一地址与所述第一元信息，查询为所述深度学习模型分配的所述第二进程，将所述第一地址与所述第一元信息写入与所述第二进程中的所述第一线程建立的第二队列中；所述第一线程从所述第二队列中读取所述第一地址与所述第一元信息。3.根据权利要求1所述的方法，其特征在于，所述第一进程接收调用所述深度学习模型的请求，包括：若所述深度学习模型分配至少两个第一进程，则所述第一进程以均衡负载的方式接收调用所述深度学习模型的请求。4.根据权利要求2所述的方法，其特征在于，所述第二进程中还为所有所述深度学习模型分配一个第二线程；所述第二进程在累积所述业务数据至满足预设的条件时，将累积的所有所述业务数据合并为一个批次的源数据，将所述源数据传输至所述第三进程，包括：所述第一线程对所述业务数据配置标识，将映射关系传输至所述第二线程，所述映射关系包括所述第一地址、所述第一元信息与所述标识；所述第二线程在所述映射关系的数量累积至预设的阈值时，将当前累积的所有所述映射关系打包为一个批次的源数据，将所述源数据写入与所述第三进程建立的第三队列中；所述第三进程从所述第三队列中读取所述源数据，在所述共享内存的所述第一地址中按照所述第一元信息读取所述业务数据。5.根据权利要求4所述的方法，其特征在于，所述各个所述第三进程调用所述深度学习模型批处理所述源数据，获得目标数据，包括：各个所述第三进程独立将所述业务数据输入所述深度学习模型中进行处理，输出目标数据；或者各个所述第三进程确定多个所述深度学习模型之间存在的依赖关系，按照所述依赖关系依次调用多个所述深度学习模型批处理所述源数据，获得目标数据；
其中，在所述依赖关系中，若当前所述深度学习模型被其他所述深度学习模型依赖，则当前所述深度学习模型输出的数据为输入其他所述深度学习模型的数据。6.根据权利要求...

【专利技术属性】
技术研发人员：郑达明，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：