一种数据处理方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术实施例提供一种数据处理方法、装置及计算机可读存储介质，该方法应用于包括DSP和加速层的数据处理系统，加速层包括多个硬件，包括：通过DSP获取业务请求，业务请求携带有待处理数据和任务类型的标识，待处理数据为图像和/或视频；通过DSP根据标识确定算法模型；通过DSP将第一算法模型的输入数据划分为多个数据组，第一算法模型属于确定的算法模型，输入数据为待处理数据或待处理数据被处理后的数据；通过第一硬件对第一数据组或第一数据组被处理后的数据进行处理，同时通过DSP对第二数据组或第二数据组被处理后的数据进行处理，第一数据组和第二数据组属于多个数据组。本发明专利技术实施例，可以提高数据处理效率。

A data processing method, device and computer readable storage medium

【技术实现步骤摘要】
一种数据处理方法、装置及计算机可读存储介质
本专利技术涉及机器学习领域，具体涉及一种数据处理方法、装置及计算机可读存储介质。
技术介绍
随着计算机技术的不断发展，需要处理的数据越来越多。因此，为了提高数据处理效率，业界引入了深度学习(deeplearning)。深度学习是学习样本数据的内在规律和表示层次，以便可以使机器能够像人一样具有分析学习能力，能够处理数据。然而，随着深度学习中模型的结构越来越复杂，如果所有模型都通过软件来实现的话，模型处理数据的过程都是在数字信号处理器(digitalsignalprocessor，DSP)上进行，以致降低了数据处理效率。
技术实现思路
本专利技术实施例提供一种数据处理方法、装置及计算机可读存储介质，用于提高数据处理效率。第一方面提供一种数据处理方法，所述方法应用于数据处理系统，所述数据处理系统包括数字信号处理器DSP和加速层，所述加速层包括多个硬件，所述硬件为深度学习中用于算子运算的专用芯片，包括：通过所述DSP获取业务请求，所述业务请求携带有待处理数据和任务类型的标识，所述待处理数据为图像和/或视频；通过所述DSP根据所述任务类型的标识确定算法模型；通过所述DSP将第一算法模型的输入数据划分为多个数据组，所述第一算法模型属于确定的算法模型，所述输入数据为所述待处理数据或所述待处理数据被处理后的数据；通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理，所述第一硬件为所述多个硬件中的一个硬件，所述第一数据组和所述第二数据组属于所述多个数据组。由于算法模型处理数据的过程中不仅在DSP上进行，而且在硬件上进行，而硬件为研发人员根据需要自主研发的深度学习中用于算子运算的专用芯片，只用于处理某一个或多个算子的运算，可以提高这些算子的计算效率，从而可以提高数据处理效率。此外，由于实现了硬件和DSP的并行处理，因此，可以进一步提高数据处理效率。算子可以为激活算子、归一化算子、特征提取算子、防过拟合算子等。作为一种可能的实现方式，所述通过所述DSP将第一算法模型的输入数据划分为多个数据组包括：在第一算法模型的输入数据包括N个数据，所述N个数据分组处理不影响所述第一算法模型的输出结果，以及所述N大于M的情况下，通过所述DSP根据所述M对所述N个数据进行划分，得到多个数据组，所述N为大于1的整数，所述M为所述任务对应的缓存器当前能够处理的数据的数量。在缓存器的空间不够，且分开处理不影响处理结果的情况下，可以对待处理数据进行分组处理，因此，不需要等待缓存器的空间足够之后再进行处理，可以保证任务快速处理，从而可以提高数据处理效率。作为一种可能的实现方式，所述方法还包括：通过所述DSP根据所述任务类型的标识为所述任务配置硬件链路HL；所述任务对应的缓存器为所述HL对应的缓存器。作为一种可能的实现方式，所述方法还包括：通过所述DSP为所述HL配置信息，所述信息包括所述HL包括的队列的描述符，所述描述符用于描述硬件的工作方式；通过所述DSP确定所述第一算法模型包括的加速任务，所述加速任务携带有计算类型和计算数据，所述计算数据为所述第一数据组或所述第一数据组被处理后的数据；通过所述加速层从所述信息包括的描述符中选取所述计算类型对应的描述符；所述通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理包括：通过选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理。为任务的HL配置信息，以便可以根据该信息中的描述符快速准确地确定执行加速任务的硬件，可以进一步提高数据处理效率。作为一种可能的实现方式，所述通过选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理包括：通过所述加速层获取选取的描述符对应的第一硬件的驱动函数；通过所述驱动函数驱动所述选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理。为每个硬件配置有驱动函数，以便可以根据驱动函数驱动硬件工作。作为一种可能的实现方式，所述业务请求还携带有句柄的标识，所述方法还包括：通过所述DSP确定所述第一算法模型对应的消息回调函数表，所述消息回调函数表包括一个或多个消息回调函数；通过所述DSP根据所述第一算法模型和所述句柄的标识，确定所述任务的句柄；所述通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理包括：根据所述第一算法模型、所述消息回调函数表和所述句柄，通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理。由于算法模型根据消息回调函数设计，算法模型的交叉复用可以通过回调函数来实现，而不是通过状态机来实现，由于一个回调函数对应一个消息，针对不同应用场景只需要将不同的消息进行组合即可，因此，可以通过有限的消息组合达到对不同场景的覆盖。此外，在后续对算法模型进行扩展时，只需要增加消息即可，算法模型的可扩展性较强。因此，可以提高算法模型的适用性。此外，由于可以通过消息的标识调用对应的消息回调函数进行返回，可以减少处理步骤，因此，可以进一步提高数据处理效率。作为一种可能的实现方式，所述根据所述第一算法模型、所述消息回调函数表和所述句柄，通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理包括：通过所述DSP根据所述第一算法模型确定处理流程；通过所述DSP根据所述消息回调函数表确定所述处理流程中使用的消息的标识；在所述处理流程包括需要硬件处理的流程和需要DSP处理的流程的情况下，根据所述处理流程和所述使用的消息的标识对应的消息回调函数，通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理。第二方面提供一种数据处理装置，所述装置设置在数据处理系统上，所述数据处理系统包括数字信号处理器DSP和加速层，所述加速层包括多个硬件，所述硬件为深度学习中用于算子运算的专用芯片，包括：获取单元，用于通过所述DSP获取业务请求，所述业务请求携带有待处理数据和任务类型的标识，所述待处理数据为图像和/或视频；确定单元，用于通过所述DSP根据所述任务类型的标识确定算法模型；划分单元，用于通过所述DSP将第一算法模型的输入数据划分为多个数据组，所述第一算法模型属于确定的算法模型，所述输入数据为所述待处理数据或所述待处理数据被处理后的数据；处理单元，用于通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括数字信号处理器DSP和加速层，所述加速层包括多个硬件，所述硬件为深度学习中用于算子运算的专用芯片，包括：/n通过所述DSP获取业务请求，所述业务请求携带有待处理数据和任务类型的标识，所述待处理数据为图像和/或视频；/n通过所述DSP根据所述任务类型的标识确定算法模型；/n通过所述DSP将第一算法模型的输入数据划分为多个数据组，所述第一算法模型属于确定的算法模型，所述输入数据为所述待处理数据或所述待处理数据被处理后的数据；/n通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理，所述第一硬件为所述多个硬件中的一个硬件，所述第一数据组和所述第二数据组属于所述多个数据组。/n

【技术特征摘要】
20191231 CN 20191142131671.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括数字信号处理器DSP和加速层，所述加速层包括多个硬件，所述硬件为深度学习中用于算子运算的专用芯片，包括：
通过所述DSP获取业务请求，所述业务请求携带有待处理数据和任务类型的标识，所述待处理数据为图像和/或视频；
通过所述DSP根据所述任务类型的标识确定算法模型；
通过所述DSP将第一算法模型的输入数据划分为多个数据组，所述第一算法模型属于确定的算法模型，所述输入数据为所述待处理数据或所述待处理数据被处理后的数据；
通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理，所述第一硬件为所述多个硬件中的一个硬件，所述第一数据组和所述第二数据组属于所述多个数据组。


2.根据权利要求1所述的方法，其特征在于，所述通过所述DSP将第一算法模型的输入数据划分为多个数据组包括：
在第一算法模型的输入数据包括N个数据，所述N个数据分组处理不影响所述第一算法模型的输出结果，以及所述N大于M的情况下，通过所述DSP根据所述M对所述N个数据进行划分，得到多个数据组，所述N为大于1的整数，所述M为所述任务对应的缓存器当前能够处理的数据的数量。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
通过所述DSP根据所述任务类型的标识为所述任务配置硬件链路HL；
所述任务对应的缓存器为所述HL对应的缓存器。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过所述DSP为所述HL配置信息，所述信息包括所述HL包括的队列的描述符，所述描述符用于描述硬件的工作方式；
通过所述DSP确定所述第一算法模型包括的加速任务，所述加速任务携带有计算类型和计算数据，所述计算数据为所述第一数据组或所述第一数据组被处理后的数据；
通过所述加速层从所述信息包括的描述符中选取所述计算类型对应的描述符；
所述通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理包括：
通过选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理。


5.根据权利要求4所述的方法，其特征在于，所述通过选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理包括：
通过所述加速层获取选取的描述符对应的第一硬件的驱动函数；
通过所述驱动函数驱动所述选取的描述符对应的第一硬件根据所述选取的描述符对所述计算数据进行处理。


6.根据权利要求1所述的方法，其特征在于，所述业务请求还携带有句柄的标识，所述方法还包括：
...

【专利技术属性】
技术研发人员：奚健，王成波，叶国维，顾鹏，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44