一种数据处理系统技术方案

本发明专利技术实施例提供一种数据处理系统，包括：DSP、任务池和加速层：DSP分别耦合任务池和加速层；任务池，用于接收来自AP的业务请求，存储业务请求，业务请求携带有待处理数据和任务类型的标识；DSP，用于从任务池获取业务请求，根据业务请求生成携带有待处理数据和任务类型的标识的任务，根据任务类型的标识确定算法模型，使用算法模型调用加速层中的硬件对待处理数据进行处理，硬件为深度学习中用于算子运算的专用芯片。本发明专利技术实施例，可以提高数据处理效率。

A data processing system

【技术实现步骤摘要】
一种数据处理系统
本专利技术涉及机器学习领域，具体涉及一种数据处理系统。
技术介绍
随着计算机技术的不断发展，需要处理的数据越来越多。因此，为了提高数据处理效率，业界引入了深度学习(deeplearning)。深度学习是学习样本数据的内在规律和表示层次，以便可以使机器能够像人一样具有分析学习能力，能够处理数据。然而，随着深度学习中模型的结构越来越复杂，如果所有模型都通过软件来实现的话，模型处理数据的过程都是在数字信号处理器(digitalsignalprocessor，DSP)上进行，以致降低了数据处理效率。
技术实现思路
本专利技术实施例提供一种数据处理系统，用于提高数据处理效率。第一方面提供一种数据处理系统，包括DSP、任务池和加速层，其中：所述DSP分别耦合所述任务池和所述加速层；所述任务池，用于接收来自应用处理器(applicationprocessor，AP)的业务请求，存储所述业务请求，所述业务请求携带有待处理数据和任务类型的标识，所述待处理数据为图像或视频；所述DSP，用于从所述任务池获取所述业务请求，根据所述业务请求生成携带有所述待处理数据和所述任务类型的标识的任务，根据所述任务类型的标识确定算法模型，使用所述算法模型调用所述加速层中的硬件对所述待处理数据进行处理，所述硬件为深度学习中用于算子运算的专用芯片。由于处理数据是在DSP和硬件上进行的，而硬件为研发人员根据需要自主研发的深度学习中用于算子运算的专用芯片，只用于处理某一个或多个算子的运算，可以提高这些算子的计算效率，因此，在硬件上处理数据可以提高数据处理效率。作为一种可能的实现方式，所述系统还包括中断模块，所述中断模块耦合所述任务池；所述中断模块，用于接收来自AP的业务请求，向所述任务池发送所述业务请求；所述任务池接收来自AP的业务请求包括：所述任务池接收来自所述中断模块的业务请求。作为一种可能的实现方式，所述系统还包括消息接收模块，所述消息接收模块分别耦合所述中断模块和所述任务池；所述消息接收模块，用于接收来自所述中断模块的业务请求，向所述任务池发送所述业务请求；所述任务池接收来自所述中断模块的业务请求包括：所述任务池接收来自所述消息接收模块的业务请求。作为一种可能的实现方式，所述加速层包括硬件加速模块和硬件驱动模块，所述DSP使用所述算法模型调用所述加速层中的硬件对所述待处理数据进行处理包括：在所述任务包括硬件加速任务的情况下，所述DSP向所述硬件加速模块发送加速任务，所述加速任务携带有所述待处理数据中所需计算数据和计算类型；所述硬件加速模块，用于接收来自所述DSP的加速任务，根据所述计算类型确定硬件，向所述硬件驱动模块发送用于获取所述硬件的驱动函数的获取请求；所述硬件驱动模块，用于接收来自所述硬件加速模块的获取请求，向所述硬件加速模块发送所述硬件的驱动函数；所述硬件加速模块，还用于接收来自所述硬件驱动模块的驱动函数，使用所述驱动函数驱动所述硬件对所述所需计算数据进行计算。可见，硬件加速模块可以使用硬件驱动模块中的驱动函数驱动硬件加速模块中对应的硬件进行计算，不同的硬件可以处理不同的加速任务，可以提高数据处理效率。由于硬件为研发人员根据需要自主研发的专用芯片，计算速度快，因此，可以进一步提高数据处理效率。作为一种可能的实现方式，所述系统还包括双倍速率(doubledatarate，DDR)存储器，所述DDR存储器耦合所述硬件加速模块；所述硬件加速模块，还用于将计算结果存储至所述DDR存储器，向所述DSP发送所述计算结果在所述DDR存储器中的存储地址；所述DSP，还用于接收来自所述硬件加速模块的存储地址；所述DDR存储器，用于接收来自所述硬件加速模块的计算结果，存储所述计算结果。作为一种可能的实现方式，所述系统还包括消息发送模块，所述消息发送模块分别耦合所述DSP和所述DDR存储器；所述DSP，还用于向所述消息发送模块发送包括所述存储地址的处理结果；所述消息发送模块，用于接收来自所述DSP的处理结果，从所述存储地址获取所述计算结果，向所述AP发送包括所述计算结果的处理结果。作为一种可能的实现方式，所述消息发送模块向所述AP发送包括所述计算结果的处理结果包括：所述消息发送模块通过消息组包函数向所述AP发送包括所述计算结果的处理结果。作为一种可能的实现方式，所述DSP包括至少两个DSP，所述任务池包括共享任务池和所述至少两个DSP中每个DSP对应的任务池，所述业务请求还携带有用于指示所述业务请求的类型的指示信息；所述消息接收模块向所述任务池发送所述业务请求包括：在所述指示信息指示所述业务请求为共享业务请求的情况下，所述消息接收模块向所述共享任务池发送所述业务请求；在所述指示信息指示所述业务请求为第一DSP处理的业务请求的情况下，所述消息接收模块向所述第一DSP对应的任务池发送所述业务请求，所述第一DSP为所述至少两个DSP中的任一DSP。由于至少两个DSP可以并行调度任务，可以提高调度处理能力，因此，可以提高计算资源的利用率，从而可以进一步提高数据处理效率。作为一种可能的实现方式，所述中断模块，还用于向所述消息接收模块发送携带有所述业务请求的标识的中断；所述消息接收模块，还用于接收来自所述中断模块的中断，在所述指示信息指示所述业务请求为共享业务请求的情况下，向所述至少两个DSP分别发送所述中断，在所述指示信息指示所述业务请求为所述第一DSP处理的业务请求的情况下，向所述第一DSP发送所述中断；所述第一DSP，还用于接收来自所述消息接收模块的中断，在所述第一DSP处于空闲状态的情况下，根据所述中断从所述共享任务池或所述第一DSP对应的任务池中获取所述业务请求。由于DSP可以根据中断确定任务池中是否存在需要处理的业务请求，因此，DSP可以不必定期检测任务池中是否存在需要处理的业务请求，以便在任务池中不存在业务请求的情况下，可以减少不必要的检测。作为一种可能的实现方式，在所述指示信息指示所述业务请求为共享业务请求的情况下，所述共享任务池，还用于所述业务请求被所述第一DSP取走后，向第二DSP发送所述业务请求被处理的信息，所述第二DSP为所述至少两个DSP中除所述第一DSP之外的DSP；所述第二DSP，还用于接收来自所述共享任务池的信息，根据所述信息删除所述中断。在共享任务池中的业务请求被一个DSP取走之后，共享任务池可以通知其它DSP该业务请求已被取走或处理，以便其他DSP从共享任务池获取已被处理的业务请求，可以提高数据处理效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，包括数字信号处理器DSP、任务池和加速层，其中：/n所述DSP分别耦合所述任务池和所述加速层；/n所述任务池，用于接收来自应用处理器AP的业务请求，存储所述业务请求，所述业务请求携带有待处理数据和任务类型的标识，所述待处理数据为图像或视频；/n所述DSP，用于从所述任务池获取所述业务请求，根据所述业务请求生成携带有所述待处理数据和所述任务类型的标识的任务，根据所述任务类型的标识确定算法模型，使用所述算法模型调用所述加速层中的硬件对所述待处理数据进行处理，所述硬件为深度学习中用于算子运算的专用芯片。/n

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括数字信号处理器DSP、任务池和加速层，其中：
所述DSP分别耦合所述任务池和所述加速层；
所述任务池，用于接收来自应用处理器AP的业务请求，存储所述业务请求，所述业务请求携带有待处理数据和任务类型的标识，所述待处理数据为图像或视频；
所述DSP，用于从所述任务池获取所述业务请求，根据所述业务请求生成携带有所述待处理数据和所述任务类型的标识的任务，根据所述任务类型的标识确定算法模型，使用所述算法模型调用所述加速层中的硬件对所述待处理数据进行处理，所述硬件为深度学习中用于算子运算的专用芯片。


2.根据权利要求1所述的系统，其特征在于，所述系统还包括中断模块，所述中断模块耦合所述任务池；
所述中断模块，用于接收来自AP的业务请求，向所述任务池发送所述业务请求；
所述任务池接收来自AP的业务请求包括：
所述任务池接收来自所述中断模块的业务请求。


3.根据权利要求2所述的系统，其特征在于，所述系统还包括消息接收模块，所述消息接收模块分别耦合所述中断模块和所述任务池；
所述消息接收模块，用于接收来自所述中断模块的业务请求，向所述任务池发送所述业务请求；
所述任务池接收来自所述中断模块的业务请求包括：
所述任务池接收来自所述消息接收模块的业务请求。


4.根据权利要求1-3任一项所述的系统，其特征在于，所述加速层包括硬件加速模块和硬件驱动模块，所述DSP使用所述算法模型调用所述加速层中的硬件对所述待处理数据进行处理包括：
在所述任务包括硬件加速任务的情况下，所述DSP向所述硬件加速模块发送加速任务，所述加速任务携带有所述待处理数据中所需计算数据和计算类型；
所述硬件加速模块，用于接收来自所述DSP的加速任务，根据所述计算类型确定硬件，向所述硬件驱动模块发送用于获取所述硬件的驱动函数的获取请求；
所述硬件驱动模块，用于接收来自所述硬件加速模块的获取请求，向所述硬件加速模块发送所述硬件的驱动函数；
所述硬件加速模块，还用于接收来自所述硬件驱动模块的驱动函数，使用所述驱动函数驱动所述硬件对所述所需计算数据进行计算。


5.根据权利要求4所述的系统，其特征在于，所述系统还包括双倍速率DDR存储器，所述DDR存储器耦合所述硬件加速模块；
所述硬件加速模块，还用于将计算结果存储至所述DDR存储器，向所述DSP发送所述计算结果在所述DDR存储器中的存储地址；
所述DSP，还用于接收来...

【专利技术属性】
技术研发人员：奚健，王成波，叶国维，顾鹏，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44