System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 应用场景的数据处理方法、系统、电子设备及存储介质技术方案_技高网

应用场景的数据处理方法、系统、电子设备及存储介质技术方案

技术编号:41240727 阅读:4 留言:0更新日期:2024-05-09 23:53
本申请公开了一种应用场景的数据处理方法、系统、电子设备及存储介质,属于人工智能技术领域。本申请通过获取当前应用场景对应的任务执行数据,其中,任务执行数据携带有需求使用NPU运算核的需求数量;检测各NPU运算核的运算核运行状态信息,根据运算核运行状态信息,确定各NPU运算核中处于空闲状态的空闲运算核;将任务执行数据分配至需求数量的空闲运算核上进行运算,得到运算结果数据,并根据运算结果数据进行当前应用场景的任务响应,从而实现根据当前应用场景对NPU的算力资源进行动态调度,避免NPU算力资源与应用场景强绑定,解决NPU算力资源与应用场景强绑定,导致NPU运行算力低的技术问题。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及应用场景的数据处理方法、系统、电子设备及存储介质


技术介绍

1、ai(artificial intelligence,人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳效果的理论、方法、技术及应用系统。传统的cpu(central processing unit,中央处理器)、gpu(graphics processing unit,图形处理器)等运算平台通常不能满足ai应用场景的算力需求,而npu(neural network processing unit,神经网络处理器)的出现,为更多ai应用场景的实际落地提供了基础性保障。

2、随着ai应用场景的丰富以及芯片集中化设计的发展需求,npu对于多种操作系统(或者说多种类型的ai应用场景)的同步支持,已成为npu设计越来越重要的性能指标。然而,目前大部分npu厂商仍采用硬件隔离式的方式来实现对多os(operating system,操作系统)的支持,该方式使得npu算力资源与ai应用场景强绑定,在某个指定ai应用场景未启用时,该指定ai应用场景所绑定部分的算力资源一直处于闲置状态,从而严重降低了npu在ai应用场景的实际运行环境下的运行算力。


技术实现思路

1、本申请的主要目的在于提供一种应用场景的数据处理方法、系统、电子设备及存储介质,旨在解决npu算力资源与应用场景强绑定,导致npu运行算力低的技术问题。

2、为实现上述目的,本申请提供一种应用场景的数据处理方法,包括:

3、获取当前应用场景对应的任务执行数据,其中,所述任务执行数据携带有需求使用npu运算核的需求数量;

4、检测各所述npu运算核的运算核运行状态信息,根据所述运算核运行状态信息,确定各所述npu运算核中处于空闲状态的空闲运算核;

5、将所述任务执行数据分配至所述需求数量的空闲运算核上进行运算,得到运算结果数据,并根据所述运算结果数据进行当前应用场景的任务响应。

6、在一些实施例中,所述将所述任务执行数据分配至所述需求数量的空闲运算核上进行运算,得到运算结果数据的步骤包括:

7、获取所述任务执行数据对应的虚拟空间地址,将所述虚拟空间地址转换为主机物理地址;

8、从所述主机物理地址中提取所述任务执行数据;

9、将提取的任务执行数据搬运至所述需求数量的空闲运算核上进行运算,得到运算结果数据。

10、在一些实施例中,所述将所述任务执行数据分配至所述需求数量的空闲运算核上进行运算,得到运算结果数据的步骤包括:

11、将初始卷积运算节点作为当前卷积运算节点,并将所述任务执行数据作为当前卷积运算节点的输入数据;

12、将当前卷积运算节点的输入数据分配至所述需求数量的空闲运算核上进行运算,得到当前卷积运算节点的输出数据;

13、将当前卷积运算节点对应下一卷积运算节点作为新的当前卷积运算节点,并将原来的当前卷积运算节点作为上一卷积运算节点;

14、将上一卷积运算节点的输出数据作为当前卷积运算节点的输入数据,并返回执行所述将当前卷积运算节点的输入数据分配至所述需求数量的空闲运算核上进行运算的步骤,直至所有卷积运算节点均运算完成,得到运算结果数据。

15、在一些实施例中,所述将当前卷积运算节点的输入数据分配至所述需求数量的空闲运算核上进行运算,得到当前卷积运算节点的输出数据的步骤包括:

16、将当前卷积运算节点的输入数据切分成所述需求数量份的分片任务数据,并将各所述分片任务数据对应分配至所述需求数量的空闲运算核上进行运算;

17、在各空闲运算核对所述分片任务数据运算完毕后,将各空闲运算核运算得到的运算分片数据进行组合,得到当前卷积运算节点的输出数据。

18、为实现上述目的,本申请提供一种应用场景的数据处理系统,所述应用场景的数据处理系统包括相互连接的中央处理器和神经网络处理器,所述中央处理器包括多个虚拟机vm模块,所述神经网络处理器包括npu运算核、npu控制模块和虚拟化控制vmu模块:

19、各所述vm模块分别绑定至少一种ai应用,其中,一种ai应用映射一种应用场景;

20、所述vmu模块设置为获取来自于所述vm模块中ai应用所产生的任务执行数据,其中,所述任务执行数据携带有需求使用npu运算核的需求数量;

21、所述npu控制模块设置为检测各所述npu运算核的运算核运行状态信息,根据所述运算核运行状态信息,确定各所述npu运算核中处于空闲状态的空闲运算核,并将所述任务执行数据分配至所述需求数量的空闲运算核上进行运算,得到运算结果数据;

22、所述vm模块设置为根据所述运算结果数据进行当前应用场景的任务响应。

23、在一些实施例中,所述中央处理器还包括内存管理mmu模块,所述vmu模块包括内存管理smmu单元和直接存储访问dma单元,

24、所述mmu模块设置为获取所述任务执行数据对应的虚拟空间地址,将所述虚拟空间地址转换为主机物理地址,并将访客物理地址,以及所述访客物理地址与主机物理地址的地址映射关系发送至所述smmu单元;

25、所述smmu单元设置为接收所述mmu模块发送的所述访客物理地址和所述地址映射关系,根据发送的地址映射关系将所述访客物理地址映射为主机物理地址,将映射为的主机物理地址发送至dma单元;

26、所述dma单元设置为接收所述smmu单元发送的主机物理地址,并从发送的主机物理地址中提取所述任务执行数据;

27、所述npu控制模块设置为将提取的任务执行数据搬运至所述需求数量的空闲运算核上运算,得到运算结果数据。

28、在一些实施例中,所述vmu模块还包括中断控制单元,

29、所述npu控制模块设置为将初始卷积运算节点作为当前卷积运算节点,并将所述任务执行数据作为当前卷积运算节点的输入数据,将当前卷积运算节点的输入数据分配至所述需求数量的空闲运算核上进行运算;

30、所述中断控制单元设置为判断各所述空闲运算核是否对当前卷积运算节点的输入数据运算完毕,在各所述空闲运算核对当前卷积运算节点的输入数据全部运算完毕后,发送第一中断信号至所述npu控制模块;

31、所述npu控制模块设置为根据所述第一中断信号将当前卷积运算节点对应下一卷积运算节点作为新的当前卷积运算节点,将原来的当前卷积运算节点作为上一卷积运算节点,并将上一卷积运算节点的输出数据作为当前卷积运算节点的输入数据,将当前卷积运算节点的输入数据分配至所述需求数量的空闲运算核上进行运算,得到当前卷积运算节点的输出数据,直至所有卷积运算节点均运算完成,得到运算结果数据。

32、在一些实施例中,所述npu控制模块设置为将当前卷积运算节点的输入数据切分成所述需求数量份的分片任务本文档来自技高网...

【技术保护点】

1.一种应用场景的数据处理方法,其特征在于,包括:

2.如权利要求1所述的应用场景的数据处理方法,其特征在于,所述将所述任务执行数据分配至所述需求数量的空闲运算核上进行运算,得到运算结果数据的步骤包括:

3.如权利要求1所述的应用场景的数据处理方法,其特征在于,所述将所述任务执行数据分配至所述需求数量的空闲运算核上进行运算,得到运算结果数据的步骤包括:

4.如权利要求3所述的应用场景的数据处理方法,其特征在于,所述将当前卷积运算节点的输入数据分配至所述需求数量的空闲运算核上进行运算,得到当前卷积运算节点的输出数据的步骤包括:

5.一种应用场景的数据处理系统,其特征在于,所述应用场景的数据处理系统包括相互连接的中央处理器和神经网络处理器,所述中央处理器包括多个虚拟机VM模块,所述神经网络处理器包括NPU运算核、NPU控制模块和虚拟化控制VMU模块:

6.如权利要求5所述的应用场景的数据处理系统,其特征在于,所述中央处理器还包括内存管理MMU模块,所述VMU模块包括内存管理SMMU单元和直接存储访问DMA单元,

7.如权利要求5所述的应用场景的数据处理系统,其特征在于,所述VMU模块还包括中断控制单元,

8.如权利要求7所述的应用场景的数据处理系统,其特征在于,所述NPU控制模块设置为将当前卷积运算节点的输入数据切分成所述需求数量份的分片任务数据,并将各所述分片任务数据对应分配至所述需求数量的空闲运算核上进行运算;

9.一种电子设备,其特征在于,包括如上权利要求5至8中任一项所述的中央处理器、神经网络处理器、存储器、以及存储在所述存储器上并可在所述中央处理器和/或所述神经网络处理器上运行的应用场景的数据处理程序,所述应用场景的数据处理程序被所述中央处理器和/或所述神经网络处理器执行时实现如权利要求1至4中任一项所述应用场景的数据处理方法的步骤。

10.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有应用场景的数据处理程序,所述应用场景的数据处理程序被处理器执行时实现如权利要求1至4中任一项所述的应用场景的数据处理方法的步骤。

...

【技术特征摘要】

1.一种应用场景的数据处理方法,其特征在于,包括:

2.如权利要求1所述的应用场景的数据处理方法,其特征在于,所述将所述任务执行数据分配至所述需求数量的空闲运算核上进行运算,得到运算结果数据的步骤包括:

3.如权利要求1所述的应用场景的数据处理方法,其特征在于,所述将所述任务执行数据分配至所述需求数量的空闲运算核上进行运算,得到运算结果数据的步骤包括:

4.如权利要求3所述的应用场景的数据处理方法,其特征在于,所述将当前卷积运算节点的输入数据分配至所述需求数量的空闲运算核上进行运算,得到当前卷积运算节点的输出数据的步骤包括:

5.一种应用场景的数据处理系统,其特征在于,所述应用场景的数据处理系统包括相互连接的中央处理器和神经网络处理器,所述中央处理器包括多个虚拟机vm模块,所述神经网络处理器包括npu运算核、npu控制模块和虚拟化控制vmu模块:

6.如权利要求5所述的应用场景的数据处理系统,其特征在于,所述中央处理器还包括内存管理mmu模块,所述vmu模块包括内存管理smmu...

【专利技术属性】
技术研发人员:沈正福黄同高谢武锋周玮
申请(专利权)人:深圳市中兴微电子技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1