一种数据处理方法以及数据处理系统技术方案

本申请公开了一种数据处理方法以及数据处理系统，应用于AI芯片的应用领域中。该方法包括：基于目标程序获取目标进程识别号PID，该目标程序为AI芯片协同执行的程序，该目标PID为目标程序对应的进程的PID。然后，基于目标PID获取第一占用率，该第一占用率表示目标PID对应的进程占用AI芯片的资源的状态，接着，在第一占用率超过第二占用率的情况下，停止执行目标进程，其中目标进程为第一占用率超过第二占用率的进程，该第二占用率为目标PID对应的进程占用AI芯片的资源的阈值。本申请在第一占用率超过第二占用率的情况下，停止执行目标进程能释放目标进程多占用的资源，确保其他程序的正常运行，同时减少硬件的辅助成本，且能广泛应用于使用AI芯片的领域。泛应用于使用AI芯片的领域。泛应用于使用AI芯片的领域。

【技术实现步骤摘要】
一种数据处理方法以及数据处理系统


[0001]本申请实施例涉及通信领域，尤其涉及一种数据处理方法以及数据处理系统。

技术介绍

[0002]随着人工智能(artificial intelligence，AI)技术的飞速发展，也伴随着越来越多的AI芯片的出现以及应用，AI芯片可以支持运行多个不同的程序，完成不同的功能。AI芯片的资源通常会大于一个程序的资源需求，因此为了避免浪费AI资源，期望在一个AI芯片上同时运行多个程序，以最大化资源利用率。
[0003]目前为了尽可能提高AI资源的利用率，通常采用硬件辅助的AI芯片虚拟化技术来实现。例如将一个AI芯片虚拟化分为多个独立的虚拟AI芯片，使得每个独立的虚拟AI芯片分别协同处理对应的程序。由此一个AI芯片能同时协同处理多个程序，最大化利用AI芯片资源。
[0004]但是，AI芯片虚拟化技术需要硬件的辅助，对AI芯片要求较高，实现成本较大，且对于没有硬件辅助的AI芯片来说，难以实现AI芯片的虚拟化以提高AI芯片资源的利用率。

技术实现思路

[0005]本申请提供了一种数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：基于目标程序获取目标进程识别号PID，所述目标程序为人工智能AI芯片协同执行的程序，所述目标PID为所述目标程序对应的进程的PID；基于所述目标PID获取第一占用率，所述第一占用率表示所述目标PID对应的进程占用所述AI芯片的资源的状态；在所述第一占用率超过第二占用率的情况下，停止执行目标进程，所述目标进程为所述第一占用率超过所述第二占用率的进程，所述第二占用率为所述目标PID对应的进程占用所述AI芯片的资源的阈值。2.根据权利要求1所述的方法，其特征在于，在所述停止执行目标进程之后，所述方法还包括：执行所述目标进程对应的程序。3.根据权利要求1或2所述的方法，其特征在于，该方法在操作系统的内核态或用户态下执行。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述方法还包括：获取第三占用率，所述第三占用率表示所述AI芯片的资源被占用的总体状态。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述方法还包括：基于显示进程记载所述第一占用率和/或所述第三占用率，所述显示进程为预设的程序对应的进程；或，基于虚拟文件系统记载所述第一占用率和/或所述第三占用率。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述方法还包括：通过日志、TRAP或告警任意一种方式记录所述目标PID以及对应的所述第一占用率，和/或所述目标进程。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述AI芯片的资源至少包括以下任意一项：AI芯片设备内存、AI加速资源或编解码资源。8.一种数据处理方法，其特征在于，包括：基于目标进程识别号PID获取第一占用率，所述目标PID为人工智能AI芯片协同执行的程序对应的进程的PID，所述第一占用率表示所述目标PID对应的进程占用所述AI芯片的资源的状态；发送所述第一占用率；在所述第一占用率超过第二占用率的情况下停止执行目标进程，所述目标进程为所述第一占用率超过所述第二占用率的进程，所述第二占用率为所述目标PID对应的进程占用所述AI芯片的资源的阈值。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：获取第三占用率，所述第三占用率表示所述AI芯片的资源被占用的总体状态；发送所述第三占用率。10.根据权利要求8或9所述的方法，其特征在于，所述AI芯片的资源至少包括以下任意一项：
AI芯片设备内存、AI加速资源或编解码资源。11.一种数据处理系统，其特征在于，所述数据处理系统包括：中央处理器CPU以及人工智能AI芯片；所述CPU，用于基于目标...

【专利技术属性】
技术研发人员：倪小珂，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：