【技术实现步骤摘要】
本专利技术涉及负载调配领域，尤其涉及一种数据处理的方法、装置、计算机设备及存储介质。
技术介绍
1、gpu(图形处理器，全称为graphics processing unit)，又称显示核心、视觉处理器、显示芯片，是一种专门在设备上进行运算工作的微处理器。现有技术中，由于gpu相较于cpu(中央处理器，简称central processing unit)的运算速度更快，因此，许多深度学习的模型被部署在配置了gpu的服务器上面。然而，由于配置了gpu的服务器的价格相对于只有cpu的服务器的价格更高，故此，gpu的资源利用率将显得尤为重要。
2、传统方案中，gpu对数据进行处理时，处理进程一般按顺序分为三个模块：前处理模块、模型推理模块和后处理模块。这些数据包括但不仅限于业务数据、交易数据和支付数据等。但实际上，gpu相较于cpu对数据的处理速度更快主要是由于在模型推理模块中的运算速度。而gpu对数据处理时经过的三个模块是以串联链路的方式逐一进行的，因此，数据处于前处理模块和后处理模块流程时，不仅耗费了大量时间，还占用了gpu资源，这导致了gpu资源利用率低下。
技术实现思路
1、本专利技术实施例提供一种数据处理的方法、装置、计算机设备及存储介质，以解决gpu资源利用率低下的问题。
2、一种数据处理的方法，包括：
3、将获取到的待处理数据发送给cpu进程；
4、在所述cpu进程中，对待处理数据进行样本前处理，得出样本数据；
5
6、在所述gpu进程中，对所述样本数据进行模型推理，得出所述样本数据的推理数据；
7、将所述推理数据发送给所述cpu进程；
8、在所述cpu进程中，对所述推理数据进行数据后处理，得出目标数据；
9、将所述目标数据作为所述待处理数据的处理结果。
10、在一种可能的设计中，所述将获取到的待处理数据发送给cpu进程之前，所述方法还包括：
11、创建一个主进程，并通过所述主进程获取对所述待处理数据进行处理的处理请求；
12、在所述主进程中，解析所述处理请求，得出所述待处理数据；
13、创建一个或多个所述cpu进程，以接收所述待处理数据。
14、在一种可能的设计中，所述通过所述解析所述处理请求，得出所述待处理数据之后，所述方法还包括：
15、将所述主进程获取到的所有数据作为任务数据，所述任务数据包括所述待处理数据、所述样本数据、所述推理数据和所述目标数据；
16、在所述主进程中，获取所述任务数据将要进行的数据任务流程；
17、按照所述数据任务流程的流程顺序，对所述任务数据进行处理。
18、在一种可能的设计中，所述按照所述数据任务流程的流程顺序，对所述任务数据进行处理，包括：
19、当所述主进程解析出所述待处理数据时，将所述待处理数据发送给所述cpu进程；
20、当所述主进程获取到所述样本数据时，将所述样本数据发送给所述gpu进程；
21、当所述主进程获取到所述推理数据时，将所述推理数据发送给所述cpu进程；
22、当所述主进程获取到所述目标数据时，将所述目标数据作为所述处理请求的返回值。
23、在一种可能的设计中，所述将所述目标数据作为所述待处理数据的处理结果之后，所述方法还包括：
24、获取所述待处理数据在所述cpu进程中进行样本前处理的时长，得到前处理时间；
25、获取所述推理数据在所述cpu进程中进行数据后处理的时长，得到后处理时间；
26、获取所述样本数据在所述gpu进程中进行模型推理的时长，得到模型推理时间；
27、根据所述目标数据、所述前处理时间、所述后处理时间、所述模型推理时间，组成目标页面。
28、在一种可能的设计中，所述根据所述目标数据、所述前处理时间、所述后处理时间、所述模型推理时间，组成目标页面，包括：
29、通过所述前处理时间、所述后处理时间和所述模型推理时间，计算出所述目标数据的处理过程所提升的gpu资源利用率；
30、将所述目标数据和所述gpu资源利用率展示在所述目标页面上。
31、在一种可能的设计中，通过所述前处理时间、所述后处理时间和所述模型推理时间，计算出所述目标数据的处理过程所提升的gpu资源利用率，包括：
32、将所述前处理时间与所述后处理时间相加，得出处理时间；
33、将所述前处理时间、所述后处理时间和所述模型推理时间相加，得出总时间；
34、将所述处理时间与所述总时间的比值，作为所述gpu资源利用率。
35、一种数据处理的装置，包括：
36、获取模块，用于将获取到的待处理数据发送给cpu进程；
37、前处理模块，用于在所述cpu进程中，对待处理数据进行样本前处理，得出样本数据；
38、第一发送模块，用于将所述样本数据发送给gpu进程；
39、模型推理模块，用于在所述gpu进程中，对所述样本数据进行模型推理，得出所述样本数据的推理数据；
40、第二发送模块，用于将所述推理数据发送给所述cpu进程；
41、后处理模块，用于在所述cpu进程中，对所述推理数据进行数据后处理，得出目标数据；
42、返回模块，用于将所述目标数据作为所述待处理数据的处理结果。
43、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据处理的方法的步骤。
44、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理的方法的步骤。
45、上述数据处理的方法、装置、计算机设备及存储介质，通过将获取到的待处理数据发送给cpu进程；在cpu进程中，对待处理数据进行样本前处理，得出样本数据；将样本数据发送给gpu进程；在gpu进程中，对样本数据进行模型推理，得出样本数据的推理数据；将推理数据发送给cpu进程；在cpu进程中，对推理数据进行数据后处理，得出目标数据；将目标数据作为待处理数据的处理结果。由于在cpu进程中进行样本前处理和数据后处理，也就是前处理模块和后处理模块移动到cpu中，因此，gpu只需要专注于对获取到的样本数据进行模型推理，这减少了gpu在进行样本前处理和数据后处理时占用的资源，极大地提升了gpu资源的利用率。
本文档来自技高网...【技术保护点】
1.一种数据处理的方法，其特征在于，包括：
2.如权利要求1所述数据处理的方法，其特征在于，所述将获取到的待处理数据发送给CPU进程之前，所述方法还包括：
3.如权利要求2所述数据处理的方法，其特征在于，所述通过所述解析所述处理请求，得出所述待处理数据之后，所述方法还包括：
4.如权利要求3所述数据处理的方法，其特征在于，所述按照所述数据任务流程的流程顺序，对所述任务数据进行处理，包括：
5.如权利要求1所述数据处理的方法，其特征在于，所述将所述目标数据作为所述待处理数据的处理结果之后，所述方法还包括：
6.如权利要求5所述数据处理的方法，其特征在于，所述根据所述目标数据、所述前处理时间、所述后处理时间、所述模型推理时间，组成目标页面，包括：
7.如权利要求6所述数据处理的方法，其特征在于，通过所述前处理时间、所述后处理时间和所述模型推理时间，计算出所述目标数据的处理过程所提升的GPU资源利用率，包括：
8.一种数据处理的装置，其特征在于，包括：
9.一种计算机设备，包括存储器、处理器
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据处理的方法的步骤。
...【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
2.如权利要求1所述数据处理的方法，其特征在于，所述将获取到的待处理数据发送给cpu进程之前，所述方法还包括：
3.如权利要求2所述数据处理的方法，其特征在于，所述通过所述解析所述处理请求，得出所述待处理数据之后，所述方法还包括：
4.如权利要求3所述数据处理的方法，其特征在于，所述按照所述数据任务流程的流程顺序，对所述任务数据进行处理，包括：
5.如权利要求1所述数据处理的方法，其特征在于，所述将所述目标数据作为所述待处理数据的处理结果之后，所述方法还包括：
6.如权利要求5所述数据处理的方法，其特征在于，所述根据所述目标数据、所述前处理时间、所述后...
【专利技术属性】
技术研发人员：颜二奇，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。