一种模型预测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开一种模型预测方法、装置、电子设备及存储介质，涉及计算机技术领域，能够有效提高模型预测过程中的数据吞吐量。所述预测方法包括：接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；对各所述子模型的预测打分的分数进行加权求和，以获得所述预测模型的预测结果。本发明专利技术适用于图像分析和预测中。

【技术实现步骤摘要】
一种模型预测方法、装置、电子设备及存储介质
本专利技术涉及计算机
，尤其涉及一种模型预测方法、装置、电子设备及存储介质。
技术介绍
TensorFlow是基于gRPC(googleRemoteProcedureCallProtocol，远程过程调用协议)实现的机器学习框架，可以在该框架下通过机器学习训练出各种模型，以便用于对相应的问题进行预测。然而，由于训练出的模型一般都较为复杂，在运行模型进行预测的过程中常常需要经过大量计算，容易出现数据吞吐量低等问题。
技术实现思路
有鉴于此，本专利技术实施例提供一种模型预测方法、装置、电子设备及存储介质，能够有效提高模型预测过程中的数据吞吐量。第一方面，本专利技术实施例提供一种模型预测方法，包括：接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；对各所述子模型的预测打分的分数进行加权求和，以获得所述预测模型的预测结果。结合第一方面，在第一方面的第一种实施方式中，每个所述线程由CPU(centralprocessunit，中央处理器)或GPU(GraphicsProcessingUnit，图形处理器)执行。结合第一方面，在第一方面的第二种实施方式中，所述接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分包括：接收所述输入数据并将所述输入数据分配给至少两个子模型，其中每个子模型通过单独一个进程驱动；将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作；将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分。结合第一方面的第二种实施方式，在第一方面的第三种实施方式中，所述将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作之后，所述将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分之前，所述方法还包括：将所述第一线程预处理后的数据存入缓冲队列；从所述缓冲队列中读取所述预处理后的数据到所述至少两个第二线程。结合第一方面的第二种实施方式，在第一方面的第四种实施方式中，所述第一线程由CPU执行，所述第二线程由GPU执行。第二方面，本专利技术的实施例还提供一种模型预测装置，包括：分配单元，用于接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；求和单元，用于对各所述子模型的预测打分的分数进行加权求和，以获得所述预测模型的预测结果。结合第二方面，在第二方面的第一种实施方式中，每个所述线程由中央处理器CPU或图形处理器GPU执行。结合第二方面，在第二方面的第二种实施方式中，所述分配单元包括：进程分配模块，用于接收所述输入数据并将所述输入数据分配给至少两个子模型，其中每个子模型通过单独一个进程驱动；第一线程分配模块，用于将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作；第二线程分配模块，用于将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分。结合第二方面的第二种实施方式，在第二方面的第三种实施方式中，所述分配单元还包括：存入模块，用于在将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作之后，将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分之前，将所述第一线程预处理后的数据存入缓冲队列；读取模块，用于从所述缓冲队列中读取所述预处理后的数据到所述至少两个第二线程。结合第二方面的第二种实施方式，在第二方面的第四种实施方式中，所述第一线程由中央处理器CPU执行，所述第二线程由图形处理器GPU执行。第三方面，本专利技术的实施例还提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行本专利技术的实施例提供的任一种模型预测方法。第四方面，本专利技术的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本专利技术的实施例提供的任一种模型预测方法。本专利技术的实施例提供的模型预测方法、装置、电子设备、存储介质，在利用基于TensorFlow框架构建的预测模型进行预测时，能够将输入模型的数据分配到至少两个子模型中分别进行预测打分，然后再对各子模型预测打分的分数进行加权求和得到预测结果。由于在预测打分过程中，每个子模型都由单独的进程驱动且每个进程中又包括至少两个线程，可以进行并行数据处理，因此大大提高了模型预测过程中的数据吞吐量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术的实施例提供的模型预测方法的一种流程图；图2为本专利技术的实施例提供的模型预测方法的一种程序执行逻辑示意图；图3为图2所示的程序执行逻辑对应的GPU占用效果的一种示意图；图4为本专利技术的实施例提供的模型预测方法的另一种程序执行逻辑示意图；图5为图4所示的程序执行逻辑对应的GPU占用效果的一种示意图；图6为本专利技术的实施例提供的模型预测方法的一种详细流程图；图7为本专利技术的实施例提供的模型预测装置的一种结构示意图；图8为本专利技术的实施例提供的电子设备的一种结构示意图。具体实施方式下面结合附图对本专利技术实施例进行详细描述。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。第一方面，本专利技术的实施例提供一种模型预测方法，在利用基于TensorFlow框架构建的预测模型进行预测时，能够将输入模型的数据分配到至少两个子模型中分别进行预测打分，其中每个子模型都由单独的进程驱动，且每个进程中又包括至少两个线程，这样在预测打分的过程中，可以进行并行数据处理，因此大大提高了模型预测过程中的数据吞吐量。如图1所示，本专利技术的实施例提供的模型预测方法，可包括：S11，接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；其中，本专利技术实施例中的预测模型是基于TensorFlow框架训练出的模型，可以用于图像识别和语音识别等深度学习。TensorFlow是一种采用数据流图(dataflowgraphs)的方式进行数值计算的开源软件库。本专利技术的实施例提供的模型预测方法，可以应用于视频推荐领域中，用开源深度学习框架TensorFlow进行关键帧图片分析，并据本文档来自技高网...

【技术保护点】
1.一种模型预测方法，其特征在于，包括：接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；对各所述子模型的预测打分的分数进行加权求和，以获得所述预测模型的预测结果。

【技术特征摘要】
1.一种模型预测方法，其特征在于，包括：接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；对各所述子模型的预测打分的分数进行加权求和，以获得所述预测模型的预测结果。2.根据权利要求1所述的方法，其特征在于，每个所述线程由中央处理器CPU或图形处理器GPU执行。3.根据权利要求1所述的方法，其特征在于，所述接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分包括：接收所述输入数据并将所述输入数据分配给至少两个子模型，其中每个子模型通过单独一个进程驱动；将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作；将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分。4.根据权利要求3所述的方法，其特征在于，所述将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作之后，所述将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分之前，所述方法还包括：将所述第一线程预处理后的数据存入缓冲队列；从所述缓冲队列中读取所述预处理后的数据到所述至少两个第二线程。5.根据权利要求3所述的方法，其特征在于，所述第一线程由中央处理器CPU执行，所述第二线程由图形处理器GPU执行。6.一种模型预测装置，其特征在于，包括：分配单元，用于接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分...

【专利技术属性】
技术研发人员：赵义龙，
申请(专利权)人：珠海市君天电子科技有限公司，
类型：发明
国别省市：广东,44