智能大数据系统、提供智能大数据服务的方法和设备技术方案

本发明专利技术提供了一种智能大数据系统、提供智能大数据服务的方法和设备，该系统包括：数据仓库、存储设备以及包含多个计算节点的集群；数据仓库，用于存储从用户获取的任务数据；集群中的至少一个计算节点上包括资源调度组件，用于为任务进行资源调度，确定执行任务的计算节点；执行任务的计算节点上包括模型训练组件和/或预测组件；模型训练组件，用于依据任务数据，从存储设备中调用对应类型的学习模型；利用任务数据包括的样本数据和训练目标，对学习模型进行训练，得到任务对应的预测模型并存储于存储设备；预测组件，用于依据任务数据，从存储设备中调用对应类型的预测模型；将任务数据包括的预测数据输入预测模型，得到预测模型输出的预测结果。

【技术实现步骤摘要】
智能大数据系统、提供智能大数据服务的方法和设备
本专利技术涉及计算机应用
，特别涉及一种智能大数据系统、提供智能大数据服务的方法和设备。
技术介绍
大数据和人工智能技术近年来迅速发展，无论在新兴行业还是传统行业，已经有越来越多的企业借助大数据和人工智能技术帮助自己做出更好的商业分析与决策，“大数据+训练+预测”的应用模式越来越普遍。对于智能大数据的应用者来说，大多具有提供一定样本数据的提供能力，但如果自己搭建软硬件平台来进行模型训练和预测，一方面需要对深度学习算法和软硬件架构都非常了解，对应用者的知识水平要求很高；另一方面带来的开发成本也非常高。
技术实现思路
有鉴于此，本专利技术提供了一种智能大数据系统、提供智能大数据服务的方法和设备，以降低对智能大数据应用者的知识水平要求和开发成本。具体技术方案如下：本专利技术提供了一种智能大数据系统，该系统包括：数据仓库、存储设备以及包含多个计算节点的集群；所述数据仓库，用于存储从用户获取的任务数据；集群中的至少一个计算节点上包括资源调度组件，用于为所述任务进行资源调度，确定执行所述任务的计算节点；执行所述任务的计算节点包括模型训本文档来自技高网...

【技术保护点】
一种智能大数据系统，其特征在于，该系统包括：数据仓库、存储设备以及包含多个计算节点的集群；所述数据仓库，用于存储从用户获取的任务数据；集群中的至少一个计算节点上包括资源调度组件，用于为所述任务进行资源调度，确定执行所述任务的计算节点；执行所述任务的计算节点包括模型训练组件和/或预测组件；所述模型训练组件，用于依据所述任务数据，从存储设备中调用对应类型的学习模型；利用所述任务数据包括的样本数据和训练目标，对所述学习模型进行训练，得到所述任务对应的预测模型并存储于存储设备；所述预测组件，用于依据所述任务数据，从存储设备中调用对应类型的预测模型；将所述任务数据包括的预测数据输入所述预测模型，得到所述...

【技术特征摘要】
1.一种智能大数据系统，其特征在于，该系统包括：数据仓库、存储设备以及包含多个计算节点的集群；所述数据仓库，用于存储从用户获取的任务数据；集群中的至少一个计算节点上包括资源调度组件，用于为所述任务进行资源调度，确定执行所述任务的计算节点；执行所述任务的计算节点包括模型训练组件和/或预测组件；所述模型训练组件，用于依据所述任务数据，从存储设备中调用对应类型的学习模型；利用所述任务数据包括的样本数据和训练目标，对所述学习模型进行训练，得到所述任务对应的预测模型并存储于存储设备；所述预测组件，用于依据所述任务数据，从存储设备中调用对应类型的预测模型；将所述任务数据包括的预测数据输入所述预测模型，得到所述预测模型输出的预测结果。2.根据权利要求1所述的系统，其特征在于，所述存储设备包括：分布式存储系统。3.根据权利要求1所述的系统，其特征在于，所述集群中的计算节点包括：主节点和从节点；所述资源调度组件位于所述主节点；所述模型训练组件和/或预测组件位于所述从节点。4.根据权利要求3所述的方法，其特征在于，所述从节点还包括：代理组件，用于将所在从节点的信息注册至所述主节点。5.根据权利要求1所述的系统，其特征在于，所述计算节点包括：CPU、图形处理器GPU、现场可编程门阵列FPGA中的一种或任意组合。6.根据权利要求1所述的系统，其特征在于，所述计算节点上运行Linux操作系统并提供Python接口库。7.一种提供智能大数据服务的方法，其特征在于，该方法包括：获取用户的任务数据；在由多个计算节点构成的集群中为所述任务进行资源调度，确定执行所述任务的计算节点；在计算节点上执行所述任务包括：依据所述任务数据，从存储设备中调用对...

【专利技术属性】
技术研发人员：周恺，王倩，张发恩，刘昆，肖远昊，徐东泽，许天涵，孙家元，刘岚，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11