一种基于分布式内存计算的大数据实时处理系统及方法技术方案

技术编号:11491035 阅读:128 留言:0更新日期:2015-05-21 12:10
本发明专利技术涉及一种基于分布式内存计算的大数据实时处理系统及方法,以分布的多个内存节点各自具有的内存资源形成资源池;在用户发起任务时,客户端向资源池的资源调度器传输任务,及固定时间间隔内的任务相关的增量数据来申请执行;所述资源调度器根据任务需要的内存资源在资源池中进行调配,指定资源池中相应的内存节点对任务相关的增量数据进行计算,并将其各自计算得到的局部结果存入资源池中;将被指定的各个内存节点计算得到的局部结果合并运算,得到全局的计算结果,向用户发送。本发明专利技术实现分布式内存集中使用,内存计算过程数据可恢复,以及数据实时增量计算,数据访问速度快,为用户提供实时的分析结果。

【技术实现步骤摘要】

【技术保护点】
一种基于分布式内存计算的大数据实时处理方法,其特征在于,以分布的多个内存节点各自具有的内存资源形成资源池;在用户发起任务时,客户端向资源池的资源调度器传输任务,及固定时间间隔内的任务相关的增量数据来申请执行;所述资源调度器根据任务需要的内存资源在资源池中进行调配,指定资源池中相应的内存节点对任务相关的增量数据进行计算,并将其各自计算得到的局部结果存入资源池中;将被指定的各个内存节点计算得到的局部结果合并运算,得到全局的计算结果,向用户发送。

【技术特征摘要】

【专利技术属性】
技术研发人员:姚海
申请(专利权)人:华存数据信息技术有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1