一种分布式系统中的数据处理方法及计算节点技术方案

技术编号:13548262 阅读:29 留言:0更新日期:2016-08-18 14:07
本发明专利技术公开了一种分布式系统中的数据处理方法,用于解决在分布式系统中进行数据查询时会造成内存浪费的技术问题。所述方法包括:接收所述主节点发送的第一任务;所述第一任务用于读取第一数据;确定所述第一数据是否存储在公共内存中;所述公共内存为所述第一从节点的任意一个线程池均能够访问的内存;若所述第一数据未存储在所述公共内存中,则将所述第一数据从存储设备加载到所述公共内存中;或,若所述第一数据存储在所述公共内存中,则在所述公共内存中确定所述第一数据;从所述公共内存中读取所述第一数据。本发明专利技术还公开了相应的计算节点。

【技术实现步骤摘要】
201610173862

【技术保护点】
一种分布式系统中的数据处理方法,应用于第一从节点中,所述分布式系统包括主节点和多个从节点,所述第一从节点为所述分布式系统中的任意一个从节点,所述方法包括:接收所述主节点发送的第一任务;所述第一任务用于读取第一数据;确定所述第一数据是否存储在公共内存中;所述公共内存为所述第一从节点的任意一个线程池均能够访问的内存;若所述第一数据未存储在所述公共内存中,则将所述第一数据从存储设备加载到所述公共内存中;或,若所述第一数据存储在所述公共内存中,则在所述公共内存中确定所述第一数据;从所述公共内存中读取所述第一数据。

【技术特征摘要】

【专利技术属性】
技术研发人员:吴磊
申请(专利权)人:联想北京有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1