【技术实现步骤摘要】
基于硬件特性的分布式共享内存方法及系统
本专利技术涉及分布式计算平台
,具体地,涉及基于硬件特性的分布式共享内存方法及系统。
技术介绍
在大数据计算领域,计算应用运行在由许多服务器或工作站构成的集群上或者数据中心里,共享内存技术是构成这些计算应用的下层基础框架的技术之一。共享内存技术为上层的应用提供一种统一的地址空间的抽象,使得运行在不同硬件单元上的计算任务可以用统一的寻址方式访问本地内存的内容以及远程硬件单元上的内存内容。单机共享内存方案已经广泛应用于多核处理器中;分布式共享内存也已被应用于分布式键值存储系统、分布式事务处理系统等应用场景中。早期的分布式共享内存技术是建立在传统的慢速网络之上的,例如目前广泛应用的以太网。早期的分布式共享内存技术主要目标是解决共享内存一致性问题,即保证多台机器同时对共享数据的读取和修改操作能最终得到正确的结果,就好像只有一个人在执行计算任务一样。这些技术让程序员可以像在单机上编程一样编写运行在分布式系统上的应用。早期分布式共享内存技术的主要缺点是完全使用软件来维护共享内存一致性,而维护的开销很大,导致使用这种技术的分布式计算 ...
【技术保护点】
一种基于硬件特性的分布式共享内存方法,其特征在于,包括如下步骤:控制远端程序访问内存权限步骤:使用单边RDMA读操作和写操作绕过远端处理器读取和修改远端进程的页表项;内存共享步骤:实现不同多核处理器之间的层级化内存共享;线程同步操作步骤:使用原子RDMA操作实现线程同步操作。
【技术特征摘要】
1.一种基于硬件特性的分布式共享内存方法,其特征在于,包括如下步骤:控制远端程序访问内存权限步骤:使用单边RDMA读操作和写操作绕过远端处理器读取和修改远端进程的页表项;内存共享步骤:实现不同多核处理器之间的层级化内存共享;线程同步操作步骤:使用原子RDMA操作实现线程同步操作。2.根据权利要求1所述的基于硬件特性的分布式共享内存方法,其特征在于,所述控制远端程序访问内存权限步骤中的单边RDMA操作是一种由RDMA网卡提供的底层接口,能够在不占用远程CPU资源的情况下读取或者修改远程内存的内容。3.根据权利要求1所述的基于硬件特性的分布式共享内存方法,其特征在于,所述内存共享步骤中同一台机器上的CPU核心通过本机的缓存一致性实现共享内存,位于不同的机器上的CPU核心之间通过一个通信协议实现分布式共享内存。4.根据权利要求1所述的基于硬件特性的分布式共享内存方法,其特征...
【专利技术属性】
技术研发人员:洪扬,陈海波,陈榕,
申请(专利权)人:上海交通大学,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。