一种容器环境下RDMA虚拟化方法技术

本发明专利技术属于虚拟化技术领域，具体为一种容器环境下RDMA虚拟化方法。本发明专利技术将RDMA管理和使用工作流分离，并放在不同的层次处理，实现软硬件协同的RDMA虚拟化；其中，RDMA管理分为三个部分：设备管理、连接管理和安全管理，通过软硬件辅助虚拟化结合，管理和映射设备上下文和设备资源参数，通过RDMA虚拟组获得隔离，并且提供安全拓展；使用部分由用户层负责，用户层通过RDMA虚拟层提供的设备上下文完成RDMA使用过程。本发明专利技术采用软硬件协同方法，提供设备、连接和安全三个维度的管理能力，具有接近硬件RDMA性能的吞吐量性能、低CPU损耗和较好地压力负载可伸缩性，且具有较好的编排能力，并可集成到多个容器环境。

【技术实现步骤摘要】
一种容器环境下RDMA虚拟化方法
本专利技术属于虚拟化
，具体涉及一种容器环境下RDMA虚拟化方法。
技术介绍
随着互联网技术的快速发展，应用的用户规模越来越大，需要的服务器资源越来越多。为了实现对服务器资源的高效利用，云计算通过虚拟化技术将硬件资源池化，予以更高层次的抽象和更细粒度的划分，突破物理实体结构不可分割的特性，以更灵活高效的方式来应用资源。目前全球大数据对虚拟化技术性能相关的需求日益增长，轻量级容器虚拟化逐渐在云环境中应用，并逐渐成为目前云计算领域流行的资源抽象解决方案。容器从操作系统层面将物理资源和运行环境进行抽象隔离，给用户划分出多个隔离的执行环境，达到较好的启动时间、较高的运行时性能和服务器资源高效利用率等优势。最近这些年，随着云计算环境需要处理的数据规模指数上升，分散在网络环境中运行的分布式应用需要频繁的通过网络进行通信，因此网络通信成为性能的瓶颈之一。而具备低延迟和高吞吐特性的RDMA网络的出现和普及，增强了网络基础设施的性能，为高性能网络通信问题提供了一种可行方案。因此容器虚拟化需要应用RDMA网络以满足大数据环境下的网络通信性能需求。但是，容器环境中直接使用RDMA的通信过程中流量直接在内存和硬件之间传输，没有对RDMA硬件的管理和隔离机制，无法保证数据流量的安全性，而且也难以满足容器环境网络控制方面的诸多诉求。因此需要通过RDMA的虚拟化。目前在容器环境下进行RDMA虚拟化主要分为硬件辅助虚拟化和软件辅助虚拟化两种方式。RDMA硬件辅助虚拟化预先将RDMA直接透传给容器环境或者划分成具有独立配置空间的虚拟功能设备提供给容器环境，而不用经过其他的虚拟层模拟，具有较低的通信性能损失，但是由于将管理和使用统一交给用户层处理，数据流绕过容器网络管理，在资源控制和迁移调度上存在限制，导致会缺乏容器必须的网络设备管理和编排等能力；RDMA软件辅助虚拟化将管理和使用全部转发后到中间层处理，利用容器进程和主机进程共用主机操作系统内核的特性，转发控制命令和数据通道共享内存实现RDMA通信，提供对RDMA的管理，但是转发交互整个RDMA工作流程，导致吞吐量的下降并增大网络延迟。现有的硬件辅助RDMA虚拟化和软件辅助RDMA虚拟化二者存在将RDMA资源管理和使用混合在一起放在同一层次进行处理的共同问题，无法兼顾满足RDMA和容器二者的需求。针对当前RDMA虚拟化工作流没有分离的问题，本专利技术提出了一种软硬件虚拟化协调的方法，将RDMA管理和使用放在不同的层次进行处理，其中管理部分由RDMA虚拟层进行处理，管理和映射设备上下文和设备资源参数，并且建立通信连接；使用部分由用户层负责，用户层可以使用RDMA虚拟层提供的设备上下文，完成RDMA使用流程的操作，直接在用户层使用RDMA资源。名词解释容器是指一种通过操作系统内核提供的隔离和资源管理机制，在操作系统内核之上虚拟出一组资源受到限制，相互隔离的进程的操作系统层上的轻量级虚拟化技术。RDMA是指一种在通信两端实现内存缓存直接传递，无需操作系统和协议栈的介入的远程直接访问内存的网络技术，发送信息过程通过RDMACQ（完成队列）、QP（发送队列对）等消息队列异步传输。RDMA硬件辅助虚拟化是指让虚拟环境内的RDMA应用直接使用物理网络设备，而不用经过虚拟机监视器或其他虚拟层的技术。RDMA软件辅助虚拟化是指将RDMA命令转发到软件中间层进行处理的虚拟化技术。SR-IOV是指一种通过硬件支持在虚拟环境之间高效共享底层PCIe硬件设备的虚拟化标准。PF是指具有PCIe全部能力的物理功能。VF是指受PF管理的拥有彼此独立的系统配置空间且共享物理层资源的轻量级PCIe虚拟功能。vRNIC是指虚拟RDMA设备。
技术实现思路
本专利技术的目的在于提供一种容器虚拟化环境优秀性能和编排能力兼有的RDMA虚拟化方法。本专利技术提供的容器环境下RDMA虚拟化方法，是基于RDMA管理和使用工作流分离的思想，解决了容器环境应用RDMA性能和编排能力矛盾的问题。相比于现有的混合工作流的单纯的硬件或软件辅助RDMA虚拟化，本专利技术将RDMA管理和使用工作流分离，并放在不同的层次处理，实现软硬件协同的RDMA虚拟化。其中，RDMA管理分为三个部分：设备管理、连接管理和安全管理，通过软硬件辅助虚拟化结合，管理和映射设备上下文和设备资源参数，通过RDMA虚拟组获得隔离，并且提供安全拓展；使用部分由用户层负责，用户层通过RDMA虚拟层提供的设备上下文完成RDMA使用过程。本专利技术的管理过程满足容器虚拟化环境所需要的管理和编排以及安全和访问控制等能力；同时使用过程用户层直接和硬件虚拟化设备交互具有较高的性能。本专利技术提供的容器环境下RDMA虚拟化方法，参见图2，具体步骤为：首先，通过软硬件辅助虚拟化结合提供设备管理；构建资源隔离的操作和资源受限的虚拟RDMA设备。硬件辅助虚拟化预先申请和动态拓展虚拟功能设备池，通过修改内核SR-IOV接入内核PF驱动构建VF设备池实现管理和绑定；通过软件辅助虚拟化的方式构建RDMA虚拟设备，提供一个位于用户层容器内的接口，序列化对网卡文件描述符的请求映射到在物理网卡中对实际资源队列的相应操作，将来自物理网卡的返回转换为对虚拟资源队列的返回给用户层容器接口，并提供RDMA资源令牌桶控制策略和容器迁移能力。然后，通过连接管理负责在虚拟层预先建立连接，彼此共享配置、VF设备等信息，同时提供RDMA组策略进行容器通信隔离。连接管理通过共享的键值存储定义VF信息、容器和VF映射信息、虚拟RDMA组以及VF连接信息等存储信息，并基于LRU缓存替换策略，实现缓存数据结构，由PD_Shard、QP_Shard、CQ_Shard、Info_Shard三种资源信息缓存和一种配置信息缓存块构成，每种缓存块根据需求有多个，不同的缓存之间相互独立，提高缓存数据获取的并发度，减少锁开销。再次，由安全管理附加安全通信的扩展能力，提供安全连接建立以及用户层和虚拟层之间的请求验证。安全管理分为RDMA安全连接拓展和虚拟层请求验证机制，二者基于数字摘要技术、非对称加密提供的数字签名技术和SSL协议原理，保证较高安全性的同时获得较好的性能，不引入额外的瓶颈。最后，用户层使用虚拟层提供的设备上下文创建RDMA资源。用户层的创建过程和使用情况会异步进行记录，最后用户层通过资源直通完成RDMA资源的使用，避免了频繁的命令转发和额外CPU资源等待问题，因此可以获得近乎硬件RDMA的性能。本专利技术还考虑用户层容器可以创建多RDMA资源，并且可能使用多线程并行传输数据。为了避免阻塞和过多的锁操作影响性能，针对不同的RDMA资源创建了各自具有专用线程的Unix本地套接字和映射号用于数据操作和事件通知，并使用部分Unix本地套接字用于请求管理信息的交互，保持数据路径无锁，提高并发性能。本专利技术采用软硬件协同方法，提供设备、连接和安全三个维度的管理能力，具有接近硬件RDMA性能的吞吐量性能本文档来自技高网...

【技术保护点】
1.一种容器环境下RDMA虚拟化方法，其特征在于，将RDMA管理和使用工作流分离，并放在不同的层次处理，实现软硬件协同的RDMA虚拟化；其中，RDMA管理分为三个部分：设备管理、连接管理和安全管理，通过软硬件辅助虚拟化结合，管理和映射设备上下文和设备资源参数，通过RDMA虚拟组获得隔离，并且提供安全拓展；使用部分由用户层负责，用户层通过RDMA虚拟层提供的设备上下文完成RDMA使用过程。/n

【技术特征摘要】
1.一种容器环境下RDMA虚拟化方法，其特征在于，将RDMA管理和使用工作流分离，并放在不同的层次处理，实现软硬件协同的RDMA虚拟化；其中，RDMA管理分为三个部分：设备管理、连接管理和安全管理，通过软硬件辅助虚拟化结合，管理和映射设备上下文和设备资源参数，通过RDMA虚拟组获得隔离，并且提供安全拓展；使用部分由用户层负责，用户层通过RDMA虚拟层提供的设备上下文完成RDMA使用过程。


2.根据权利要求1所述的容器环境下RDMA虚拟化方法，其特征在于，具体步骤为：
首先，通过软硬件辅助虚拟化结合提供设备管理；构建资源隔离的操作和资源受限的虚拟RDMA设备；硬件辅助虚拟化预先申请和动态拓展虚拟功能设备池，通过修改内核SR-IOV接入内核PF驱动构建VF设备池，实现管理和绑定；通过软件辅助虚拟化的方式构建RDMA虚拟设备，提供一个位于用户层容器内的接口，序列化对网卡文件描述符的请求映射到在物理网卡中对实际资源队列的相应操作，将来自物理网卡的返回转换为对虚拟资源队列的返回，给用户层容器接口，并提供RDMA资源令牌桶控制策略和容器迁移能力；
然后，通过连接管理负责在虚拟层预先建立连接，彼此共享配置、VF设备信息，同时提供RDMA组策略进行容器通信隔离；连接管...

【专利技术属性】
技术研发人员：张为华，鲁云萍，代超，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31