用于融合联网和存储的方法和系统技术方案

技术编号:15397252 阅读:157 留言:0更新日期:2017-05-19 11:42
一种设备包括融合输入/输出控制器,其包括物理目标存储介质控制器、物理网络接口控制器以及存储介质控制器与网络接口控制器之间的网关,其中网关提供用于存储介质控制器与网络接口控制器之间的存储业务和网络业务的直接连接。

Method and system for fusing networking and storage

A fusion device includes an input / output controller, comprising a gateway between the physical storage medium target controller, physical network interface controller and storage medium controller and network interface controller, which is provided for directly connecting a storage medium gateway controller and network interface controller between the storage business and network business.

【技术实现步骤摘要】
【国外来华专利技术】用于融合联网和存储的方法和系统相关申请的交叉引用本申请要求以下瞬时申请的优先权,其中的每个被通过引用整体地结合到本文中:2014年3月8日提交且题为“MethodandApparatusforApplicationDrivenStorageAccess”的美国专利申请61/950,036;以及2014年6月26日提交且题为“ApparatusforVirtualizedClusterIO”的美国专利申请62/017,257。
本申请涉及联网和数据存储的领域,并且更特别地涉及融合联网和数据存储设备的领域。
技术介绍
向外扩展应用的激增已对使用此类应用的企业导致非常显著的挑战。企业通常在比如(涉及比如管理程序的软件组件和高级硬件组件的)虚拟机的解决方案与(通常涉及比如Linux™的操作系统和商品硬件的使用的)所谓的“裸金属”解决方案之间进行选择。在大规模处,虚拟机解决方案通常具有不良的输入-输出(IO)性能、不充分的存储器、不一致的性能以及高的基础设施成本。裸金属解决方案通常具有静态资源分配(使得资源中的改变困难并导致硬件的低效使用)、规划容量中的挑战、不一致的性能以及操作复杂性。在两个情况下,不一致的性能表征了现有解决方案。存在对于在多租户部署中提供高性能、可以处理动态资源分配以及可以以高程度的利用使用商品硬件的解决方案的需要。图1描绘了计算系统102的一般架构,在本文中公开的某些实施例中可能涉及诸如所述计算系统102的服务器、功能和模块。传统上在(例如,涉及分别用于网络功能或存储功能的网络接口控制器118或存储控制器112的)软件栈或硬件设备中单独地执行存储功能(诸如对服务器102上的诸如介质104(例如旋转介质或闪存(flash))之类的本地存储设备的访问)和诸如转发之类的网络功能。在操作系统栈108(其在包括与用于计算系统的存储和联网功能相关联的所有软件栈的某些实施例中可以包括操作系统和管理程序)内,软件存储栈通常包括使得能够使用可以在存储中使用的各种协议的模块,所述各种协议诸如小型计算机系统接口(SCSI)协议、串行ATA(SATA)协议、非易失性存储器express(快速)(NVMe)协议(用于通过典型的计算系统102的PCIExpress(PCIe)总线110访问比如固态驱动(SSD)的盘附着存储(DAS)的协议)等。PCIe总线110可以提供(具有(一个或多个)处理器和存储器的)CPU106与各种IO卡之间的互连。存储栈还可以包括卷管理器等。存储软件栈内的操作还可以包括数据保护,诸如镜像或RAID、备份、快照、重复数据删除(deduplication)、压缩和加密。某些存储功能可被卸载到存储控制器112中。软件网络栈包括用于使得能够使用各种联网协议的模块、功能等,所述联网协议诸如传输控制协议/因特网协议(TCP/IP)、域名系统协议(DNS)、地址解析协议(ARP)、转发协议等。某些网络功能可诸如经由以太网连接120被卸载到网络接口控制器118(或NIC)或网络结构(fabric)交换机中,进而(利用各种交换机、路由器等)通向网络。在虚拟化环境中,可根据PCIExpress标准将NIC118虚拟化成如由SR-IOV指定的若干虚拟NIC。虽然未被PCIExpress标准指定且不是作为公共的,但存储控制器还可以被以类似方式虚拟化。该方法允许诸如虚拟机之类的虚拟实体对其自己的私有资源的访问。参考图2,关于管理程序的一个主要问题是关于IO操作的复杂性。例如,为了处理涉及跨两个不同计算机(图2中的计算机系统1和计算机系统2)的数据的操作,随着数据在计算机的本地存储设备104、存储控制器112、CPU106、网络接口控制器118和管理程序/操作系统108中所涉及的不同软件栈之间移动,数据必须被重复地、一遍又一遍地拷贝,每当采取(undertake)涉及将数据从一个计算机移动至另一个、改变存储的配置等的活动时导致用于每个IO操作的大量低效数据拷贝。路线(route)124是数据可采取的从一个计算机至另一个、在两个计算机的软件栈向上和向下移动的复杂路线的许多示例中的一个。由计算系统2寻找的数据可能最初位于计算系统1的诸如盘之类的本地存储设备104中,然后被存储控制器卡112(涉及IO操作和拷贝)拉出,通过PCIe总线110(另一IO操作)发送到CPU108,在所述CPU108处其被计算系统1的OS栈108的管理程序或其他软件组件处理。接下来,可经由网络控制器118且通过网络122(另一组IO操作)将数据递送(另一IO操作)到计算系统2。路线在计算系统2上继续,在所述计算系统2处数据可穿过网络控制器118并到计算系统2的CPU106(涉及附加IO操作),然后被通过PCIe总线110发送到本地存储控制器112以用于存储,然后回到管理程序/OS栈108以用于实际使用。这些操作可跨许多计算系统对发生,其中每个交换涉及IO操作的该类型的激增(并且许多其他路线是可能的,每个涉及大量的操作)。在被企业越来越多地采用的向外扩展情况中要求计算系统之间的许多此类复杂的数据复制和传输活动。例如,当实现比如MongoDB™的向外扩展应用时,客户必须在再平衡操作期间重复地运行实时查询,并且执行大规模数据加载。此类活动涉及非常大量的IO操作,这导致管理程序解决方案中的不良性能。那些应用的用户还频繁地重新分片(改变数据被部署在其上的碎片),对具有静态存储资源分配的裸金属解决方案导致大问题,因为数据从一个位置到另一位置的迁移还涉及许多拷贝和传输操作以及大量的IO操作。随着在向外扩展应用中使用的数据量快速地增长和(诸如涉及许多机器的云部署中的)不同系统之间的连通性增加,这些问题呈指数增长。存在对于减少IO操作的数量和复杂性并另外改善向外扩展应用的性能和可扩展性而不要求昂贵的高级硬件的存储和联网解决方案的需要。仍参考图2,对于许多应用和使用情况而言,需要跨计算系统102之间的网络访问数据(并且进而访问存储)。该操作的三个高级步骤包括数据离开箱子(box)从一个计算系统的存储介质的传送、跨网络122的移动以及数据到第二箱子(第二计算系统102)中到该第二计算系统102的存储介质104的传送。第一,离开箱子传送可能涉及来自存储控制器112、OS108中的存储栈、OS108中的网络栈以及网络接口控制器118的介入。花费了跨内部总线(PCIe110和存储器)以及CPU106处理循环的许多遍历和拷贝。这不仅使操作的性能降级(产生等待时间和吞吐量问题),而且不利地影响在CPU上运行的其他应用。第二,一旦数据离开箱子102并移动到网络122上,其被像任何其他网络业务一样处理并且需要被转发/路由到其目的地。执行策略并做出决定。在其中大量业务正在移动的环境中,拥塞可能发生在网络122中,引起性能中的降级以及关于可用性的问题(例如,被丢弃的分组、失去的连接以及不可预测的等待时间)。网络具有用以避免拥塞的扩散的机制和算法,诸如暂停功能、后向拥塞通知(BCN)、显式拥塞通知(ECN)等。然而,这些是反应性方法;即,其检测拥塞点的形成并在源上向后推以减少拥塞,潜在地导致延迟和性能影响。第三,一旦数据到达其“目的地”计算系统102,其需要被处理,这涉本文档来自技高网...
用于融合联网和存储的方法和系统

【技术保护点】
一种设备,包括:融合输入/输出控制器,其包括:物理目标存储介质控制器;物理网络接口控制器;以及存储介质控制器与网络接口控制器之间的网关,其中网关提供用于存储介质控制器与网络接口控制器之间的存储业务和网络业务的直接连接。

【技术特征摘要】
【国外来华专利技术】2014.03.08 US 61/950036;2014.06.26 US 62/0172571.一种设备,包括:融合输入/输出控制器,其包括:物理目标存储介质控制器;物理网络接口控制器;以及存储介质控制器与网络接口控制器之间的网关,其中网关提供用于存储介质控制器与网络接口控制器之间的存储业务和网络业务的直接连接。2.权利要求1的设备,进一步包括虚拟存储接口,其不管存储介质的位置将被存储介质控制器控制的存储介质呈现为本地附着贮存器。3.权利要求1的设备,进一步包括虚拟存储接口,其不管存储介质的数量或类型将被存储介质控制器控制的存储介质呈现为本地附着贮存器。4.权利要求1的设备,进一步包括虚拟存储接口,其促进存储介质的动态提供,其中物理存储可以是本地或远程的。5.权利要求1的设备,进一步包括虚拟网络接口,其促进存储介质的动态提供,其中所述物理存储可以是本地的或远程的。6.权利要求1的设备,其中设备被适配成作为控制器卡安装在主机计算系统上。7.权利要求6的设备,其中网关在没有由操作系统、由管理程序或由在主机计算系统的CPU上运行的其他软件的介入的情况下操作。8.权利要求1的设备,其中设备包括现场可编程门阵列、ASIC以及提供设备的存储功能和网络功能中的至少一个的网络处理器中的至少一个。9.权利要求1的设备,其中设备被配置为网络部署交换机。10.权利要求1的设备,进一步包括设备的功能组件,其用于将存储介质指令在第一协议与至少一个其他协议之间转换。11.一种存储设备的虚拟化的方法,包括:访问对按照第一存储协议的指令进行响应的物理存储设备;将指令在第一存储协议和第二存储协议之间转换;以及使用第二协议,将物理存储设备呈现给操作系统,使得物理存储设备的存储能够被动态地提供,不论物理存储设备对使用操作系统的主机计算系统而言是本地的还是远程的。12.权利要求11的方法,其中第一协议是SATA协议、NVMe协议、SAS协议、iSCSI协议、光纤通道协议和以太网光纤通道协议中的至少一个。13.权利要求11的方法,其中第二协议是NVMe协议。14.权利要求11的方法,进一步包括提供操作系统与执行指令在第一和第二存储协议之间的转换的设备之间的接口。15.权利要求11的方法,进一步包括提供执行指令转换的设备与远程网络部署存储设备之间的以太网NMVe连接。16.一种促进应用、容器以及被存储在目标物理存储设备上的数据中的至...

【专利技术属性】
技术研发人员:J仇G沙马A古哈K冯JS加内什
申请(专利权)人:狄亚曼提公司
类型:发明
国别省市:美国,US

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1