模块化数据操作系统技术方案

技术编号:19075762 阅读:31 留言:0更新日期:2018-09-29 17:49
在各个实施例中,提供了用于实现模块化数据操作的方法和系统。与数据相关联的数据访问请求在数据访问组件处被接收。数据访问组件基于配置设置来选择性地实现模块化数据操作功能性。与工作集相关联的转换表基于数据访问组件的配置设置来被访问,以确定用于执行数据访问请求的位置。数据访问请求使用高速缓存存储或与工作集相关联的后备存储来被执行。数据访问请求使用以下来被执行:使用工作集的转换表所确定的位置。当数据被高速缓存在高速缓存存储中时,数据访问请求使用高速缓存存储来被执行,而当数据未高速缓存在高速缓存存储中时,数据访问请求基于后备存储来被执行。

【技术实现步骤摘要】
【国外来华专利技术】模块化数据操作系统背景云计算基础设施(分布式计算系统)支持可配置计算、存储和联网资源的共享池上的操作。例如,云计算基础设施可实现被配置成运行由操作系统(OS)支持的多个虚拟机(VM)的计算节点。计算节点供应分配给VM的资源。随着对云计算基础设施中计算容量的需求持续增长,计算节点现在支持越来越多数量的VM。然而,计算节点的VM数量上的增加影响着被实现以满足计算节点上越来越多数量的VM的输入/输出(I/O)要求的底层数据计算、存储和网络资源的性能。由此,需要工具来管理和控制VM数据操作,以便改进云计算基础设施中的性能。概述本文中所描述的各实施例提供了用于基于模块化数据操作系统来管理和控制分布式计算系统中的数据操作的方法和系统。在高层次处,模块化数据操作系统利用重定向器文件系统、后备存储和使用数据访问组件的高速缓存存储来改进数据访问性能。数据访问组件还实现高速缓存存储数据结构、高速缓存块惰性写入(cacheblocklazywriting)和数据访问扼流(dataaccessthrottling),作为模块化数据操作系统框架的一部分。模块化数据操作系统包括若干组件,这些组件可根据需要来被选择性地实现,以改进访问被储存在分布式计算系统中的数据(例如,读取或写入文件系统数据)时的性能。具体而言,数据访问组件使用能基于文件代理(例如,表面(surface))操作的重定向器文件系统来获得对后备存储的访问。数据访问组件在使用文件代理访问后备存储(例如,具有转换表的团块(blob)存储)中的数据(例如,页面团块)时进一步配置用于高速缓存存储(例如,计算节点SSD或RAM)的高速缓存存储数据结构(例如,与后备存储的转换表一起操作的工作集)以与后备存储一起操作。高速缓存存储高速缓存与数据访问请求(例如,读取操作或写入操作)相关联的数据。由此,高速缓存存储至少包括来自后备存储的数据的子集。高速缓存存储基于使用数据访问组件配置的高速缓存存储数据结构(例如,工作集)来操作。具体而言,配置设置可以在数据访问组件中被定义,以支持模块化数据操作系统的各组件。高速缓存存储数据结构包括与转换表(例如,用于对应后备存储的块地址转换表)相关联的两层级高速缓存系统,以用于访问数据访问请求的数据。在使用高速缓存存储数据结构的情况下,可以在高速缓存存储或作为用于其中定义的数据对象的存储库操作的后备存储处访问数据。数据可指代通过特定解释动作给出含义的一个或多个符号的序列。数据可以是被储存在高速缓存存储或后备存储处所支持的不同数据结构中的存储器地址。数据访问组件支持不同类型的高速缓存策略,由此,高速缓存块基于对应的高速缓存策略来被处理。在本公开的各个实施例中,数据访问组件还可实现高速缓存块惰性写入器以惰性地写入高速缓存块。数据访问组件还支持数据访问扼流组件,以限制数据访问组件处所处理的输入/输出(I/O)请求的最大数量或速率。具体而言,数据访问组件实现了针对处理模块化数据操作系统的不同组件处的数据请求进行扼流,以在访问所请求的数据时提供一致的性能。提供本概述以便以简化的形式介绍将在以下的详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或本质特征,也不旨在独立地用于帮助确定所要求保护的主题的范围。附图简述下面参考附图详细描述本专利技术,其中:图1是其中本文中所描述的各实施例可被采用的示例性模块化数据操作系统的框图;图2是其中本文中所描述的各实施例可被采用的示例性模块化数据操作系统的框图;图3是其中本文中所描述的各实施例可被采用的示例性模块化数据操作系统的框图;图4是示出根据本文中所描述的各实施例的用于基于模块化数据操作系统来管理和控制数据访问的示例性方法的流程图;图5是示出根据本文中所描述的各实施例的用于基于模块化数据操作系统来管理和控制数据访问的示例性方法的流程图;图6是适用于实现本文中所描述的各实施例的示例性计算环境的框图;以及图7是适用于实现本文中所描述的各实施例的示例性分布式计算系统的框图。详细描述云计算基础设施(即,分布式计算系统)支持可配置计算、存储和联网资源的共享池上的操作。例如,云计算基础设施可实现被配置成运行由操作系统(OS)支持的多个虚拟机(VM)的计算节点。计算节点供应分配给VM的资源。VM支持云计算基础设施中的一个或多个被托管应用(例如,租户)的操作。租户可具体使用任何类型的OS(例如,Windows或Linux)。云计算基础设施还可实现结构控制器(fabriccontroller),该结构控制器操作以供应并管理云资源、服务和应用的资源分配、部署、升级和管理。具体而言,结构控制器可实现管理程序(hypervisor),管理程序通常指代创建和运行虚拟机的一段计算机软件、固件或硬件。经由结构控制器管理程序支持的云计算基础设施中的计算节点作为VM的主机来操作。管理程序向虚拟操作平台呈现运行操作系统的VM,并且管理计算节点上的VM的执行和来自所述VM的数据通信。就此而言,各种操作系统的多个实例可共享虚拟化硬件资源。作为示例,结构控制器可实现用于储存数据的用于VM的虚拟化存储堆栈或用于为各种基于计算的任务提供计算资源的虚拟化计算堆栈。虚拟化存储堆栈或计算堆栈功能性使用虚拟硬盘驱动器微端口驱动程序(VHDMP)来得到支持,该VHDMP展示块设备(即,支持一次读取和写入整个数据块(例如,硬盘上的扇区)的设备)。使用VHDMP挂载的块设备支持对与云计算存储基础设施内的团块存储相关联的团块接口的访问,使得该团块存储能作为虚拟硬盘驱动器(VHD)由VM来访问。如在本公开中使用的用于管理作为团块的虚拟硬盘驱动器的系统和过程在2013年7月17日提交的题为“ManagingVirtualHardDrivesasBlobs(管理作为团块的虚拟硬盘驱动器)”的美国申请S/N.13/944,627中作进一步描述。随着技术不断改进,虚拟化存储堆栈或计算堆栈的节点正随着对云计算基础设施中的计算容量的需求持续增长而支持越来越多数量的VM。然而,计算节点的VM数量上的增加影响着底层数据计算、存储和网络资源的性能,所述性能被实现以满足计算节点上越来越多数量的VM的输入/输出(I/O)要求。由此,需要工具来管理和控制对所请求的数据的VM访问,以改进云计算基础设施中的性能。本公开的各实施例提供了用于基于模块化数据操作系统来管理和控制分布式计算系统中的数据操作的简单且高效的方法和系统。在高层次处,模块化数据操作系统将重定向器文件系统、后备存储和高速缓存存储与数据访问组件相组合地进行利用,以改进数据访问性能。数据访问组件实现高速缓存存储数据结构、高速缓存块惰性写入和数据访问扼流,作为模块化数据操作系统框架的一部分。模块化数据操作系统包括若干组件,这些组件可根据需要来被选择性地实现,以改进访问被储存在分布式计算系统中的数据(例如,读取或写入文件系统数据)时的性能。具体而言,数据访问组件使用能基于文件代理(例如,表面)操作的重定向器文件系统来获得对后备存储的访问。数据访问组件在使用文件代理访问后备存储(例如,团块存储)中的数据(例如,页面团块)时进一步配置用于高速缓存存储(例如,计算节点SSD或RAM)的高速缓存存储数据结构(例如,与后备存储的本文档来自技高网...

【技术保护点】
1.一种用于实现模块化数据操作的计算机实现的方法,所述方法包括:在数据访问组件处接收与数据相关联的数据访问请求,所述数据访问组件基于配置设置选择性地实现模块化数据操作功能性;基于所述数据访问组件的所述配置设置访问与工作集相关联的转换表以确定用于执行所述数据访问请求的位置,其中所述数据访问请求使用高速缓存存储或与所述工作集相关联的后备存储来被执行;以及基于使用所述工作集的所述转换表所确定的所述位置来执行所述数据访问请求,其中当所述数据被高速缓存在所述高速缓存存储中时,所述数据访问请求使用所述高速缓存存储来被执行,并且其中当所述数据未高速缓存在所述高速缓存存储中时,所述数据访问请求基于所述后备存储来被执行。

【技术特征摘要】
【国外来华专利技术】2016.02.01 US 15/012,4891.一种用于实现模块化数据操作的计算机实现的方法,所述方法包括:在数据访问组件处接收与数据相关联的数据访问请求,所述数据访问组件基于配置设置选择性地实现模块化数据操作功能性;基于所述数据访问组件的所述配置设置访问与工作集相关联的转换表以确定用于执行所述数据访问请求的位置,其中所述数据访问请求使用高速缓存存储或与所述工作集相关联的后备存储来被执行;以及基于使用所述工作集的所述转换表所确定的所述位置来执行所述数据访问请求,其中当所述数据被高速缓存在所述高速缓存存储中时,所述数据访问请求使用所述高速缓存存储来被执行,并且其中当所述数据未高速缓存在所述高速缓存存储中时,所述数据访问请求基于所述后备存储来被执行。2.根据权利要求1所述的方法,其特征在于,在初始化阶段期间,所述配置设置被配置成用于由所述数据访问组件支持的一个或多个所选择的模块化组件,其中所述配置设置标识被用于处理数据访问请求的属性,其中所述工作集包括高速缓存块的一个或多个层级,一层级维护高速缓存块的四个列表,所述列表包括空闲列表、当前列表、脏列表和刷新列表。3.根据权利要求1所述的方法,其特征在于,所述高速缓存存储被注册以基于高速缓存策略与所述后备存储一起操作,其中数据访问请求致使所述后备存储中的数据的至少一子集基于所述高速缓存策略而被高速缓存在所述高速缓存存储中。4.根据权利要求3所述的方法,其特征在于,所述数据访问请求基于所述后备存储的所述高速缓存策略来被处理,其中所述高速缓存策略选自以下之一:全无、透写、回写、临时和持久。5.根据权利要求1所述的方法,其特征在于,所述转换表支持基于页目录条目、页表条目和页帧号将后备存储相对文件偏移转换为高速缓存存储块。6.一种用于实现模块化数据操作的系统,所述系统包括:后备存储,所述后备存储被配置成:储存与数据访问请求相关联的数据,其中所述后备存储中的数据被高速缓存在一个或多个高速缓存存储中;高速缓存存储,所述高速缓存存储被配置成:高速缓存与所述数据访问请求相关联的数据,其中所述高速缓存存储被配置成与所述后备存储一起操作,所述高速缓存存储高速缓存所述后备存储中的数据的至少一子集;数据访问组件,所述数据访问组件被配置成:接收与数据相关联的数据访问请求,所述数据访问组件基于配置设置选择性地实现模块化数据操作功能性;基于所述数据访问组件的所述配置设置访...

【专利技术属性】
技术研发人员:F·C·福尔茨
申请(专利权)人:微软技术许可有限责任公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1