自适应的分布式计算方法技术

本发明专利技术提供了一种自适应的分布式计算方法，该方法包括：云平台和虚拟机接入访问请求协调器，虚拟机上传的数据存储至云平台的多个节点中，计算虚拟机在各个节点所需要分配的资源量，并将数据库访问请求映射至不同的节点。本发明专利技术根据虚拟机的数据库访问特性，提高数据库访问资源利用率；对访问请求进行合理的资源分配。

【技术实现步骤摘要】

[0001 ] 本专利技术涉及云计算，特别涉及一种。
技术介绍
在云计算应用中，用户所购买的虚拟机建立在云服务供应商提供的主机上，服务提供商的每一台主机可以运行多个虚拟机供一个或多个用户使用。为了便于数据的管理与交换，这些主机通常共享一个集中化的存储资源池，这为数据库访问资源调度带来了一些全新的挑战。首先，虽然虚拟化保证了每个虚拟机都假想自身获取独立的专有资源，但实际上每个分布式存储节点的数据库访问性能是有限的，不同虚拟机间的数据库访问资源竞争导致每个虚拟机实际数据库访问性能受限。不同于CPU和内存分配，数据库访问资源难以应对负载波动，遇到数据库访问突发访问时服务质量容易受到影响甚至使服务停滞。数据库访问工作负载的突发性和不可确定性要求数据库访问资源调度方法必须满足两个特性，其一是健壮性，即能为共享资源的虚拟机提供完善的隔离措施；其二是高效性，即能有效地利用数据库访问资源，尽量减少响应时间。 现有技术有如下缺点:1)服务提供商需要分析或者预估该用户的数据库访问特性；2)资源调度不灵活，当用户在某些时刻集中访问某些节点时不能得到及时的响应；3)不利于实时管理，局部目标服务级别设置需要经常更改。因此需要采用更加灵活的方式分配全局目标服务级别，实现资源的按需分配。 因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种，包括: 云平台和虚拟机接入访问请求协调器，虚拟机上传的数据存储至云平台的多个节点中，计算虚拟机在各个节点所需要分配的资源量，并将数据库访问请求映射至不同的节点。 优选地，所述云平台中对等的各个存储节点由管理节点服务统一分配令牌号，云平台管理节点计算得到各节点的存储范围，并且，在数据上传过程中: (I)虚拟机通过主动轮询或事件触发方式获取当前数据，经压缩过滤后发往访问请求协调器； (2)访问请求协调器通过用户配置的存储节点配置将数据上传至云平台； (3)云平台的管理节点将数据中的存储节点名转换为存储节点ID，并建立存储节点ID与物理服务器的映射，从而将数据发送至指定的存储节点中； (4)将存储节点进行分组，并按组名建立与物理服务器的映射，，虚拟机在向云平台管理节点进行存储定位后，直接连至指定的物理服务器； (5)虚拟机在数据写入第一个物理服务器的内存缓存后由该存储节点执行后继的备份流程。 优选地，所述虚拟机上传的数据存储至云平台的多个节点，进一步包括: 对历史数据存储进行备份，备份数据与主备份数据存储在不同的物理服务器，存储规则由主备份所在存储节点所加载的脚本实现，将备份数据依次存储在管理节点指定的前向两个节点上； 数据在主备份所在存储节点的内存缓存期间不进行备份操作，当记录容量达到缓存页面大小后，或者超过最大缓存时间后，存储归档服务在执行本地数据持久化的同时，将缓存数据发送至指定的备份节点； 通过存储数据时附加的管理信息，周期性触发数据一致性的判定和缺失数据的定位，通过追加缺失的数据来完成修复，并且通过使用追加操作来实现正常、异常情况下的数据存储，并通过版本号区分正常数据和异常数据，避免在存储异常时磁盘中的数据发生改写或迀移，也便于失效节点恢复后的数据同步。 优选地，当用户在配置中添加节点时，云平台管理节点计算得到该新增节点的数据存储范围，随后该新增节点向原主备份所在存储节点请求存储范围内的所有数据记录页；当无法访问某一节点时，其原有存储功能将由云平台管理节点确定的前向节点进行代理，此时，所有数据由代理节点进行存储，保证备份节点中的数据完整性；当该节点恢复访问时，将按照数据一致性维护机制与代理节点进行数据同步，从而获取异常期间缺失的数据内容，数据同步完成后，代理节点停止代理功能，当前节点恢复原有存储功能； 将查询过程中的磁盘I/O操作均匀地分配给各备份节点，由云平台管理节点在处理查询请求时进行负载均衡，云平台管理节点确定查询目标服务器后，由查询虚拟机直接向对应的服务器进行本地查询； 进入本地数据查询流程后，通过相互链接的索引信息页中记录的时标索引，快速定位到指定时间范围内的数据存储位置，通过版本信息页进行时序数据的版本控制，在版本发生变化的区间使用最新版本的数据进行拟合。 本专利技术相比现有技术，具有以下优点: 动态分析虚拟机的数据库访问特性，优先调度对响应时间要求更严格的数据库访问请求，在保证服务级别的前提下提高数据库访问资源利用率；在高负载时，估算出在各节点所需要分配的资源量，对访问请求进行合理的资源分配。 【附图说明】 图1是根据本专利技术实施例的的流程图。 【具体实施方式】 下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。 总的来说，一个全局目标服务级别是由存储各节点的数据库访问访问综合而成，关键在于如何将全局目标服务级别分解为合适的局部目标服务级别，从而在各节点进行高效的调度。 本专利技术的一方面提供了一种。图1是根据本专利技术实施例的流程图。 实施本专利技术的具体步骤如下:对虚拟机发出的数据库访问请求进行整流，形成访问请求队列；当访问请求队列未满时，利用集中式调度来优先调度高实时性的数据库访问请求；当访问请求队列阻塞时，计算虚拟机在各个节点所需要分配的资源量，通过分布式调度来处理高负载请求。 为虚拟机发出的数据库访问请求进行整流，每个虚拟机的数据库访问流由最大突发负载σ、平均吞吐率P和最大响应时间δ控制。当数据库访问负载较轻时，方法利用集中式调度来优先调度实时性要求高的数据库访问请求。当系统面临高数据库访问负载时，该方法分析每个请求的预期贡献值，通过分布式调度来优先调度贡献值高的请求。另一方面，为了保证每个虚拟机的全局目标服务级别能够完成，各分布式存储节点需要实时设置合适的局部目标服务级别。本专利技术实时分析虚拟机的数据库访问特性，将全局目标服务级别分解成局部目标服务级别，根据局部目标服务级别为虚拟机在每个分布式存储节点提供合适的服务。 本专利技术在宿主机上运行多台虚拟机，其底层为访问请求协调器。主机的访问请求协调器分析虚拟机发出的数据库访问请求，将数据库访问请求映射至不同的分布式存储节点。在处理过程中，每个数据库访问请求后都会附加上一部分附加信息，分布式存储节点提取这些信息后对虚拟机进行数据库访问特性建模，并分配合适的局部目标服务级别。数据库访问模式建模确定以下两点:虚拟机的历史数据库访问特性和近期数据库访问特性。根据这些特性，数据库访问模式模型将全局目标服务级别分解成该节点所需要的局部目标服务级别，然后经过时间戳处理模块为各数据库访问请求加上时间戳，最后经由调度器调度。 分布式存储节点为每个虚拟机建立一个请求队列，类似地，每个虚拟机发出的请求可能在多个节点中形成队列。各分布式存储节点调度数据库访问请求时，总是从当前节点的所有数据库本文档来自技高网...

【技术保护点】
一种自适应的分布式计算方法，其特征在于，包括：云平台和虚拟机接入访问请求协调器，虚拟机上传的数据存储至云平台的多个节点中，计算虚拟机在各个节点所需要分配的资源量，并将数据库访问请求映射至不同的节点。

【技术特征摘要】
1.一种自适应的分布式计算方法，其特征在于，包括: 云平台和虚拟机接入访问请求协调器，虚拟机上传的数据存储至云平台的多个节点中，计算虚拟机在各个节点所需要分配的资源量，并将数据库访问请求映射至不同的节点。2.根据权利要求1所述的方法，其特征在于，所述云平台中对等的各个存储节点由管理节点服务统一分配令牌号，云平台管理节点计算得到各节点的存储范围，并且，在数据上传过程中: (1)虚拟机通过主动轮询或事件触发方式获取当前数据，经压缩过滤后发往访问请求协调器； (2)访问请求协调器通过用户配置的存储节点配置将数据上传至云平台； (3)云平台的管理节点将数据中的存储节点名转换为存储节点10，并建立存储节点10与物理服务器的映射，从而将数据发送至指定的存储节点中； (4)将存储节点进行分组，并按组名建立与物理服务器的映射，，虚拟机在向云平台管理节点进行存储定位后，直接连至指定的物理服务器； (5)虚拟机在数据写入第一个物理服务器的内存缓存后由该存储节点执行后继的备份流程。3.根据权利要求2所述的方法，其特征在于，所述虚拟机上传的数据存储至云平台的多个节点，进一步包括: 对历史数据存储进行备份，备份数据与主备份数据存储在不同的物理服务器，存储规则由主备份所在存储节点所加载的脚本实现，将备份数据依次存储在管理节点指定的前向两个节点上； 数据在主备份所在存储节点的内存缓存期间不进行备份操作，当记录容量达到缓存页面大小后，或者...

【专利技术属性】
技术研发人员：田野，夏梅宸，刘志才，祝昌宇，卢力君，
申请(专利权)人：成都英力拓信息技术有限公司，
类型：发明
国别省市：四川;51