数据分析系统中的存储器分配技术方案

一种管理计算机中的存储器的模块。所述模块监视与计算机相关联的主存储器的使用率。主存储器存储处于就绪状态的存储器块。响应于处于就绪状态的存储器块对主存储器的使用率超过就绪状态阈值，该模块压缩处于就绪状态的存储器块中的至少一些，以形成处于就绪且经压缩状态的存储器块。响应于处于就绪且经压缩状态的存储器块对主存储器的使用率超过释放阈值，该模块释放处于就绪且经压缩状态的存储器块中的至少一些。响应于经压缩状态的存储器块对主存储器的使用率超过经压缩阈值，该模块将经压缩状态的存储器块中的至少一些传输到与计算机相关联的辅存储器。

Memory allocation in data analysis system

【技术实现步骤摘要】
【国外来华专利技术】数据分析系统中的存储器分配
所描述的实施例一般地涉及计算机存储器管理，并且特别地涉及在处理大量数据的同时分配存储器。
技术介绍
数据分析平台(例如，大数据分析)的发展已将数据处理扩展为一种工具，该工具用于处理大容量数据以提取具有商业价值的信息。例如，小型企业可以利用采用了专用的计算和人力资源的第三方数据分析环境来收集、处理和分析来自各种来源(例如，外部数据提供商、内部数据源(例如，本地计算机上的文件)、大数据存储)的数据和基于云的数据(例如，社交媒体信息)。以提取有用的定量和定性信息的方式处理数据分析中使用的大型数据集通常需要在强大的计算机设备上实现的复杂软件工具。此外，需要有效的数据处理技术来访问、处理和分析来自不同数据源的大型数据集。否则，性能瓶颈可能会出现，并且阻碍数据分析平台的功能，延迟数据处理，且降低从数据中提取的信息质量。例如，平台中的一个或多个处理器可能无法及时处理数据，从而导致延迟，这是因为平台中的其他子系统正在等待该处理器的输出。在另一个示例中，正在处理的数据量可能超过平台可用的工作存储器大小。在后一个示例中，当数据传输到存储器以及从存储器被传输时，可能会发生延迟。
技术实现思路
以上问题和其他问题可以通过用于管理计算机中的存储器的方法、计算机系统、和计算机可读存储介质来解决。该方法的实施例包括：监视与计算机相关联的主存储器的使用率，主存储器存储处于就绪状态的存储器块。该方法还包括：响应于处于就绪状态的存储器块对主存储器的使用率超过就绪状态阈值，压缩处于就绪状态的存储器块中的至少一些，以形成处于就绪且经压缩状态的存储器块以及处于经压缩状态的存储器块。方法还包括：响应于处于就绪且经压缩状态的存储器块对主存储器的使用率超过释放阈值，释放处于就绪且经压缩状态的存储器块中的至少一些；以及响应于经压缩状态的存储器块对主存储器的使用率超过经压缩阈值，将经压缩状态的存储器块中的至少一些传输到与计算机相关联的辅存储器，以形成处于磁盘上状态的存储器块。该计算机系统的实施例包括用于执行计算机程序指令的计算机处理器。该系统还包括：非暂时性计算机可读存储介质，其存储计算机程序指令，所述计算机程序指令当被执行时使得得计算机处理器执行步骤。所述步骤包括：监视与计算机相关联的主存储器的使用率，主存储器存储处于就绪状态的存储器块。所述步骤还包括：响应于处于就绪状态的存储器块对主存储器的使用率超过就绪状态阈值，压缩处于就绪状态的存储器块中的至少一些，以形成处于就绪且经压缩状态的存储器块以及处于经压缩状态的存储器块。所述步骤还包括：响应于处于就绪且经压缩状态的存储器块对主存储器的使用率超过释放阈值，释放处于就绪且经压缩状态的存储器块中的至少一些。所述步骤还包括：响应于经压缩状态的存储器块对主存储器的使用率超过经压缩阈值，将经压缩状态的存储器块中的至少一些传输到与计算机相关联的辅存储器，以形成处于磁盘上状态的存储器块。非暂时性计算机可读存储介质的实施例存储可执行计算机程序指令。所述指令是可执行的以监视与计算机相关联的主存储器的使用率，主存储器存储处于就绪状态的存储器块。所述指令还可执行以响应于处于就绪状态的存储器块对主存储器的使用率超过就绪状态阈值，压缩处于就绪状态的存储器块中的至少一些，以形成处于就绪且经压缩状态的存储器块以及处于经压缩状态的存储器块。所述指令还响应于处于就绪且经压缩状态的存储器块对主存储器的使用率超过释放阈值，释放处于就绪且经压缩状态的存储器块中的至少一些。所述指令还响应于经压缩状态的存储器块对主存储器的使用率超过经压缩阈值，将经压缩状态的存储器块中的至少一些传输到与计算机相关联的辅存储器，以形成处于磁盘上状态的存储器块。附图说明图1是示出了根据一个实施例的数据分析环境的框图，该数据分析环境包括数据分析系统。图2是示出了根据一个实施例的使用数据分析系统创建的、用于处理数据的工作流的框图。图3是示出了根据一个实施例的、用作图1的数据分析系统的典型计算机系统的功能视图的高级框图。图4是示出了根据一个实施例的数据分析系统的数据分析应用的更详细视图的框图。图5是示出了根据一个实施例的存储器管理模块的更详细视图的框图。图6是示出了根据一个实施例的、在数据分析应用内分配存储器的过程的流程图。图7是示出了根据一个实施例的、将数据块提供给工具模块以请求访问该数据块的过程的流程图。附图仅出于说明的目的描绘了各种实施例。本领域技术人员将从以下讨论中容易认识到，在不脱离本文所述实施例的原理的情况下，可以采用本文所示的结构和方法的可替代实施例。在各个附图中，相同的附图标记和指定指示相同的元件。具体实施方式图1是示出了根据一个实施例的数据分析环境100的框图，数据分析环境100包括数据分析系统110。环境100还包括经由网络130连接到数据分析系统110的多个数据源120。尽管所示的环境100仅包含耦合到多个数据源120的一个数据分析系统110，但是实施例可以具有多个数据分析系统和单个数据源。数据分析系统110是用于处理和分析大量数据的基于计算机的系统。所述数据是经由网络130，从多个数据源120收集、聚集或以其他方式访问数据。数据分析系统110可以实现可扩展的软件工具和硬件资源，所述可扩展的软件工具和硬件资源在访问、准备、混合和分析来自各种数据源的数据时被采用。例如，数据分析系统110支持数据密集型过程和工作流的执行。数据分析系统110可以是用于实现数据分析功能的计算设备，所述数据分析功能包括在本文中所述的存储器管理技术。数据分析系统110还可以被配置为支持一个或多个软件应用程序，其在图1中示出为数据分析应用160。数据分析应用160处理和分析从一个或多个数据源120获得的大量数据。在某些情况下，数据分析应用160向终端用户提供这样的软件，该软件支持对数据分析工具和宏的联网或基于云的访问。作为示例，数据分析应用160允许用户以类似于移动应用商店或其他基于云的服务的方式来共享、浏览、和消费分析。分析数据、宏、和工作流可以打包并执行为较小规模和可定制的分析应用(例如，app)，例如，该应用可以由数据分析系统110的其他用户访问。在某些情况下，可以由数据分析系统110来管理(即，授予或撤消访问)对已发布的分析应用的访问，并且由此提供访问控制和安全功能。数据分析应用160可以执行与分析app相关联的功能，例如，创建、部署、发布、迭代、更新等。另外地，数据分析应用160可以支持在数据分析所涉及的各个阶段执行的功能，例如，访问、准备、混合、分析、和输出分析结果的能力。在某些情况下，数据分析应用160可以访问各种数据源，例如，以获取数据流中的原始数据。数据分析应用160收集的数据流可以包括多个原始数据的记录，其中，原始数据采用不同的格式和结构。在接收到至少一个数据流之后，数据分析应用160可以执行操作，以允许将数据流的记录用作对数据分析操作的输入。此外，可以通过数据分析应用160来实现在记录的统计、定性或定量处理中涉本文档来自技高网...

【技术保护点】
1.一种管理计算机中的存储器的计算机实现的方法，包括：/n监视与所述计算机相关联的主存储器的使用率，所述主存储器存储处于就绪状态的存储器块；/n响应于处于所述就绪状态的所述存储器块对主存储器的使用率超过就绪状态阈值，压缩处于所述就绪状态的所述存储器块中的至少一些，以形成处于就绪且经压缩状态的存储器块以及处于经压缩状态的存储器块；/n响应于处于所述就绪且经压缩状态的所述存储器块对主存储器的使用率超过释放阈值，释放处于所述就绪且经压缩状态的所述存储器块中的至少一些；以及/n响应于处于所述经压缩状态的所述存储器块对主存储器的使用率超过经压缩阈值，将处于所述经压缩状态的至少一些存储器块传输到与所述计算机相关联的辅存储器，以形成处于磁盘上状态的存储器块。/n

【技术特征摘要】
【国外来华专利技术】20171016 US 15/785,3531.一种管理计算机中的存储器的计算机实现的方法，包括：
监视与所述计算机相关联的主存储器的使用率，所述主存储器存储处于就绪状态的存储器块；
响应于处于所述就绪状态的所述存储器块对主存储器的使用率超过就绪状态阈值，压缩处于所述就绪状态的所述存储器块中的至少一些，以形成处于就绪且经压缩状态的存储器块以及处于经压缩状态的存储器块；
响应于处于所述就绪且经压缩状态的所述存储器块对主存储器的使用率超过释放阈值，释放处于所述就绪且经压缩状态的所述存储器块中的至少一些；以及
响应于处于所述经压缩状态的所述存储器块对主存储器的使用率超过经压缩阈值，将处于所述经压缩状态的至少一些存储器块传输到与所述计算机相关联的辅存储器，以形成处于磁盘上状态的存储器块。


2.根据权利要求1所述的方法，还包括：
从在所述计算机上执行的模块接收用于访问存储器块的请求；
确定所请求的存储器块是否处于所述就绪状态；以及
响应于所请求的存储器块不处于所述就绪状态的确定，将所请求的存储器块改变为所述就绪状态；以及
响应于访问请求，供应处于所述就绪状态的所请求的存储器块。


3.根据权利要求1所述的方法，还包括：
响应于主存储器使用率下降到使用率阈值以下，将处于所述磁盘上状态的至少一些存储器块从所述辅存储器传输到所述主存储器。


4.根据权利要求3所述的方法，其中，从所述辅存储器传输到所述主存储器的所述存储器块以所述经压缩状态被存储在所述主存储器中，所述方法还包括：
将已传输的、处于所述磁盘上状态的存储器块保留在所述辅存储器上；以及
响应于主存储器使用率超过所述经压缩阈值，释放从所述辅存储器传输到所述主存储器的以所述经压缩状态被存储的所述存储器块。


5.根据权利要求1所述的方法，还包括：
从在所述计算机上执行的模块接收用于访问处于所述就绪且经压缩状态的存储器块的请求；
确定访问请求是读请求还是写请求；
响应于确定所述访问请求是写请求，进行以下操作：
将所请求的存储器块改变为所述就绪状态；以及
释放与所请求的存储器块相对应的、处于所述经压缩状态的存储器块；响应于确定所述访问请求是读请求，进行以下操作：
使用处于所述就绪且经压缩状态的所述存储器块来供应所述读请求；以及
将所请求的存储器块维持在所述就绪且经压缩状态。


6.根据权利要求1所述的方法，其中，压缩处于所述就绪状态的所述存储器块中的至少一些，以形成处于所述就绪且经压缩状态的存储器块包括：
以自分配所述存储器块以来所经过时间的升序来压缩处于所述就绪状态的所述存储器块。


7.根据权利要求1所述的方法，其中，所述主存储器相对于所述辅存储器提供对存储器块的更快的访问。


8.一种用于管理计算机中的存储器的计算机系统，所述系统包括：
非暂时性计算机可读存储介质，其存储可执行计算机程序指令，所述计算机程序指令包括当被执行时使得计算机处理器执行以下步骤的指令，所述步骤包括：
监视与所述计算机相关联的主存储器的使用率，所述主存储器存储处于就绪状态的存储器块；
响应于处于所述就绪状态的所述存储器块对主存储器的使用率超过就绪状态阈值，压缩处于所述就绪状态的所述存储器块中的至少一些，以形成处于就绪且经压缩状态的存储器块以及处于经压缩状态的存储器块；
响应于处于所述就绪且经压缩状态的所述存储器块对主存储器的使用率超过释放阈值，释放处于所述就绪且经压缩状态的所述存储器块中的至少一些；以及
响应于处于所述经压缩状态的所述存储器块对主存储器的使用率超过经压缩阈值，将处于所述经压缩状态的至少一些存储器块传输到与所述计算机相关联的辅存储器，以形成处于磁盘上状态的存储器块。


9.根据权利要求8所述的系统，其中，由所述计算机处理器执行的步骤还包括：
从在所述计算机上执行的模块接收用于访问存储器块的请求；
确定所请求的存储器块是否处于所述就绪状态；以及
响应于所请求的存储器块不处于所述就绪状态的确定，将所请求的存储器块改变为所述就绪状态；以及
响应于访问请求，供应处于所述就绪状态的所请求的存储器块。


10.根据权利要求8所述的系统，其中，由所述计算机处理器执行的步骤还包括：
响应于主存储器使用率下降到使用率阈值以下，将处于所述磁盘上状态的至少一些存储器块从所述辅存储器传输到所述主存储器。


11.根据权利要求10所述的系统，其中，从所述辅存储器传输到所述主存储器的所述存储器块以所述经压缩状态被存储在所述主存储器中，其中，由所述计算机处理器...

【专利技术属性】
技术研发人员：E·P·哈丁，A·D·赖利，C·H·金斯利，
申请(专利权)人：奥特瑞克斯股份有限公司，
类型：发明
国别省市：美国;US