在并行分布式计算框架上使用用于短期JVM的轻量级JIT编译制造技术

本发明专利技术涉及在并行分布式计算框架上使用用于短期JVM的轻量级JIT编译。用于重启虚拟机的计算机实现的方法和计算机程序产品被提供，虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业。该方法包括通过使用从元数据可获得的多个标准来估计虚拟机是否是短期的。多个标准包括与虚拟机对应的工作负载列的数目、工作负载分割的数目、以及数据类型的大小。该方法还包括：响应于虚拟机被估计为短期的，通过指定虚拟机的虚拟机参数、利用仅使用轻量级即时编译的配置来重启该虚拟机。

Lightweight JIT compilation for short-term JVM in parallel distributed computing frameworks

【技术实现步骤摘要】
在并行分布式计算框架上使用用于短期JVM的轻量级JIT编译
本专利技术总体上涉及信息处理，具体涉及在并行分布式计算框架上使用用于短期JVM(Java虚拟机)的轻量级(即时)JIT编译。
技术介绍
当使用诸如或MapReduce的并行分布式计算框架时，一些Java虚拟机(JVM)在非常短的时段(几秒)中完成。OpenJavaDevelopmentKit(OpenJDK)中的即时(JIT)编译具有四个编译级别。更高级别的JIT编译生成更快的代码，但花费更多的时间。四个编译级别如下：级别1：不具有性能分析(profiling)的轻量级编译。级别2：具有轻量级性能分析的轻量级编译。级别3：具有重量级(heavyweight)性能分析的轻量级编译。级别4：通过使用在级别2或级别3取得的性能分析结果而进行的重量级编译。具有(I)解释器(II)级别3、以及(III)级别4的执行路径是OpenJDK中的默认设置。当Java虚拟机是短期的时，由于方法被编译但是在编译之后未被频繁调用的状况，导致用于编译所花费的时间变得徒劳。通常，很难提前决定是否是短期的。现有的本领域技术涉及重用用于执行作业的JVM。但是，由于减少缓冲区高速缓存，导致连续重用JVM可能会使性能降级。因此，需要在并行分布式计算框架上使用用于短期JVM轻量级JIT编译的方法。
技术实现思路
根据本专利技术的方面，用于重启虚拟机的计算机实现的方法被提供，虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业。该方法包括通过使用从元数据可获得的多个标准来估计虚拟机是否是短期的。多个标准包括与虚拟机对应的工作负载列的数目、工作负载分割的数目、以及数据类型的大小。该方法还包括：响应于虚拟机被估计为是短期的，通过指定虚拟机的虚拟机参数、利用仅使用轻量级即时编译的配置来重启虚拟机。根据本专利技术的另一方面，用于重启虚拟机的计算机程序产品被提供，虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业。该计算机程序产品包括计算机可读存储介质，计算机可读存储介质具有随其而体现的程序指令。程序指令由计算机可执行来使计算机执行方法。方法包括通过使用从元数据可获得的多个标准来估计虚拟机是否是短期的。多个标准包括与虚拟机对应的工作负载列的数目、工作负载分割的数目、以及数据类型的大小。方法还包括：响应于虚拟机被估计为短期的，通过指定虚拟机的虚拟机参数、利用仅使用轻量级即时编译的配置来重启虚拟机。根据以下结合附图来阅读的其说明性实施例的具体实施方式，这些和其他特征以及优点将变得明显。附图说明以下描述将参考以下附图来提供优选实施例的细节，其中：图1示出了根据本专利技术实施例的可以应用本专利技术的示例性处理系统；图2是示出了根据本专利技术实施例的可以应用本专利技术的示例性环境的框图；以及图3示出了根据本专利技术实施例的用于重启Java虚拟机(JVM)的示例性方法，该Java虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业。具体实施方式本专利技术涉及在并行分布式计算框架上使用用于短期JVM的轻量级JIT编译。在实施例中，本专利技术基于JVM寿命来选择轻量级JIT编译的策略。例如，在实施例中，在每次重启用于处理每个作业的JVM的并行分布式计算框架中，仅针对短期JVM进行轻量级JIT编译(级别1)。应当理解，如在给出本文提供的本专利技术的教导的情况下本领域普通技术人员容易理解的，尽管本专利技术的一个或多个实施例关于Java虚拟机(JVM)而被描述，但是本专利技术可以被应用于使用多个编译级别的其他虚拟机，同时保持本专利技术的精神。图1示出了根据本专利技术实施例的可以应用本专利技术原理的示例性处理系统100。处理系统100包括至少一个处理器(CPU)104，其处理器(CPU)104经由系统总线102被可操作地耦合到其他组件。高速缓存106、只读存储器(ROM)108、随机存取存储器(RAM)110、输入/输出(I/O)适配器120、声音适配器130、网络适配器140、用户接口适配器150以及显示适配器160被可操作地耦合到系统总线102。至少一个图形处理单元(GPU)191被可操作地耦合到系统总线102。第一存储设备122和第二存储设备124通过I/O适配器120而被可操作地耦合到系统总线102。存储设备122和124可以是磁盘存储设备(例如，磁盘或光盘存储设备)、固态磁设备等中的任何一个。存储设备122和124可以是相同类型的存储设备或不同类型的存储设备。扬声器132通过声音适配器130而被可操作地耦合到系统总线102。收发器142通过网络适配器140而被可操作地耦合到系统总线102。显示器设备162通过显示适配器160而被可操作地耦合到系统总线102。第一用户输入设备152、第二用户输入设备154以及第三用户输入设备156通过用户接口适配器150而被可操作地耦合到系统总线102。用户输入设备152、154和156可以是键盘、鼠标、小键盘、图像捕获设备、运动感测设备、麦克风、并入前述设备中的至少两个设备的功能的设备等中的任何一个。当然，其他类型的输入设备也可以被使用，同时保持本专利技术的精神。用户输入设备152、154和156可以是相同类型的用户输入设备或不同类型的用户输入设备。用户输入设备152、154和156被用于向系统100输入信息和从系统100输出信息。当然，如本领域技术人员容易考虑到的，处理系统100还可以包括其他元件(未示出)，也可以省略某些元件。例如，如本领域普通技术人员容易理解的，各种其他输入设备和/或输出设备可以被包括在处理系统100中，这取决于其具体实现。例如，各种类型的无线和/或有线输入和/或输出设备可以被使用。此外，如本领域普通技术人员容易想到的，附加的处理器、控制器、存储器等也可以在各种配置中被利用。处理系统100的这些变型和其他变型，是在给出本文提供的本专利技术的教导的情况下本领域普通技术人员容易想到的。此外，应当理解，下面关于图2描述的环境200是用于实现本专利技术的相应实施例的环境。处理系统100的一部分或全部可以在环境200的元件中的一个或多个元件中被实现。此外，应当理解，处理系统100可以执行本文所描述的方法的至少一部分，包括例如图3的方法300的至少一部分。类似地，环境200的一部分或全部可以被用于执行图3的方法300的至少一部分。图2是示出了根据本专利技术实施例的可以应用本专利技术的示例性环境200的框图。环境200表示可以应用本专利技术的并行分布式计算框架。并行分布式计算框架可以是但不限于MapReduce等。出于说明的目的，阐述了相对于图2示出的元件。然而，应当理解，本专利技术可以应用于如在给出本文提供的本专利技术的教导的情况下本领域普通技术人员容易想到的其他配置和其他操作环境，同时保持本专利技术的精神。环境200至少包括在并行分布式计算框架中连接的多个计算节点210。多个计算节点210形成机器的集群299。在实施例中，在集群299中，计算节点210中的一个可以充当主端(master)210M，而其他计算节点可以充当从端(slave)210S。在实施例中，计算节点210中的每个计算节点可以包括一个或多个服务器或其他计算机器。计算节点210中的每个计算节点可以至少包括处理元件231、存储器232、以及通信设备233。通信设备233可以本文档来自技高网...

【技术保护点】
1.一种用于重启虚拟机的计算机实现的方法，所述虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业，所述方法包括：通过使用从元数据可获得的多个标准来估计所述虚拟机是否是短期的，所述多个标准包括与所述虚拟机对应的工作负载列的数目、工作负载分割的数目、以及数据类型的大小；以及响应于所述虚拟机被估计为短期的，通过指定所述虚拟机的虚拟机参数、利用仅使用轻量级即时编译的配置来重启所述虚拟机。

【技术特征摘要】
2018.01.17 US 15/873,5941.一种用于重启虚拟机的计算机实现的方法，所述虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业，所述方法包括：通过使用从元数据可获得的多个标准来估计所述虚拟机是否是短期的，所述多个标准包括与所述虚拟机对应的工作负载列的数目、工作负载分割的数目、以及数据类型的大小；以及响应于所述虚拟机被估计为短期的，通过指定所述虚拟机的虚拟机参数、利用仅使用轻量级即时编译的配置来重启所述虚拟机。2.根据权利要求1所述的计算机实现的方法，其中所述虚拟机是Java虚拟机。3.根据权利要求1所述的计算机实现的方法，还包括：在执行所述虚拟机之后，检查曾经被估计为是短期的所述虚拟机实际上是短期的还是实际上不是短期的；以及响应于所述虚拟机实际上不是短期的，调整所述多个标准中的至少一个标准。4.根据权利要求1所述的计算机实现的方法，其中所述多个标准还包括所述虚拟机上的查询的运算符。5.根据权利要求1所述的计算机实现的方法，其中所述多个标准还包括所述虚拟机上的执行线程的数目。6.根据权利要求1所述的计算机实现的方法，其中所述多个标准还包括所述并行分布式计算框架的一个或多个设置。7.根据权利要求6所述的计算机实现的方法，其中所述并行分布式计算框架的所述...

【专利技术属性】
技术研发人员：堀江伦大，绪方一则，吉村刚，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国,US