大数据应用生命周期管理制造技术

本公开涉及用于创建用于大数据应用的应用生命周期管理平台的系统、方法、设备等方面。在一个实施例中，生命周期管理平台可以包括集成多个大数据工具/平台的多层容器文件。系统可以创建通用模板应用，创建用于通用模板应用的构建环境，创建用于通用模板应用的测试环境，并在用户在通用模板应用中写入任何新代码之前在测试环境中运行经构建的通用模板应用。在一个实施例中，测试环境包括容器管理系统或虚拟机，该容器管理系统或虚拟机在单独的大数据服务器集群上启动大数据应用，该大数据应用可以是开发人员编辑文件之前的通用模板应用。可以是开发人员编辑文件之前的通用模板应用。可以是开发人员编辑文件之前的通用模板应用。

【技术实现步骤摘要】
【国外来华专利技术】大数据应用生命周期管理
[0001]相关申请的交叉领域
[0002]本申请是对2019年6月13日提交的第16,440,827号美国专利申请的延续，并要求其优先权，该申请通过引用全部并入本申请。


[0003]本公开总体涉及大数据应用开发，更具体地，涉及大数据应用生命周期管理。

技术介绍

[0004]应用生命周期管理是用于控制应用从构思阶段到开发、部署、升级和从服务中移除的技术。用于管理应用生命周期的工具能够以结构化方法对应用进行部署、排除故障、管理治理和测试。
[0005]数字设备以及数字服务每天会生成万亿、千万亿、百亿亿字节的数据。大数据是分析对于传统软件来说大到无法分析的大量数据的领域。数据可以包括已存档的文献、文件和网站、媒体文件(图像、视频、音频文件)、数据存储系统(存储库、数据库、文件系统)、商业应用、公共和政府数据源、社交媒体活动、机器日志数据和传感器数据(来自媒体设备、物联网设备、电器、农场设备、车辆传感器)。这些数据可以被分析或挖掘以执行用于人工智能的预测、分析、建模和训练。然而，接收到的数据的数量、质量、准确性、速度可能给数据的监视和分析带来挑战，大量系统的使用以及大量需完成的应用同样可能给数据的监视和分析带来挑战。
[0006]由于对运行和存储大数据应用的系统的硬件和软件要求，用于管理非大数据应用生命周期的工具不能用于管理大数据应用。因此，需要用于管理这些应用的生命周期(包括大数据应用的创建、构建、测试、部署和维护)的工具。
附图说明
[0007]图1示出了根据一个实施例的大数据应用生命周期管理系统的框图。
[0008]图2示出了根据一个实施例的示例性模板结构的框图。
[0009]图3A示出了根据一个实施例的执行大数据应用生命周期管理的流程图。
[0010]图3B示出了根据一个实施例的执行大数据应用生命周期管理的流程图。
[0011]图4示出了图示根据一个实施例的大数据应用生命周期管理系统的框图。
[0012]图5示出了根据一个实施例的计算机系统的示例框图，该计算机系统适用于实现图1
‑
4的大数据应用生命周期管理系统的一个或多个设备。
[0013]通过参考下面的具体实施方式，可以最好地理解本公开的实施例及其优点。应当理解，相似的附图标记用于标识在一个或多个附图中示出的相似元件，而其中所示是为了说明本公开的实施例，而不是为了对其进行限制。
具体实施方式
[0014]在以下描述中，阐述了描述与本公开一致的一些实施例的具体细节。然而，对于本领域技术人员而言显而易见的是，可以在没有一些或所有这些具体细节的情况下实践一些实施例。本文公开的具体实施例旨在是说明性而非限制性的。本领域技术人员可以意识到，其他元件虽然没有在这里具体描述，但是在本公开的范围和精神内。此外，为了避免不必要的重复，除非另外具体描述或者如果一个或多个特征将使实施例不起作用，否则与一个实施例相关联地示出和描述的一个或多个特征可以合并到其他实施例中。
[0015]本公开的各个方面涉及用于创建针对大数据应用的应用生命周期管理平台的系统、方法、以及设备等。大数据应用包括这样的应用：在该应用中，数据无法容纳于单台计算机/服务器上或单个事务无法被单台计算机处理。管理大数据应用生命周期的过程包括创建、构建、测试、部署、分析和维护大数据应用。在某些系统中，生命周期管理有很多步骤，其中很多步骤是手动的，需要与许多团队/平台和服务直接联系和通信。
[0016]用于管理应用生命周期的特征构建在多个开发和管理平台上。这些平台可以包括例如用于代码开发、构建、部署和监视的编排平台。平台还可以包括容器管理平台、APACHE MESOS、GITHUB、JENKINS、TWISTLOCK、从高级语言创建低级代码的汇编器、HADOOP生态系统、Kerberos安全专注网络身份验证协议、用于在服务器集群上提交和管理APACHE SPARK作业的LIVY和其他相关的RESTful接口、用于存储加密的密钥和密码以使其不需要被存储在磁盘上的凭证和秘密管理平台、以及用于访问存储在任何数据存储区和平台上的数据以对任何数据存储区上的访问数据写入SQL的GIMEL unified API。
[0017]根据本文的实施例，这些服务可以被修改和改进以适应大数据应用。在一个实施例中，可以创建与上述工具/平台集成的多层容器文件(例如DOCKER镜像)。每一层可以添加与一个或多个所述平台一起工作的能力。该多层容器可以允许多个平台团队创建这样的通用组件：每个平台团队可以为他们的开发人员构建这些通用组件，并且这些通用组件可以随后被放置在基础代码之上。这可以允许增加的代码可复用性以及单个组织中开发团队之间的标准化。在一个实施例中，描述了四层容器。第一层描述了基础层，该基础层包含用于运行环境、联网和安全性的工具、平台和配置。第一层还可以包括其他核心软件和核心库，例如python、curl、clib以及很多其他库和软件。在一些示例中，第一层包括操作系统。该操作系统可以是供程序员使用并运行应用的定制操作系统。例如，该操作系统可以包括用于创建和构建程序的软件和库。第二层描述了大数据层，该大数据层包含这样的特征：这些特征用于访问大数据框架(例如，APACHE HADOOP生态系统，该生态系统包括APACHE PIG、APACHE HIVE、APACHE HBASE、APACHE PHOENIX、APACHE SPARK、APACHE ZOOKEEPER、CLOUDERA IMPALA、APACHE FLUME、APACHE SQOOP、APACHE OOZIE和APACHE STORM)以及将应用依赖关系(dependency)上传到分布式文件系统(例如，HADOOP分布式文件系统(HDFS))。第三层描述了平台/团队层，该平台/团队层包括每个特定平台或团队所需的特征，例如运行参数及依赖关系的模板。第四层描述了应用层，该应用层包含应用所使用或所需要的特征，例如特定于应用的依赖关系。
[0018]在本公开的实施例中，用户可以指示系统创建新的大数据应用以进行开发。用户可以是单个开发人员、开发人员团队、或开发人员的组织或子组织。系统可以创建通用模板应用(在一些实施例中，该通用应用特定于开发人员团体或团队)，创建用于通用模板应用
的构建环境，创建用于通用模板应用的测试环境，并在用户在通用模板应用中编写任何新代码之前在测试环境中运行经构建的通用模板应用。本实施例的优点是可以使开发人员/开发团队能够专注于他们的特定应用的代码，而不必担心环境、基础设施复杂性、连接性等。与传统的基于关系数据库管理系统(RDBMS)的应用世界相比，由于组件的数量、基础设施的复杂性、连接性，这个问题在大数据世界中更加困难。在一个实施例中，测试环境包括虚拟机/容器应用，该虚拟机/容器应用在单独的大数据服务器集群上启动大数据应用(该大数据应用可以是开发人员编辑文件之前的通用模板应用)。在某些环境中，创建用于数据应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种管理大数据应用生命周期的方法，包括：使用模板应用来生成用于大数据应用的大数据应用源代码，所述大数据应用源代码包括测试应用；生成被配置为构建所述大数据应用的一个或多个构建环境；在所述一个或多个构建环境中，使用所述大数据应用源代码来构建所述大数据应用；配置与大数据应用相关联的一个或多个测试环境，所述一个或多个测试环境被配置为分配服务器集群以供所述大数据应用使用；在所述一个或多个测试环境中测试所述大数据应用；接收所述大数据应用源代码已被更新的触发事件；以及响应于所述触发事件，使用经更新的大数据应用源代码来重新构建所述大数据应用。2.如权利要求1所述的方法，还包括：在重新构建所述大数据应用之后，重新测试所述大数据应用。3.如权利要求2所述的方法，还包括：配置所述大数据应用，以对操作数据进行处理；以及将所述大数据应用放置于一个或多个生产环境中。4.如权利要求3所述的方法，其中，所述放置包括将所述大数据应用在时间上错开地部署到多个数据集群中。5.如权利要求1所述的方法，还包括：调度所述大数据应用，以在生产服务器集群上周期性地运行。6.如权利要求5所述的方法，其中，所述调度是基于对两个或更多个大数据应用之间的数据依赖关系的管理的。7.如权利要求1所述的方法，还包括：将所述大数据应用源代码存储在源代码库中，其中，所述触发事件是从所述源代码库接收的。8.如权利要求1所述的方法，还包括：收集关于所述大数据应用的资源和用户使用情况统计信息；以及基于所述资源和用户使用情况统计信息，来确定运行所述大数据应用的时机。9.如权利要求1所述的方法，其中，所述测试环境包括如下的设备：该设备运行虚拟机或容器，以在服务器集群上启动所述大数据应用。10.如权利要求9所述的方法，还包括：使用所述虚拟机或容器来启动所述大数据应用的多个版本中的每一个，以测试所述大数据应用的所述多个版本。11.如权利要求1所述的方法，还包括：生成大数据容器模板，所述大数据容器模板包括所述大数据应用源代码。12.如权利要求11所述的方法，其中，所述大数据容器模板包括多层容器，所述多层容器包括：第一容器层，包括操作系统设定和安全设定；第二容器层，包括大数据设定，所述大数据设定包括多个大数据应用所共用的设定和库；第三容器层，包括与用户相关联的设定和所述模板测试应用；以及第四容器层，包括所述大数据应用源代码和特定于大数据应用的设定。
13.如权利要求1所述的方法，还包括：使用所述模板应用生成用于第二大数据应用的第二大数据应用源代码，所述第二大数据应用源代码包括所述测试应用；生成被配置为构建所述第二大数据应用的第二构建环境；在所述第二构建环境中，使用所述第二大数据应用源代码来构建所述第二大数据应用；配置与所述大数据应用相关联的第二测试环境；以及在所述第二测试环境中测试所述第二大数据应用。...

【专利技术属性】
技术研发人员：梅萨姆，
申请(专利权)人：贝宝公司，
类型：发明
国别省市：