基于Artifact的大数据服务组合方法及复合服务组合方法技术

本发明专利技术公开了一种基于Artifact的大数据服务组合方法及复合服务组合方法，一方面，本发明专利技术提供了一种基于Artifact的大数据服务组合方法，该方法包括以下处理步骤:步骤1：模型初始化，将信息载体Artifact初始化并且加入到仓库Repository中，Repository根据用户的输入对Artifact里的属性进行赋值；步骤2：将服务器上的文件传输到HDFS集群上；步骤3：对HDFS集群上文件进行日志分析；步骤4：将日志分析结果传回服务器上；步骤5：发送邮件通知日志分析完成；步骤6：将Artifact的状态转为结束End状态，服务组合执行完成。另一方面，本发明专利技术提供了一种基于Artifact的大数据复合服务组合方法。本发明专利技术可有效快速的进行大数据处理服务。

【技术实现步骤摘要】
基于Artifact的大数据服务组合方法及复合服务组合方法
本专利技术涉及数据处理领域，尤其涉及一种基于Artifact的大数据服务组合方法，还涉及一种基于Artifact的大数据复合服务组合方法。
技术介绍
近年来，随着技术和网络的发展，人们对相关的计算能力、资源集中化、资源利用率的要求越来越高，因而，云计算应运而生，使得人们越来越倾向于将应用和服务部署到云环境中。目前，如何有效的对各种各样的服务进行管理和调用，是云计算面临的一个关键问题。传统的web服务调用方式已经有很多学者进行了研究，但是随着各种各样的大数据服务不断涌现并且web服务调用方式不能直接应用于大数据服务中，使得根据大数据服务的特点，提出一种服务描述文档格式，以满足云计算中根据服务描述文档对大数据服务进行调用的要求是十分必要的。传统环境下的服务选择和组合的研究已经有了一定进展，但是目前的研究还是以传统的web服务作为研究对象。然而随着各种各样的大数据服务的不断涌现，也为服务组合带来了新的挑战，大数据服务由于本身的特性，有着与web服务不同的一面，但是，目前大数据服务与web服务相对稳定的处理时间不同，大数据服务的处理时间受到输入数据量的影响很大而且处理时间都是较长的，同时因为传统的web服务调用方式和组合方式也不能直接应用于大数据服务中，所以对大数据服务的组合也是云环境下服务组合所面临的另一个关键问题。
技术实现思路
本专利技术的目的一是，提供一种基于Artifact的大数据服务组合方法，可有效快速的进行大数据处理服务。本专利技术的目的二是，提供基于Artifact的大数据服务组合方法的一种复合组合方法。为实现该目的，提供了一种基于Artifact的大数据服务组合方法，该方法包括以下处理步骤:步骤1：模型初始化，将信息载体Artifact初始化并且加入到仓库Repository中，Repository根据用户的输入对Artifact的属性进行赋值；步骤2：将Artifact的状态转为转移到HDFS处理TranserToHDFS的状态，然后执行在NIFI服务下的TranserToHDFS操作，将服务器上的文件传输到HDFS集群上，又通过Repository修改Artifact中的是转移到HDFS属性isTranserToHDFS为true；步骤3：将Artifact的状态转为分析处理Analysis的状态，然后执行在MapReduce服务下的Analysis操作，对HDFS集群上的文件进行日志分析，又通过Repository修改Artifact中的是分析属性isAnalysis为true；步骤4：将Artifact的状态转为转移到Server处理TranserToServer的状态，然后执行在NIFI服务下的TranserToServer操作，将日志分析结果传回服务器上，又通过Repository修改Artifact中的是转移到Server属性isTranserToServer为true；步骤5：将Artifact的状态转为发送邮件SendEmail的状态，然后执行在HTTP服务下的SendEmail操作，发送邮件通知日志分析完成，又通过Repository修改Artifact中的发送结果属性sendResult使其与外部服务输出集中的结果属性result相等；步骤6：将Artifact的状态转为End的状态，服务组合执行完成。优选地，在步骤1中，根据服务组合文档初始化模型，将Artifact初始化为Start状态。优选地，在步骤2中，在将Artifact的状态转为TranserToHDFS的状态前，先对TranserToHDFS的状态进行前置条件检验，判断Artifact中各属性的字段是否不为空，当Artifact中各属性的字段不为空则将Artifact的状态转为TranserToHDFS状态，当Artifact中各属性的字段为空则用户输入内容存在问题，抛出异常，流程执行失败。优选地，在步骤3中，在将Artifact的状态转为Analysis的状态前，先对Analysis的状态进行前置条件的检验，判断isTranserToHDFS是否为true，当isTranserToHDFS是为true则Artifact的状态转为Analysis的状态，当isTranserToHDFS不为true则TranserToHDFS操作的服务调用失败，抛出异常，流程执行失败。优选地，在步骤4中，在将Artifact的状态转为TranserToServer的状态前，先对TranserToServer的状态进行前置条件检验，判断isAnalysis是否为true，当isAnalysis为true则Artifact的状态转为TranserToServer的状态，当isAnalysis不为true则Analysis操作的服务调用失败，抛出异常，流程执行失败。优选地，在步骤5中，在将Artifact的状态转为SendEmail的状态前，先对SendEmail的状态进行前置条件检验，判断isTranserToServer是否为true，当isTranserToServer是为true则Artifact的状态转为SendEmail的状态，当isTranserToServer不为true则TranserToServer操作的服务调用失败，抛出异常，流程执行失败。优选地，在步骤6中，在将Artifact的状态转为End的状态前，先对End的状态进行前置条件检验，判断sendResult是否不为空，当sendResult不为空则将Artifact的状态转为End的状态，当sendResult为空则SendEmail操作的服务调用失败，抛出异常，流程执行失败。优选地，在步骤2中的将服务器上的文件传输到HDFS集群上为调用的外部服务；在步骤3中对HDFS集群上文件进行日志分析为调用的外部服务；在步骤4中将日志分析结果传回服务器上为调用的外部服务；在步骤5中发送邮件通知日志分析为调用的外部服务。为实现目的二，本专利技术还提供了一种基于Artifact的大数据复合服务组合方法，本方法能够将若干个基于Artifact的大数据服务组合到一起而形成复合服务。本专利技术与现有技术相比，其有益效果在于：本专利技术通过从待分析日志的服务器上将数据传送到HDFS上，启动MapReduce服务对日志进行分析，分析完后将分析结果传回服务器上，并发送邮件告知用户日志分析结束，可有效快速的进行大数据处理服务。本专利技术在处理过程中通过调用外部服务能够有效简化系统，加快处理速度。附图说明图1为本专利技术的流程图；图2为本专利技术中基于Artifact的大数据复合服务组合方法的示意图。具体实施方式下面结合实施例，对本专利技术作进一步的描述，但不构成对本专利技术的任何限制，任何在本专利技术权利要求范围所做的有限次的修改，仍在本专利技术的权利要求范围内。如图1所示，本专利技术提供了一种基于Artifact的大数据服务组合方法,该方法包括以下处理步骤:步骤1：模型初始化，将信息载体Artifact初始化并且加入到仓库Repository中，Repository根据用户的输入对Artifact的属性进行赋值；步骤2：将Artifact的状态转为转移到HDFS处理本文档来自技高网...

【技术保护点】
一种基于Artifact的大数据服务组合方法，其特征在于,该方法包括以下处理步骤:步骤1：模型初始化，将信息载体Artifact初始化并且加入到仓库Repository中，Repository根据用户的输入对Artifact的属性进行赋值；步骤2：将Artifact的状态转为转移到HDFS处理TranserToHDFS的状态，然后执行在NIFI服务下的TranserToHDFS操作，将服务器上的文件传输到HDFS集群上，又通过Repository修改Artifact中的是转移到HDFS属性isTranserToHDFS为true；步骤3：将Artifact的状态转为分析处理Analysis的状态，然后执行在MapReduce服务下的Analysis操作，对HDFS集群上的文件进行日志分析，又通过Repository修改Artifact中的是分析属性isAnalysis为true；步骤4：将Artifact的状态转为转移到Server处理TranserToServer的状态，然后执行在NIFI服务下的TranserToServer操作，将日志分析结果传回服务器上，又通过Repository修改Artifact中的是转移到Server属性isTranserToServer为true；步骤5：将Artifact的状态转为发送邮件SendEmail的状态，然后执行在HTTP服务下的SendEmail操作，发送邮件通知日志分析完成，又通过Repository修改Artifact中的发送结果属性sendResult使其与外部服务输出集中的结果属性result相等；步骤6：将Artifact的状态转为End的状态，服务组合执行完成。...

【技术特征摘要】
1.一种基于Artifact的大数据服务组合方法，其特征在于,该方法包括以下处理步骤:步骤1：模型初始化，将信息载体Artifact初始化并且加入到仓库Repository中，Repository根据用户的输入对Artifact的属性进行赋值；步骤2：将Artifact的状态转为转移到HDFS处理TranserToHDFS的状态，然后执行在NIFI服务下的TranserToHDFS操作，将服务器上的文件传输到HDFS集群上，又通过Repository修改Artifact中的是转移到HDFS属性isTranserToHDFS为true；步骤3：将Artifact的状态转为分析处理Analysis的状态，然后执行在MapReduce服务下的Analysis操作，对HDFS集群上的文件进行日志分析，又通过Repository修改Artifact中的是分析属性isAnalysis为true；步骤4：将Artifact的状态转为转移到Server处理TranserToServer的状态，然后执行在NIFI服务下的TranserToServer操作，将日志分析结果传回服务器上，又通过Repository修改Artifact中的是转移到Server属性isTranserToServer为true；步骤5：将Artifact的状态转为发送邮件SendEmail的状态，然后执行在HTTP服务下的SendEmail操作，发送邮件通知日志分析完成，又通过Repository修改Artifact中的发送结果属性sendResult使其与外部服务输出集中的结果属性result相等；步骤6：将Artifact的状态转为End的状态，服务组合执行完成。2.根据权利要求1所述的一种基于Artifact的大数据服务组合方法，其特征在于：在步骤1中，根据服务组合文档初始化模型，将Artifact初始化为Start状态。3.根据权利要求1所述的一种基于Artifact的大数据服务组合方法，其特征在于：在步骤2中，在将Artifact的状态转为TranserToHDFS的状态前，先对TranserToHDFS的状态进行前置条件检验，判断Artifact中各属性的字段是否不为空，当Artifact中各属性的字段不为空则将Artifact的状态转为TranserToHDFS状态，当Artifact中各属性的字段为空则用户输入内容存在问题，抛出异常，流程执行失败。4.根据权利要求1所述的一种基于Artifact的大数据服务组合方法，其特征在于：在步骤3中，在...

【专利技术属性】
技术研发人员：李东，邓泽航，吴杰楚，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44