一种面向工业大数据的无服务器流计算应用构建方法技术

本发明专利技术公开了一种面向工业大数据的无服务器流计算应用构建方法，涉及工业大数据领域。智能制造设备上传数据源到对象存储桶，触发预处理算子生成无服务器计算实例，对源数据进行预处理；预处理算子将预处理完的数据推送到指定的消息队列；基于消息队列事件触发的数据处理算子生成无服务器计算实例，从消息队列接收数据并进行处理；数据处理算子实例将处理完的数据继续上传到指定的消息队列，实现将数据传输给下一处理单元；所设定的数据处理算子流式处理数据，最后一个算子将结果持久化存储在NoSQL型数据库中。本发明专利技术为制造企业提供了一种行之有效且开发运维门槛较低的基于无服务器的流计算应用构建方式。务器的流计算应用构建方式。务器的流计算应用构建方式。

【技术实现步骤摘要】
一种面向工业大数据的无服务器流计算应用构建方法


[0001]本专利技术涉及工业大数据领域，尤其涉及一种面向工业大数据的无服务器流计算应用构建方法。

技术介绍

[0002]无服务器计算(ServerlessComputing)是计算机系统领域的一个新兴研究方向，指在构建和运行应用时无需管理服务器等基础设施。在无服务器计算模型中，应用被拆解为一个或多个细粒度的函数被上传到一个平台，然后根据当前所需执行、扩展和计费，服务器配置、维护等任务和功能都由无服务器平台处理。
[0003]流式计算(StreamComputing)是实时计算领域的一个分支。相比于传统的数据处理流程中需要先收集数据然后再按需处理，流式计算可以在大规模流动数据不断变化的运动过程中实时地进行分析，并把结果发送到下一计算节点。工业物联网基础设施水平的不断提高使得生产过程中产生的工业数据海量增加，也对规模的数据处理系统提出了更高的要求。如何将流式计算和无服务器计算结合并引入对工业数据进行处理，成为了工业大数据领域发展的新机遇。
[0004]主流的工业大数据流式计算系统都是基于分布式数据处理框架进行开发的，例如基于美国推特公司提出的ApacheStorm实时计算框架。其主要特征是基于流和元组实现了一种容错机制来执行计算或调度事件的多个计算，核心概念包括数据源、数据处理单元、由数据源和处理单元构成的数据处理流程等。基于分布式系统的底层使得此类流式计算系统易于扩展，可以根据生产实际灵活地拓展或缩容流式计算系统，避免计算资源的浪费或紧张。流和元组使得生产数据按照规范进行封装和处理，提高数据的吞吐量并降低传输延迟。
[0005]因此，本领域的技术人员致力于开发一种面向工业大数据的无服务器流计算应用构建方法。本专利技术在无状态的无服务器上实现状态存储，使得流式计算应用可以较简单地获得无服务器提供的自动伸缩性和易恢复性；使用无服务器供应商提供的分布式消息队列作为各算子之间的通信的实现载体，使得可以以较低门槛保障流计算系统的“至少一次”特性；采用无服务器计算函数服务作为流计算应用程序的运行载体，使得开发和运维人员能够专注于流计算应用中的业务逻辑处理。

技术实现思路

[0006]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是无服务器缺乏对于流式计算的状态维护的支持，数据处理延迟和响应时间长，传统工业流计算系统的管理和维护繁琐。
[0007]为实现上述目的，本专利技术提供了一种面向工业大数据的无服务器流计算应用构建方法，包括以下步骤：
[0008]步骤1、设置并启动各基础组件服务；
[0009]步骤2、作为数据源的智能制造设备启动应用程序，接入数据上传接口；
[0010]步骤3、数据源上传数据到对象存储桶，触发预处理算子生成无服务器计算实例，对源数据进行预处理；
[0011]步骤4、预处理算子将预处理完的数据推送到消息队列；
[0012]步骤5、基于消息队列事件触发的数据处理算子生成无服务器计算实例，从消息队列接收数据并进行处理；
[0013]步骤6、数据处理算子实例将处理完的数据继续上传到消息队列，实现将数据传输给下一处理单元；
[0014]步骤7、数据处理算子流式处理数据，最后一个算子将结果持久化存储在NoSQL型数据库中。
[0015]进一步地，所述步骤1中各基础组件服务包括对象存储桶服务、消息队列服务、NoSQL型数据库服务，和无服务器计算函数服务。
[0016]进一步地，所述无服务器计算函数服务作为流计算应用程序的运行载体。
[0017]进一步地，所述消息队列服务作为各算子之间的通信的实现载体。
[0018]进一步地，所述智能制造设备在生产过程中持续不断地将产生的生产源数据上传到对象存储桶中。
[0019]进一步地，所述步骤3，新的源数据到达对象存储桶中后，通过网关触发部署预处理算子的无服务器计算函数，然后按需生成计算实例；计算实例从对象存储桶中读取源数据，然后根据开发人员开发的算子功能对源数据进行预处理。
[0020]进一步地，所述步骤4，预处理算子的无服务器计算实例将预处理完的数据推送到消息队列，如果发生超时错误或者其他错误，则会对计算实例的相关参数进行抛出，触发用于容错处理的无服务器函数生成实例进行异常处理，容错实例会根据发生异常的实例的参数重新触发相关计算实例。
[0021]进一步地，所述步骤5，消息队列接收到预处理实例推送的新消息，基于消息队列事件触发的第一个数据处理算子生成无服务器计算实例，从消息队列中轮询接收消息；数据处理算子实例会根据用户指定程序对数据进行第一道处理。
[0022]进一步地，所述步骤6，数据处理算子实例将处理完的数据推送到指定的消息队列中，用于触发下一数据处理算子，从而实现将数据传输给下一处理单元；数据处理过程不断拓展，直到最后一个处理算子；在无服务器计算实例的运行过程中，如果发生超时错误或者其他错误，会对实例抛出到容错函数，然后生成容错实例进行异常处理。
[0023]进一步地，所述步骤7，最后一个数据处理算子生成无服务器计算实例，从消息队列中轮询接收最后的数据，格式化处理数据后，将结果持久化存储在NoSQL型数据库中。
[0024]在本专利技术的较佳实施方式中，解决无服务器缺乏对于流式计算的状态维护的支持。流式计算需要具备一定的状态维护能力，以便处理不断到来的数据流并保持状态的一致性，而无服务器架构被设计为无状态的，这意味着每次请求都是独立的，没有依赖于之前请求的状态。本专利技术在无服务器上实现状态存储。通过将计算实例处理完成的状态数据推送到消息队列中间件中进行状态的存储，并使用NoSQL型数据库持久化结果存储，在无服务器上实现了有状态的流式计算算子。开发人员可以专注于开发和部署流式计算应用程序，所开发的无服务流式应用程序由于其自动伸缩性可以处理大量的数据流，以及提供更快速和可靠的响应能力。
[0025]当前的数据处理延迟和响应时间都很长。当前的流式计算模型部署在云平台，对大量的各种工业数据进行处理时存在延迟问题和较高的网络开销。现有的流式计算系统可能难以解决存在的延迟问题。本专利技术使用分布式消息队列作为中间件。智能设备的海量数据可根据实际网络情况通过分布式中间件上传到框架中，并且流式计算算子间的通信也通过分布式消息队列进行实现。实现了智能设备海量数据的高效上传以及流式计算算子间状态数据的高效通信，并且中间件的轮询可见性特质，即同一时间只可见一次的属性保证了流式计算“至少一次”的特性。
[0026]传统工业流计算系统的管理和维护较繁琐。对开发人员来说，以最佳方式管理底层基础设施的责任很重，而且这个过程主要是手动的、特定于任务的和容易出错的。而生产线的改动是经常发生的事情，现有的流式计算系统虽然可以较容易地实现系统的拓展或缩容，但依赖于运维工程师的手动操作，无法实现自动化操作。本专利技术使用无服务器计算平台为主要支撑实现流式计算框架。基于无服务器体系架构所构建的应用程序可以实现自动扩缩容，且无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向工业大数据的无服务器流计算应用构建方法，其特征在于，包括以下步骤：步骤1、设置并启动各基础组件服务；步骤2、作为数据源的智能制造设备启动应用程序，接入数据上传接口；步骤3、数据源上传数据到对象存储桶，触发预处理算子生成无服务器计算实例，对源数据进行预处理；步骤4、预处理算子将预处理完的数据推送到消息队列；步骤5、基于消息队列事件触发的数据处理算子生成无服务器计算实例，从消息队列接收数据并进行处理；步骤6、数据处理算子实例将处理完的数据继续上传到消息队列，实现将数据传输给下一处理单元；步骤7、数据处理算子流式处理数据，最后一个算子将结果持久化存储在NoSQL型数据库中。2.如权利要求1所述的面向工业大数据的无服务器流计算应用构建方法，其特征在于，所述步骤1中各基础组件服务包括对象存储桶服务、消息队列服务、NoSQL型数据库服务，和无服务器计算函数服务。3.如权利要求2所述的面向工业大数据的无服务器流计算应用构建方法，其特征在于，所述无服务器计算函数服务作为流计算应用程序的运行载体。4.如权利要求2所述的面向工业大数据的无服务器流计算应用构建方法，其特征在于，所述消息队列服务作为各算子之间的通信的实现载体。5.如权利要求1所述的面向工业大数据的无服务器流计算应用构建方法，其特征在于，所述智能制造设备在生产过程中持续不断地将产生的生产源数据上传到对象存储桶中。6.如权利要求1所述的面向工业大数据的无服务器流计算应用构建方法，其特征在于，所述步骤3，新的源数据到达对象存储桶中后，通过网关触发部署预处理算子的...

【专利技术属性】
技术研发人员：马汝辉，蔡子诺，陈泽彬，陈星耒，管海兵，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：