一种基于数据湖的雾计算架构及其实现方法技术

本申请涉及一种基于数据湖的雾计算架构及其实现方法,该方法包括以下步骤：在数据湖中增加多个业务流程系统，并对各个业务流程系统的接口进行抽象；分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；根据接收到的数据请求所对应的业务标签，按照业务逻辑关系从业务流程系统中读取目标业务数据。本申请实现了数据标签和元数据管理以及业务数据之间的互联互通，相比于现有技术中的数据业务逻辑被割裂，本申请保留了业务数据之间的业务逻辑关系，实现了业务数据与业务领域的绑定，提高了业务数据的存取和分析效率。

A Fog Computing Architecture Based on Data Lake and Its Implementation

This application involves a fog computing architecture based on data lake and its implementation method, which includes the following steps: adding multiple business process systems in the data lake and abstracting the interfaces of each business process system; adding business labels for establishing business logic relationships between business data in each interface after abstraction; and according to the received business process systems. The business label corresponding to the data request reads the target business data from the business process system according to the business logic relationship. This application realizes the data label and metadata management as well as the interconnection and interoperability of business data. Compared with the data business logic in the existing technology, this application retains the business logic relationship between business data, realizes the binding between business data and business field, and improves the efficiency of access and analysis of business data.

【技术实现步骤摘要】
一种基于数据湖的雾计算架构及其实现方法
本申请涉及物联网及雾计算领域，尤其涉及一种基于数据湖的雾计算架构及其实现方法。
技术介绍
在数据分析领域中，数据湖作为一种在系统或者存储库中以自然格式存储数据的方法，有助于以各种模式和结构形式配置数据，通常配置为对象块或文件。数据湖主要用于实现数据的统一存储，将原始数据(例如源系统数据的精确副本)转换为用于报告、可视化、分析和机器学习等各种任务的转换数据。数据湖中的数据包括结构化数据、半结构化数据(例如CSV、XML、JSON的日志)、非结构化数据(例如电子邮件、文档、PDF)和二进制数据(例如图像、音频、视频)，从而数据湖形成了一个集中式数据存储，以容纳所有形式的数据。数据湖虽然解决了不同结构的数据统一存储的问题，但是由于数据湖中的数据是按照数据类型来规划数据池进行存储的，因此在业务流程的处理过程中，从数据池中调取数据时，之前的业务系统结束后可能会产生一些占用存储空间的文件，使得业务系统之间的数据业务逻辑被割裂，从而导致业务系统的数据存取和分析效率降低。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种基于数据湖的雾计算架构及其实现方法。第一方面，本申请提供了一种基于数据湖的雾计算架构的实现方法，包括以下步骤：在数据湖中增加多个业务流程系统，并对各个业务流程系统的接口进行抽象；分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；根据接收到的数据请求所对应的业务标签，按照所述业务逻辑关系从所述业务流程系统中读取目标业务数据。可选的，还包括：将各个接口中数据获取频次大于频次阈值的业务数据存储到所述数据湖中；或者，为各个接口中数据获取频次小于频次阈值的业务数据建立目录索引；建立所述目录索引与所述业务数据之间的对应关系表；将所述对应关系表存储到所述数据湖中，以根据接收到的数据请求从所述对应关系表中读取相应业务数据。可选的，还包括：按照所述业务数据的业务标签的不同，将所述数据湖划分为多个数据池。可选的，还包括：为各个接口创建统一的外部接口；通过所述外部接口接收数据请求；根据接收到的所述数据请求，从所述数据池中获取所述目标业务数据。可选的，还包括：采用深度学习算法、认知计算或语义计算从所述数据池中获取所述目标业务数据。第二方面，本申请提供了一种基于数据湖的雾计算架构，包括：数据湖，用于存储多个业务流程系统的数据；接口抽象单元，用于对各个业务流程系统的接口进行抽象；雾计算单元，通过雾节点分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；数据读取单元，根据接收到的数据请求所对应的业务标签，按照所述业务逻辑关系从所述业务流程系统中读取目标业务数据。可选的，还包括：第一数据存储单元，所述第一数据存储单元用于将各个接口中数据获取频次大于频次阈值的业务数据存储到所述数据湖中；或者，第二数据存储单元，用于为各个接口中数据获取频次小于频次阈值的业务数据建立目录索引；建立所述目录索引与所述业务数据之间的对应关系表；将所述对应关系表存储到所述数据湖中，以根据接收到的数据请求从所述对应关系表中读取相应业务数据。可选的，还包括划分单元，所述划分单元用于按照所述业务数据的业务标签的不同，将所述数据湖划分为多个数据池。可选的，还包括外部接口创建单元，所述外部接口创建单元用于为各个接口创建统一的外部接口；通过所述外部接口接收数据请求；根据接收到的所述数据请求，从所述数据池中获取所述目标业务数据。可选的，还包括智能计算单元，所述智能计算单元用于采用深度学习算法、认知计算或语义计算从所述数据池中获取所述目标业务数据。本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，通过在数据湖中增加多个业务流程系统，对各个业务流程系统的接口进行抽象，为各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签，实现数据标签和元数据管理；根据接收到的数据请求所对应的业务标签，按照业务逻辑关系从业务流程系统中读取目标业务数据，实现了数据之间的互联互通，相比于现有技术中的数据业务逻辑被割裂，本申请保留了业务数据之间的业务逻辑关系，实现了业务数据与业务领域的绑定，提升了业务数据的存取和分析效率。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种基于数据湖的雾计算架构的实现方法的流程示意图；图2为本申请实施例提供的一种基于数据湖的雾计算架构的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例提供的一种基于数据湖的雾计算架构的实现方法，如图1所示，该实现方法包括以下步骤：S101、在数据湖中增加多个业务流程系统，并对各个业务流程系统的接口进行抽象。S102、分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签。S103、根据接收到的数据请求所对应的业务标签，按照业务逻辑关系从业务流程系统中读取目标业务数据。可选的，在步骤S102中，还可以为业务数据增加用于进行数据管理的管理标签。可选的，该实现方法还包括对数据湖中的业务数据进行数据预处理，该数据预处理包括流处理和批处理。可选的，该实现方法还包括：将各个接口中数据获取频次大于频次阈值的业务数据存储到数据湖中；或者，为各个接口中数据获取频次小于频次阈值的业务数据建立目录索引；建立目录索引与业务数据之间的对应关系表；将对应关系表存储到数据湖中，以根据接收到的数据请求从对应关系表中读取相应业务数据。可选的，该实现方法还包括：按照业务数据的业务标签的不同，即业务领域的不同，将数据湖划分为多个数据池，实现数据标签和元数据管理，为后续数据湖的智能计算提供数据基础。通过对各个业务流程系统的接口进行抽象，实现了业务数据的互联互通。可选的，该实现方法还包括：为各个接口创建统一的外部接口；通过外部接口接收数据请求；根据接收到的数据请求，从数据池中获取对应的业务数据，作为目标业务数据。各个业务流程系统无需直接对外提供服务，实现了数据资源的智能调度和规划，同时实现了复杂应用接口的高效管理。具体地，通过雾节点对外提供外部接口，接收外部发送的数据请求，例如该数据请求中携带的数据要求为获取某一业务流程的数据，可能涉及多个业务流程系统，比如获取某年采购台式机的数据，可能涉及设备使用部门，采购部门，财务部门等，则从数据池中按照相应的业务逻辑关系获取所有业务流程系统中各个部门的业务数据，数据业务逻辑执行完毕后获取到的所有业务数据即为目标目标数据。本文档来自技高网...

【技术保护点】
1.一种基于数据湖的雾计算架构的实现方法，其特征在于，包括以下步骤：在数据湖中增加多个业务流程系统，并对各个业务流程系统的接口进行抽象；分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；根据接收到的数据请求所对应的业务标签，按照所述业务逻辑关系从所述业务流程系统中读取目标业务数据。

【技术特征摘要】
1.一种基于数据湖的雾计算架构的实现方法，其特征在于，包括以下步骤：在数据湖中增加多个业务流程系统，并对各个业务流程系统的接口进行抽象；分别为抽象后的各个接口中的业务数据增加用于建立业务数据之间的业务逻辑关系的业务标签；根据接收到的数据请求所对应的业务标签，按照所述业务逻辑关系从所述业务流程系统中读取目标业务数据。2.根据权利要求1所述的基于数据湖的雾计算架构的实现方法，其特征在于，还包括：将各个接口中数据获取频次大于频次阈值的业务数据存储到所述数据湖中；或者，为各个接口中数据获取频次小于频次阈值的业务数据建立目录索引；建立所述目录索引与所述业务数据之间的对应关系表；将所述对应关系表存储到所述数据湖中，以根据接收到的数据请求从所述对应关系表中读取相应业务数据。3.根据权利要求2所述的基于数据湖的雾计算架构的实现方法，其特征在于，还包括：按照所述业务数据的业务标签的不同，将所述数据湖划分为多个数据池。4.根据权利要求3所述的基于数据湖的雾计算架构的实现方法，其特征在于，还包括：为各个接口创建统一的外部接口；通过所述外部接口接收数据请求；根据接收到的所述数据请求，从所述数据池中获取所述目标业务数据。5.根据权利要求4所述的基于数据湖的雾计算架构的实现方法，其特征在于，还包括：采用深度学习算法、认知计算或语义计算从所述数据池中获取所述目标业务数据。6.一种基于数据湖的雾计算架构，其特征在于，包括：数据湖，用于存储多个业务流程系统...

【专利技术属性】
技术研发人员：盘浩军，罗引，奉凡，王磊，赵菲菲，曹家，张西娜，
申请(专利权)人：深圳中科闻歌科技有限公司，
类型：发明
国别省市：广东,44