用于物联网设备的数据挖掘分析系统和分析方法技术方案

本发明专利技术提供了一种用于物联网设备的数据挖掘分析系统和分析方法，包括：数据接入层，处理引擎层，模型应用层和访问层；其中，数据接入层，用于接入待分析数据；处理引擎层，用于对待分析数据进行预处理，得到处理后的数据；模型应用层，用于基于处理后的数据、利用机器学习的方式构建对待分析数据进行数据挖掘的目标数据模型；访问层，用于访问及应用目标数据模型。本发明专利技术缓解了现有技术中存在的上手门槛高、数据挖掘过程复杂的技术问题。数据挖掘过程复杂的技术问题。数据挖掘过程复杂的技术问题。

【技术实现步骤摘要】
用于物联网设备的数据挖掘分析系统和分析方法


[0001]本专利技术涉及数据挖掘
，尤其是涉及一种用于物联网设备的数据挖掘分析系统和分析方法。

技术介绍

[0002]数据挖掘是决策支持和过程控制的重要技术手段，它是物联网开发中的重要一环。物联网中的数据挖掘已经从传统意义上的数据统计分析、潜在模式的发现与挖掘，发展成为物联网中不可缺少的工具和环节。数据挖掘的知识领域涵盖了数据库技术、统计学知识、机器学习、可视化等多学科知识的综合应用。现有技术中的数据挖掘技术需要使用者熟练编程技术，存在着上手门槛高、数据挖掘过程复杂等技术问题。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种用于物联网设备的数据挖掘分析系统和分析方法，以缓解了现有技术中存在的上手门槛高、数据挖掘过程复杂的技术问题。
[0004]第一方面，本专利技术实施例提供了一种用于物联网设备的数据挖掘分析系统，包括：数据接入层，处理引擎层，模型应用层和访问层；其中，所述数据接入层，用于接入待分析数据；所述处理引擎层，用于对所述待分析数据进行预处理，得到处理后的数据；所述模型应用层，用于基于所述处理后的数据、利用机器学习的方式构建对所述待分析数据进行数据挖掘的目标数据模型；所述访问层，用于访问及应用所述目标数据模型。
[0005]进一步地，所述处理引擎层包括spark分布式处理引擎。
[0006]进一步地，所述数据接入层，还用于基于数据库或者数据中间件接入所述待分析数据；所述数据中间件包括消息队列。
[0007]进一步地，所述模型应用层包括：机器学习模块，数据仓库技术模块和对外接口；其中，所述机器学习模块，用于机器学习、数据挖掘和数据分析；所述数据仓库技术模块，用于通过前端传参的方式接入所述处理后的数据；所述对外接口，用于通过api调用的方式与所述处理引擎层建立连接关系。
[0008]进一步地，所述机器学习模块，还用于：基于集成学习的方式，将多个基础模型进行融合，得到所述目标数据模型。
[0009]第二方面，本专利技术实施例还提供了一种用于物联网设备的数据挖掘分析方法，应用于上述第一方面的系统；包括：通过所述数据接入层接入待分析数据；通过所述处理引擎层对所述待分析数据进行预处理，得到处理后的数据；基于所述处理后的数据、利用机器学习的方式构建对所述待分析数据进行数据挖掘的目标数据模型；通过所述访问层访问及应用所述目标数据模型。
[0010]进一步地，对所述待分析数据进行预处理，包括：对所述待分析数据依次进行数据清洗、数据变换和特征提取操作。
[0011]进一步地，基于所述处理后的数据、利用机器学习的方式构建对所述待分析数据
进行数据挖掘的目标数据模型，包括：基于集成学习的方式，将多个基础模型进行融合，得到所述目标数据模型。
[0012]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面所述的方法的步骤。
[0013]第四方面，本专利技术实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第二方面所述方法。
[0014]本专利技术提供了一种用于物联网设备的数据挖掘分析系统和分析方法，通过内置了丰富的、开箱即用的功能组件，包括数据接入层、处理引擎层、模型应用层和访问层，可以根据需求在预处理方案和挖掘算法选出最优组合，缓解了现有技术中存在的上手门槛高、数据挖掘过程复杂的技术问题。
附图说明
[0015]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术实施例提供的一种用于物联网设备的数据挖掘分析系统的示意图；
[0017]图2为本专利技术实施例提供的另一种用于物联网设备的数据挖掘分析系统的示意图；
[0018]图3为本专利技术实施例提供的一种数据挖掘平台架构示意图；
[0019]图4为本专利技术实施例提供的一种用于物联网设备的数据挖掘分析方法的流程图。
具体实施方式
[0020]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]实施例一：
[0022]图1是根据本专利技术实施例提供的一种用于物联网设备的数据挖掘分析系统的示意图。如图1所示，该系统包括：数据接入层10，处理引擎层20，模型应用层30和访问层40。
[0023]具体的，数据接入层10，用于接入待分析数据。
[0024]可选地，数据接入层10，还用于基于数据库或者数据中间件接入待分析数据；数据中间件包括消息队列。例如，可以采用Excel导入数据，也可以从数据中间件比如kafka等消息队列接入。
[0025]处理引擎层20，用于对待分析数据进行预处理，得到处理后的数据。
[0026]可选地，处理引擎层20包括spark分布式处理引擎。在本专利技术实施例中，采用spark分布式处理引擎在k8s基础上集群化部署。
[0027]模型应用层30，用于基于处理后的数据、利用机器学习的方式构建对待分析数据进行数据挖掘的目标数据模型。
[0028]在本专利技术实施例中，首先系统会建立公共模型，公共模型为上层所有的应用所共用，但是这一方法需要一个较为长期的过程，而且由于上层应用的多样性与不可预知性，常常会无法确定变量是否重要，也就无法确定变量是否必须保留或删除，一般的做法是考察所有可能的应用，基于这些应用抽取所有的变量或指标。
[0029]访问层40，用于访问及应用目标数据模型。
[0030]本专利技术提供了一种用于物联网设备的数据挖掘分析系统，通过内置了丰富的、开箱即用的功能组件，包括数据接入层、处理引擎层、模型应用层和访问层，可以根据需求在预处理方案和挖掘算法选出最优组合，缓解了现有技术中存在的上手门槛高、数据挖掘过程复杂的技术问题。
[0031]可选地，图2为根据本专利技术实施例提供的另一种用于物联网设备数据挖掘分析系统的示意图。如图2所示，模型应用层30包括：机器学习模块31，数据仓库技术模块32和对外接口33。
[0032]具体的，机器学习模块31，用于机器学习、数据挖掘和数据分析；
[0033]数据仓库技术模块32，用于通过前端传参的方式接入处理后的数据；
[0034]对外接口33，用于通过api调用的方式与处理引擎层建立连接关系。
[0035]可选地，机器学习模块31，还用于：基于集成学习的方式，将多个基础本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于物联网设备的数据挖掘分析系统，其特征在于，包括：数据接入层，处理引擎层，模型应用层和访问层；其中，所述数据接入层，用于接入待分析数据；所述处理引擎层，用于对所述待分析数据进行预处理，得到处理后的数据；所述模型应用层，用于基于所述处理后的数据、利用机器学习的方式构建对所述待分析数据进行数据挖掘的目标数据模型；所述访问层，用于访问及应用所述目标数据模型。2.根据权利要求1所述的系统，其特征在于，所述处理引擎层包括spark分布式处理引擎。3.根据权利要求1所述的系统，其特征在于，所述数据接入层，还用于基于数据库或者数据中间件接入所述待分析数据；所述数据中间件包括消息队列。4.根据权利要求1所述的系统，其特征在于，所述模型应用层包括：机器学习模块，数据仓库技术模块和对外接口；其中，所述机器学习模块，用于机器学习、数据挖掘和数据分析；所述数据仓库技术模块，用于通过前端传参的方式接入所述处理后的数据；所述对外接口，用于通过api调用的方式与所述处理引擎层建立连接关系。5.根据权利要求4所述的系统，其特征在于，所述机器学习模块，还用于：基于集成学习的方式，将多个基础模型进行融合，得到所述目标数据模...

【专利技术属性】
技术研发人员：王晓东，李凡平，王堃，
申请(专利权)人：以萨技术股份有限公司，
类型：发明
国别省市：