一种用于机器学习的高级分析基础构架制造技术

本发明专利技术公开了一种用于机器学习的高级分析基础构架，包括机器学习系统，所述机器学习系统包括：数据输入模块、机器学习算法库、筛选单元、试验模块和统计模块。本发明专利技术，通过在机器学习系统中加入筛选单元，对输入的数据进行分类筛选、数据偏差筛选和数据集中存在的数据缺陷进行筛选，避免输入的数据质量差影响到机器学习系统的正常运行，同时还对数据集中的数据缺陷进行筛选，通过呈现模块将筛选到的数据缺陷进行及时呈现，方便相关人员对机器学习系统中存在的缺陷进行及时的修复，防止一些很小的数据缺点给企业带来高昂的经济损失。

An advanced analysis infrastructure for machine learning

【技术实现步骤摘要】
一种用于机器学习的高级分析基础构架
本专利技术涉及分析基础构架技术相关领域，尤其涉及一种用于机器学习的高级分析基础构架。
技术介绍
机器学习是这样一种用于分析数据的过程，即，使用数据集来确定将输入数据(还称作解释变量或预测值)映射至输出数据(独立变量或响应变量)的模型(还称作规则或功能)。一种类型机器学习是监督学习，其中，利用包括针对足够数量的输入数据的已知输出数据的数据集来训练模型。模型一旦受到训练，其就可以加以部署，即，应用至新的输入数据来预测希望输出。数据质量差是机器学习的最大风险之一，如果机器学习的数据质量比较差，可能会危机整个大数据分析工作的进行，导致整个机器学习模式混乱，同时数据质量差还会存在很多缺陷，往往一个很小的数据缺陷被忽视，可以引发代价高昂的错误，如果不加以控制，可能会使整个机器学习计划往一个错误的方向进行发展。为此，我们提出了一种用于机器学习的高级分析基础构架。
技术实现思路
本专利技术的目的在于提供一种用于机器学习的高级分析基础构架，以解决上述
技术介绍
中提出的问题。为了实现上述目的，本专利技术采用了如下技术方案：一种用于机器学习的高级分析基础构架，包括机器学习系统，所述机器学习系统包括：数据输入模块，用于输入数据集或者接收数据集；机器学习算法库，用于利用公用接口来测试的多个机器学习算法；筛选单元，用于对输入数据集进行分类筛选、数据偏差筛选和数据集存在的缺陷进行筛选；试验模块，对每一个机器学习模型的性能结果进行评估和训练；统计模块，对全部的机器学习模型的性能结果进行比较和统计。优选地，所述机器学习系统还包括处理单元，用于对输入的数据集和输出的数据集进行处理。优选地，所述机器学习系统还包括呈现模块，所述呈现模块用于呈现统计模块统计的性能结果和比较的性能结果。优选地，所述机器学习系统还包括存储单元，用于对输入的数据集进行储存。优选地，所述筛选单元包括分类筛选单元、数据筛选单元和缺陷筛选单元，所述分类筛选单元对处理单元处理完毕的数据集进行分类筛选，所述数据筛选单元对处理单元处理完毕的数据集进行数据偏差筛选，所述缺陷筛选单元对处理单元处理完毕的数据集继续数据存在的缺陷进行筛选。优选地，所述数据输入模块分为接收单元和输出单元，所述接收单元用于接收数据集，所述输出单元用于输出处理完毕的数据集。优选地，所述机器学习系统还包括数据预处理器，所述数据预处理器用于将筛选单元处理完毕的数据制备成数据集，并将制备完成的数据集由试验模块进行处理。与现有技术相比，本专利技术的有益效果是:本专利技术，通过在机器学习系统中加入筛选单元，对输入的数据进行分类筛选、数据偏差筛选和数据集中存在的数据缺陷进行筛选，避免输入的数据质量差影响到机器学习系统的正常运行，同时还对数据集中的数据缺陷进行筛选，通过呈现模块将筛选到的数据缺陷进行及时呈现，方便相关人员对机器学习系统中存在的缺陷进行及时的修复，防止一些很小的数据缺点给企业带来高昂的经济损失。附图说明图1为本专利技术提出的一种用于机器学习的高级分析基础构架的表示图；图2为本专利技术提出的一种用于机器学习的高级分析基础构架的模块的表示图。图中：1、机器学习系统；11、数据输入模块；111、接收单元；112、输出单元；12、处理单元；13、筛选单元；131、分类筛选单元；132、数据筛选单元；133、缺陷筛选单元；14、存储单元；2、数据预处理器；3、机器学习算法库；4、试验模块；41、机器学习模型；5、统计模块；6、呈现模块。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。下面结合具体实施例对本专利技术作进一步解说，目的仅在于更好的理解本
技术实现思路
。参考图1-2，本专利技术还提出了一种用于机器学习的高级分析基础构架，包括机器学习系统1，机器学习系统1包括：数据输入模块11，用于输入数据集或者接收数据集；机器学习算法库3，用于利用公用接口来测试的多个机器学习算法，机器学习算法库3包括多个机器学习算法，这些机器学习算法皆被配置成符合称作互换接口的公用接口，以便于应用机器学习系统1中，(例如，便于测试、训练、评估和/或部署)，这些公用接口可以限定公用输入和/或输出、用于输入和/或输出数据的公用方法、和/或针对每一个机器学习算法的公用过程调用，机器学习算法可以是朴素贝叶斯分类器、树增强朴素贝叶斯分类器、动态贝叶斯网络、支持矢量机、学习决策树、全体学习决策树(例如，学习决策树的随机森林型结构)、人工神经网络中的一种或者多种算法组合的形式；筛选单元13，用于对输入数据集进行分类筛选、数据偏差筛选和数据集存在的缺陷进行筛选，筛选单元13可以对输入的数据进行分类筛选和数据中的错误进行筛选，分类筛选根据数据的类别进行筛选，当输入的数据是数字时，根据数据属于的领域进行分类，当输入的数据是图片时，根据图片上的信息进行相应领域的筛选，数据中的错误筛选指的是，例如，输入的长度的数据，但是计量单位是电力计量单位，因此，就可以及时的避免输入的数据质量比较差的情况发生；试验模块4，对每一个机器学习模型41的性能结果进行评估和训练，试验模块4包括多个机器学习模型41，用于对多种不同的数据集进行评估和训练，而数据集包括一个或者多个可观察量的数据；统计模块5，对全部的机器学习模型41的性能结果进行比较和统计，作用是对每个机器学习模型41的训练结果和评估结果进行统计，同时还可以对每个机器学习模型41的训练结果和评估结果进行相互间的比较。其中，机器学习系统1还包括处理单元12，用于对输入的数据集和输出的数据集进行处理。其中，机器学习系统1还包括呈现模块6，呈现模块6用于呈现统计模块5统计的性能结果和比较的性能结果，同时还可以呈现出筛选单元13筛选出数据中的异常结果。其中，机器学习系统1还包括存储单元14，用于对输入的数据集进行储存，用于对机器学习系统1输入的数据集和输出的数据集进行存储，便于在需要时进行查询。其中，筛选单元13包括分类筛选单元131、数据筛选单元132和缺陷筛选单元133，分类筛选单元131对处理单元12处理完毕的数据集进行分类筛选，数据筛选单元132对处理单元12处理完毕的数据集进行数据偏差筛选，缺陷筛选单元133对处理单元12处理完毕的数据集继续数据存在的缺陷进行筛选。其中，数据输入模块11分为接收单元111和输出单元112，接收单元111用于接收数据集，输出单元112用于输出处理完毕的数据集。其中，机器学习系统1还包括数据预处理器2，数据预处理器2用于将筛选单元13处理完毕的数据制备成数据集，并将制备完成的数据集由试验模块4进行处理。在本专利技术中，将数据输入到数据输入模块11中，数据输入模块11的接收单元111接收数据，并将数据输入到筛选单元1本文档来自技高网...

【技术保护点】
1.一种用于机器学习的高级分析基础构架，包括机器学习系统(1)，其特征在于，所述机器学习系统(1)包括：/n数据输入模块(11)，用于输入数据集或者接收数据集；/n机器学习算法库(3)，用于利用公用接口来测试的多个机器学习算法；/n筛选单元(13)，用于对输入数据集进行分类筛选、数据偏差筛选和数据集存在的缺陷进行筛选；/n试验模块(4)，对每一个机器学习模型(41)的性能结果进行评估和训练；/n统计模块(5)，对全部的机器学习模型(41)的性能结果进行比较和统计。/n

【技术特征摘要】
1.一种用于机器学习的高级分析基础构架，包括机器学习系统(1)，其特征在于，所述机器学习系统(1)包括：
数据输入模块(11)，用于输入数据集或者接收数据集；
机器学习算法库(3)，用于利用公用接口来测试的多个机器学习算法；
筛选单元(13)，用于对输入数据集进行分类筛选、数据偏差筛选和数据集存在的缺陷进行筛选；
试验模块(4)，对每一个机器学习模型(41)的性能结果进行评估和训练；
统计模块(5)，对全部的机器学习模型(41)的性能结果进行比较和统计。


2.根据权利要求1所述的一种用于机器学习的高级分析基础构架，其特征在于，所述机器学习系统(1)还包括处理单元(12)，用于对输入的数据集和输出的数据集进行处理。


3.根据权利要求1所述的一种用于机器学习的高级分析基础构架，其特征在于，所述机器学习系统(1)还包括呈现模块(6)，所述呈现模块(6)用于呈现统计模块(5)统计的性能结果和比较的性能结果。


4.根据权利要求1所述的一种用于机器学习的高级分析基础构架，其特征在于，所述机器学习系统(...

【专利技术属性】
技术研发人员：彭喆，
申请(专利权)人：彭喆，
类型：发明
国别省市：天津;12