一种基于凸边界的学习样本抽取方法技术

本方法公开了一种基于凸边界的学习样本抽取方法。目标是提升智能分类系统的效率，减少机器学习训练样本的数量。本方法核心技术包括：第一、对用户给出的数据库的预切割技术，包括缺失值和异常值处理，以及数据集合的预切割工作；第二、类别集合的中心化，引入样本凸集合的概念，给出类别样本索引；第三、凸边界样本抽取，每个象限内，根据边界宽度抽取边界样本。此方法可以提升智能分类系统的机器学习性能。通过5类常用的数据分类算法在20个UCI数据库上的试验结果表明，通过边界样本的抽取方法得到的边界样本是有效的，在系统的准确率变化范围内，学习样本数量大幅减少，效率显著提升。

A learning sample extraction method based on convex boundary

This method discloses a learning sample extraction method based on convex boundary. The goal is to improve the efficiency of the intelligent classification system and reduce the number of training samples. The core techniques of this method include: first, pre cutting technology of database given by users, including missing value and exception value processing, and pre cutting work of data sets; second, centralization of class sets, introducing the concept of sample convex set, giving category sample index, third, sample extraction of convex boundary, each In the quadrant, boundary samples are extracted from the boundary width. This method can improve the machine learning performance of intelligent classification system. The results of 5 kinds of data classification algorithms on 20 UCI databases show that the boundary samples obtained by the method of boundary sample extraction are effective. The number of learning samples is greatly reduced and the efficiency is significantly improved in the range of the system accuracy.

【技术实现步骤摘要】
一种基于凸边界的学习样本抽取方法
本专利技术主要涉及人工智能技术，具体涉及一种基于凸边界的学习样本抽取方法。
技术介绍
随着大数据时代的来临，给数据驱动的各种智能系统的研究和设计带来了深刻的变化。尤其是人工智能的核心技术——机器学习，成为了研究的热点。而学习样本的质量，即学习样本中的缺失值、异常值、冗余样本、样本数量，都将严重影响到机器学习的性能，如何选择高质量的学习样本集合，成为一个关键的研究课题。在此问题的驱动下，本文的研究目标是提出有效地从原始数据库中抽取学习样本的新方法。学习样本的抽取技术是指对用于机器学习的学习样本进行主动选择的过程，是机器学习中一项必不可少的技术。学习样本的主动选择是选择有意义的样本，而采样，如常用的随机采样是选择代表性的样本，这二者之间是存在区别的。例如，在0-99之间有50个数据，这50个数据分布在0-49之间有1个数据0，50-99之间有49个数据。对于随机采样，数据0和其余49个数据被选择到的概率是相等，保证了样本的代表性；而对于样本抽取来说，是要选择有意义的样本，即如果数据0的存在对于原始数据集是有意义的，就要在抽取样本的过程中选择它，如果对于原始数据集是无意义、甚至对于原始数据集来说是一个噪声数据，那么在抽取样本的过程中就不会选择它。也就是，样本抽取要通过某种规则从原始数据库中选择一个具有意义的、样本数量较少但是包含信息尽可能多的子集作为机器学习的学习样本。使得在机器学习建模时的运行速度快、内存开销少，提升机器学习的效率。并且得到的模型的性能不仅比随机选择要好，而且要和使用原始训练集得到的性能差不多，甚至更好。这也是本方法的研究意义。本方法对于原始数据库中异常值的处理选择直接删除包含异常值的样本，在此之前需要对异常值样本进行识别。一般对于异常值的处理方法有如下几种：3σ探测方法、散点图、四分位数展布法。本方法对异常值的识别选用基于四分位数思想的箱型图对异常值进行检测。它的优势在于不需要数据服从某种特定的分布，它是根据实际的数据来绘制箱型图的。在箱型图中，异常值定义为大于Q1+1.5IQR或小于Q2-1.5IQR的值，其中IQR为四分位距。据此定义可知，箱型图判断异常值以四分位数和四分位距为标准，而四分位数具有一定的耐抗性，不会被异常值扰动，从而使用箱型图来识别异常值比较客观。在凸几何中，凸集是在凸组合下闭合的仿射空间的子集。更具体地说，在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。例如，立方体是凸集，但是任何中空的或具有凹痕的例如月牙形都不是凸集。将凸集合的概念应用到样本抽取中，有如下定义：其中xi代表数据集中的样本。对于凸集合的边界作如下定义：
技术实现思路
本专利技术的目的在于提出一种基于凸边界的学习样本抽取方法。首先将原始数据库划分为多个子集，在每个子集上根据凸集合的定义及性质构造凸集合，并选择在其边界上的样本，将多个子集的边界样本进行合并，最终的结果则为学习样本。此方法在约减数据库规模的同时，保证了抽取到的学习样本可以代表原始数据库进行后续的机器学习过程。本专利技术的技术方案如下：步骤1，数据集合的预切割：对输入的数据库进行预处理，包括缺失值、异常值的处理。对原始数据库进行预处理的方法为，去除含缺失值的记录，利用箱型图检测异常值并去除，根据数据集合类别进行预切割工作。步骤2，构造学习样本凸集合：将每类子集中心化，形成凸集合，依象限用hash表构成样本索引。对步骤1所得到的预处理后的数据子集构造凸集合的方法为，对于步骤1得到的每个数据子集找到其中心点，进行坐标变换。在每个经过坐标变换的子集中，依象限用hash表构成样本索引，统计包含在此子集中每个样本所在的象限，并统计有样本存在的象限。步骤3，边界样本抽取：在凸集合的象限边界上抽取样本。根据步骤2中统计的每个凸集合中包含样本的象限，在每个象限中选择距原点最远的样本作为此凸集合的一个边界样本。合并所有凸集合的边界样本，得到的边界样本集合作为最终用于机器学习的学习样本。附图说明读者在参照附图阅读了本专利技术的具体实施方式以后，将会更清楚地了解本专利技术的各个方面。其中，图1为本专利技术基于凸边界的学习样本抽取方法的流程图；图2为20个原始训练集与抽取到的边界样本的数据量对比图；图3为原始训练集与边界样本在NaiveBayes分类器上的准确率对比图；图4为原始训练集与边界样本在J48分类器上的准确率对比图；图5为原始训练集与边界样本在DecisionTable分类器上的准确率对比图；图6为原始训练集与边界样本在AdaBoostM1分类器上的准确率对比图；图7为原始训练集与边界样本在LibSVM分类器上的准确率对比图；图8为应用在五种分类算法上的效率分析图，其中效率的定义为：具体实施方式步骤1，数据集合的预切割：对输入的数据库进行预处理，包括缺失值、异常值的处理。对原始数据库进行预处理的方法为，去除含缺失值的样本；在每个类别中，利用箱型图在每个属性中检测异常值，删除其所在的样本；进行归一化操作；根据数据集合类别标识进行预切割工作，每一类的所有样本为一个数据子集。步骤2，构造学习样本凸集合：将每类子集中心化，形成凸集合，依象限用hash表构成样本索引。对步骤1所得到的预处理后的数据子集构造凸集合的方法为，对于步骤1得到的每个数据子集进行中心化：找到中心点，将其作为坐标原点，进行坐标变换，得到新的坐标系，形成凸集合。在每个经过坐标变换的子集中，依象限用hash表构成样本索引：对包含在此子集中每个样本进行标注，标注内容为此样本在新坐标系中所在的象限。最后，统计在每个子集中有样本存在的象限是哪些。步骤3，边界样本抽取：在凸集合的象限边界上抽取样本。根据步骤2中统计的每个凸集合中包含样本的象限，在每个象限中选择距原点最远的样本作为此凸集合的一个边界样本。因为在经过坐标变换后，坐标原点就相当于原来数据子集的中心，在每个象限中距离原点最远的那些样本，可以构成次凸集合的边界，根据凸集合的性质，这些边界样本可以代表原来子集的所有样本。最后，合并所有凸集合的边界样本，得到的边界样本集合作为最终用于机器学习的学习样本。本文档来自技高网...

【技术保护点】
一种基于凸边界的学习样本抽取方法，其特征在于：在用于机器学习的数据库中抽取学习样本时，进行了以下步骤，步骤1，数据集合的预切割：对输入的数据库进行预处理，包括缺失值、异常值的处理；步骤2，构造学习样本凸集合：将每类子集中心化，形成凸集合，依象限用hash表构成样本索引；步骤3，边界样本抽取：在凸集合的象限边界上抽取样本。

【技术特征摘要】
1.一种基于凸边界的学习样本抽取方法，其特征在于：在用于机器学习的数据库中抽取学习样本时，进行了以下步骤，步骤1，数据集合的预切割：对输入的数据库进行预处理，包括缺失值、异常值的处理；步骤2，构造学习样本凸集合：将每类子集中心化，形成凸集合，依象限用hash表构成样本索引；步骤3，边界样本抽取：在凸集合的象限边界上抽取样本。2.根据权利要求1所述的基于凸边界的学习样本抽取方法，其特征在于：步骤1所述的对原始数据库进行预处理的方法为，去除含缺失值的样本；在每个类别中，利用箱型图在每个属性中检测异常值，删除其所在的样本；进行归一化操作；根据数据集合类别标识进行预切割工作，每一类的所有样本为一个数据子集。3.根据权利要求1所述的基于凸边界的学习样本抽取方法，其特征在...

【专利技术属性】
技术研发人员：袁玉波，顾依依，谈询滔，阮彤，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：上海,31