模式分类方法技术

用于将测试模式指定到从预定义的类别组中选择的类别，计算对于所述测试模式的类别成员概率，并且基于特征空间中所述测试模式的相邻位置中训练模式的数量来计算对于所述类别成员概率的置信区间。通过计算训练模式的密度函数与集中于所述测试模式的高斯平滑函数的卷积而得到所述测试模式的相邻位置中所述训练模式的数量，其中所述训练模式的密度函数表示为高斯函数的混合。能够分析地表示所述平滑函数与所述高斯函数的混合的卷积。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术通常涉及模式分类的方法和实现该方法的系统。
技术介绍
模式分类在很多现实应用中是众所周知的，例如，语音识别、车辆座位乘员分类、数据挖掘、风险预测、诊断分类等。模式分类器的首要目标是将测试模式指定到预定义的类别组中的一个或多个类别。可以将该测试模式认为是特征矢量，或者更准确地，可以将该测试模式认为是量化这些特征的数字。对于给定的输入模式，统计分类器计算不同类别的条件概率(以下也将其称为“类别成员概率”)。这些类别成员概率与1的偏差通常被解释为错误分类的风险。 模式分类中的挑战是减少误分类。作为解决这一问题的第一方案，已知的是提供具有“拒绝”选项的分类器。对于给定的输入模式，只要没有一个不同类别的条件概率超过所需的最小阈值，分类器就可以使用该拒绝选项。另外，分类器将输入模式指定到具有最高条件概率的类别。因此，接近于由分类器隐含定义的决策边界(decision boarder)的测试模式倾向于被拒绝，而远离该边界的测试模式将被指定到类别。对于该技术的详细描述，感兴趣的读者可参考1970年1月，第一期，IT-16册，IEEE信息理论学报，作者为C.K.Chow，标题为“On Optimum Recognition Error and RejectTradeoff(识别错误和拒绝之间的最优折中)”的文章。 误分类问题的另一方面是类别成员概率的不确定性的估计。通常，在训练过程期间，通过训练模式对分类器进行训练。优选地根据分类器应该能够区分的不同类型(类别)的情形来选择这些训练模式。将要被分类的测试模式的类别成员概率以训练过程中使用的训练模式为基础。理想地，应该准备用于可能发生的所有类型的情形的分类器。在现实应用中，这通常是不可能实现的，例如，由于“不可预料的”情形和有限的资源。因此，特征空间，即由所有可能模式跨越的空间，无法类似地与训练模式相对应。直观地，如果测试模式周围的训练模式的密度很高，则对给定的测试模式做出响应，由该分类器输出的类别成员概率的不确定性将很小。同样地，如果该测试模式周围的训练模式的密度很低，则不确定性将很高。在美国专利5,335,291(Kramer等人)中详细解释了该方案背后的思想，该专利描述了神经网络，为了验证分类是否可靠，该神经网络考虑在将要被分类的测试模式附近的训练数据的局部数量。神经网络输出的有益部分被表示为置信区间。 由于分类器允许将测试模式标记为“未知”和/或在类别成员概率的不确定性太高时使用拒绝选项，因此在例如车辆座位乘员分类、诊断分类等安全性重要的情况中，提供类别成员概率的确定性(或不确定性)的分类器是很有吸引力的。
技术实现思路
本专利技术的目的在于提供一种以改进方式计算类别成员概率的。 通过如权利要求1所述的方法实现该目的。 为了将测试模式指定到从预定义的类别组中所选择的类别，已知的是计算对于该测试模式的类别成员概率，并且基于在特征空间中测试模式的相邻位置上训练模式的数量而计算对于类别成员概率的置信区间。根据本专利技术的重要方面，通过计算训练模式的密度函数与集中于测试模式的高斯平滑函数的卷积，而得到在测试模式的相邻位置中训练模式的数量，其中训练模式的密度函数表示为高斯函数的混合(叠加)。在该方法中非常感兴趣的是相邻位置中训练模式的数量并不是通过对位于距所述测试模式一定距离内的训练模式进行实际计数而得到。事实上，这将需要庞大的计算能力，此外，这将预示着要将训练模式全部存储在存储器中。为了实现本方法，将定义训练模式的密度函数与高斯平滑函数的卷积的参数保存在存储器中。基于训练模式的数量，这些参数可能仅需要对于存储相应的训练模式组所必需的存储器空间的一小部分。 此外，本领域技术人员将很容易理解，可通过采用以下解析等式计算平滑函数的卷积和高斯函数的混合 (等式1) 其中x表示测试模式，NN(x)表示在x的相邻位置中训练模式的数量，K是整数，μk是特征空间中的矢量，S′k是矩阵并且N′k是实数。 具体地，K可以表示在混合中高斯函数的数量，μk是第k阶高斯函数的中心，S′k是矩阵并且N′k是实数，S′k和N′k依赖于平滑函数和第k阶高斯函数。由于这个等式仅依赖于在训练过程期间可以离线计算的参数μk，S′k(或等效地，S′k-1)和N′k(k＝1，....，K)，因此本方法的实现仅需要知道这些参数以计算在该测试模式附近训练模式的数量。因此，通过对上述等式(1)的估计能够简单地计算在测试模式的相邻位置中训练模式的数量。 如果假设训练数据的密度函数可以按照如下方式表示为高斯函数的混合，则上述等式(1)可被更好地理解 (等式2) 其中K表示混合中高斯函数的数量，x′是特征空间中的变量，ρ(x′)是在x′处的训练模式的密度，μk是第k阶高斯函数的中心，Sk是描述第k阶高斯函数的宽度的矩阵，d是特征空间的尺寸并且其中Nk表示归一化因数，用来进行如下计算 (等式3) 其中，Ntot是特征空间中训练模式的总数量。优选地使用例如期望最大化算法而离线计算参数μk，Sk(和Sk-1)和Nk。后者在作者为M.Figueiredo等的“Unsupervised learning of finite mixture models(有限混合模式的无监督知识)”(2002年3月，第3期，24册，1-16页，IEEE模式分析和机器智能学报)中进行了解释。 为了计算在测试模式的相邻位置中训练模式的数量，通常计算训练模式密度函数在该相邻位置上的积分 (等式4) 其中，通过以x为中心r为半径的空间S(x，r)给出了该相邻位置。专利技术人已经提出由密度函数ρ(x′)与集中于该测试模式的高斯平滑函数(也被称为“核(kernel)”)的卷积来代替密度ρ(x′)在相邻位置S(x，r)上的的积分 NN(x)＝∫ρ(x′)g(x′，x，r)dx′，(等式5) 其中，在整个特征空间上进行该积分。 该平滑函数可以表示为 (等式6) 其中，x表示测试模式，x′表示特征空间中的变量，d表示特征空间的尺寸，C表示定义特征空间上的度量(metric)的对称矩阵(例如，训练模式的协方差矩阵)，并且r表示该相邻位置相对于该度量的半径。采用如在等式(2)中定义的ρ(x′)和如在等式(6)中定义的g(x′，x，r)，可以将等式(5)写成与等式(1)相同，其中下述符号表示为 在计算了测试模式的相邻位置中训练模式的数量NN之后，可以基于以下等式计算置信区间 (等式7) 其中pe表示对于测试模式的类别成员概率(或该类别成员概率的估计值)(通过对用于测试模式的类别成员概率函数的估计而得到)，P+表示置信区间的上限而P-表示置信区间的下限，并且λ表示预定义的置信水平。可以根据应用来设置该置信水平。在本专利技术中，术语“置信区间”不应该被解释为局限于区间〔P-，P+〕；而其也应该被解释为包括区间〔0，P+〕和〔P-，1〕。因此，将所提供的P-和P+中的至少一个看作是本专利技术意义上的置信区间。 该相邻位置的半径选择得越大，在该相邻位置训练模式的数量也就越多。因此，随着相邻位置半径的增加，置信区间在收缩。换句话说，等式(7)暗含地假设所估计的类别成员概率pe接近于该相邻位置上本文档来自技高网...

【技术保护点】
一种用于将测试模式指定到从预定义的类别组中选择的类别的方法，包括：　计算对于所述测试模式的类别成员概率；　基于特征空间中所述测试模式的相邻位置中训练模式的数量而计算对于所述类别成员概率的置信区间；　其特征在于，通过计算所述 训练模式的密度函数与集中于所述测试模式的高斯平滑函数的卷积而获得所述测试模式的所述相邻位置中所述训练模式的数量，所述训练模式的所述密度函数被表示为高斯函数的混合。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：B米尔巴赫，P德瓦拉科塔，
申请(专利权)人：IEE国际电子工程股份公司，
类型：发明
国别省市：LU[卢森堡]