用于学习模式分类和判定值估计的方法和装置制造方法及图纸

一种用于通过基于风险微分学习（ＲＤＬ）目标函数（２８）对响应于一个输入模式（２６）的网络的实际输出与对于该模式的期望输出进行比较，训练神经网络模型（２１）对该模式进行分类或者对与模式相关的判定值进行估计的装置和方法，该比较结果通过数值优化控制神经网络模型的参数的调整。该ＲＤＬ目标函数包括一个或多个项，每一项是一个风险／利润／分类品质因数（ＲＢＣＦＭ）函数，该函数是一个风险微分的合成的、单调非递减的、反对称／非对称的、分段可微的函数（图６），该风险微分是在响应于一个给定的输入模式所产生的神经网络模型的输出之间的差分。每个ＲＢＣＦＭ函数具有数学特征，这样，ＲＤＬ能够做出最大正确性／利润性和最小复杂性的普遍保证。还公开了一个使用ＲＤＬ使资源分配利润最大化的策略。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本申请涉及统计模式识别和/或分类，尤其涉及学习策略，由此策略计算机能够学会如何标识和识别概念。
技术介绍
模式识别和/或分类在各种各样的现实任务中都很有用，诸如与光学特征识别、遥感成像判读、医疗诊断/决策支持、数字远程通信等等有关的任务。这样的模式识别通常由诸如神经网络的可训练的网络实现，通过一系列的训练练习，这些网络能够“学习”对实现模式分类任务所必需的概念。这样的网络的训练是通过向它们输入(a)具有感兴趣的概念的学习实例，这些实例用有序的一组数字数学表示，这里被称为“输入模式”，以及(b)分别与这些实例相关的数值分类。该网络(计算机)学习对概念产生适当分类的这些概念的关键特征。因而，基于学过的关键特征，该神经网络分类模型形成自己的概念的数学表示。利用这种表示，该网络当遇到该概念的其他实例时能够识别它们。该网络可以被称为分类器。一种可微分的分类器是通过经旨在优化一个可微分目标函数的搜索调整一组内部参数学习输入到输出的映射的分类器。该目标函数是估计该分类器的发展的从特征矢量空间到分类空间的映射反映训练样本的输入模式和它们的类成员之间的经验关系有多好的一个度量。该分类器的每一个判别函数都是它的参数的一个可微分函数。如果假定对应于特征矢量能够代表的C类的这些函数的C存在，则这些C函数被统称为鉴别器。因而，该鉴别器具有C维输出。该分类器的输出仅为对应于最大鉴别器输出的类标记。在C＝2的特殊情况下，鉴别器可以仅有一个输出代替两个输出，该输出当超出中间范围值时代表一类，而当低于中间范围值时代表其他类。所有的统计模式分类器的目标在于实现贝叶斯判别函数(“BDF”)，即，保证在模式识别任务中分类错误概率最低的任何判别函数组。实现BDF的分类器据说能产生贝叶斯辨别。学习策略的难题在于利用对该任务所必需的最少的训练实例和最不复杂的分类器(如具有最少参数的分类器)来有效地近似BDF。申请人在此之前提出过一种用于有效的神经网络模式识别的微分学习理论(见J.Hamphsire，“用于有效统计模式识别的微分学习理论”，博士论文，卡内基梅隆大学(1993))。用于统计模式分类的微分学习是基于分类品质因数(“CFM”)目标函数。据那里论证，微分学习是渐进有效的，保证当训练样本尺寸增大时由假设类的选择所允许的最好的广义性，同时要求贝叶斯鉴别所必需的最小分类器复杂性(即最小差错概率)。而且，那里给出，对于小的训练样本尺寸，微分学习几乎总是保证由假设类的选择所允许的最好广义性。然而，实际上，已经发现在许多实用例子中如上所述的微分学习不能够提供前述的保证。同样，该微分学习概念对与所学习的数据的性质相关的学习过程有特定的需要，也对影响模式分类的所采用的神经网络代表性模型的数学特征有限制。而且，前面的微分学习分析仅处理模式分类，没有提及关于值估计的另一类型问题，即基于输入模式估计决策(由神经网络模式的输出所列举)的利润和损失预计。
技术实现思路
本申请描述一种用于训练一种神经网络模型的改进系统，其能避免现有技术的这些系统的缺点，同时具有另外的结构和运行优点。这里描述一种系统体系结构和方法，假设输入模式用数值方式表达，能使计算机学习如何标识和识别概念和/或判定的经济价值。一个重要方面是提供一种所述类型的训练系统，其能够对一种给定的神经网络模型使判别式有效保证最大正确性/利润，以及对于实现目标级别的正确性或利润所必需的神经网络模型使判别式有效保证最小复杂性需求，并且，能够使这些保证通用，即独立于与所学习的任务有关的输入/输出数据的统计特性，和独立于所用的神经网络代表性模型的数学特征。另一方面是提供一种所述类型的训练系统，其在不牺牲前面的保证情况下，允许快速学习典型实例。与前几方面相联系的另一方面是提供一种所述类型的系统，其利用以可调的(可学习的)、相互联系的数值参数为特征的神经网络代表性模型，并采用数值优化调整该模型的参数。与前几方面相联系的还有一方面是提供一种所述类型的系统，其定义一个合成的单调非递减的、反对称/非对称的分段处处可微分的目标函数以控制该数值优化。还有一方面是提供一种所述类型的系统，其采用一种合成的风险/利益/分类品质因数函数以实现该目标函数。与前一方面相联系的还有一方面是提供一种所述类型的系统，其中该品质因数函数具有可变幅角δ，并对接近0的δ值具有过渡区，该幅角是响应于一种输入模式的该神经网络的输出值之间的微分，该函数在该过渡区内具有唯一对称性并在该过渡区外非对称。与前一方面相联系的还有另一方面是提供一种所述类型的系统，其中该品质因数函数具有可变置信参数ψ，该参数调节该系统学习难度逐渐增大的实例的能力。还有一方面是提供一种所述类型的系统，其训练网络对于与输入模式相联系的判定进行值估计。与前一方面相联系的还有另一方面是提供一种所述类型的系统，其利用该目标函数的广义性为错误判定分配成本和为正确决策分配利润。与前一方面相联系的还有一方面是提供一种利润最大化的资源分配技术，用于具有非零交易成本的投机值估计任务。这些方面和其他方面中的某些方面可以通过提供一种训练神经网络模型分类输入模式或估计与输入模式相关的判定值的方法来获得，其中该模型以相互联系的、通过数值优化可调的数值参数为特征，该方法包括比较由该模型响应于一种预定输入模式产生的实际分类或值估计与对于预定输入模式的期望分类或值估计，基于包括一个或多个项的目标函数实现该比较，每一项是一个具有可变幅角δ的合成项函数，并对接近0的δ值具有过渡区，该项函数在过渡区里关于值δ＝0对称；以及使用比较结果控制数值优化，通过该优化调整该模型的参数。附图说明为了便于理解所寻求受保护的主题，在附图和实施例中对其进行示意，当连同以下描述考虑时，应当容易理解所寻求保护的主题，其结构和操作，以及其许多优点。图1是风险微分学习系统的功能模块的图形表示；图2是可以用于图1的系统中的神经网络分类模型的功能模块的图形表示；图3是可以用于图1的系统中的神经网络值估计模型的功能模块的图形表示；图4图解说明用于实现图1的系统中的目标函数的一种合成的风险/利润/分类的品质因数函数的一个实例。图5图解说明图4的函数的一阶导数。图6图解说明对于一个陡度或“置信”参数的五个不同值的图4所示的合成函数。图7是对于图2的神经网络分类/值估计模型的正确情景的功能模块的图解说明；图8类似于图7，是对于图7的神经网络模型的非正确情景的说明；图9类似于图7，是对于单输出神经网络分类/值估计模型的正确情景的说明；图10类似于图8，是对于单输出神经网络模型的非正确情景的说明；图11类似于图9，是对于另一种正确的情景的说明；图12类似于图11，是对于另一种非正确的情景的说明；图13是说明使用像图1系统的风险微分学习系统的最大化利润的资源分配协议的流程图。具体实施例方式参考图1，说明系统20，其包括一个需要学习的概念的随机参数化神经网络分类/值估计模型21。定义模型21的神经网络可以是任意一种能够被教授或训练进行由该网络所定义的数学映射所代表的分类或值估计任务的自学模型。为了这一应用，术语“神经网络”包括构成由从数值输入模式到一组输出数的可微分(如微积分学中的定义)数学映射的参数集的任意数学模型，每个输出数对应一个该输入模式的唯一分类或一本文档来自技高网...

【技术保护点】
一种用于训练一个神经网络模型，以分类输入模式或者估计与输入模式相关的判定值的方法，其中所述模型以通过数值优化可调的相互联系的数值参数为特征，所述方法包括：将由所述模型产生的响应于一个预定输入模式的一个实际分类或值估计与对于所述预定输 入模式所期望的分类或值估计进行比较，所述比较基于包括一个或多个项的目标函数来实现，每一个所述项为一个具有可变幅角δ的合成项函数，并对接近零的δ值具有过渡区，所述项函数在所述过渡区中关于值δ＝０对称；以及使用所述比较的结果来控 制所述数值优化，通过所述数值优化来调整所述模型的参数。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：约翰B汉普希尔二世，
申请(专利权)人：爱科赛亚有限责任公司，
类型：发明
国别省市：US[美国]