用于数据有效的主动机器学习的设备和计算机实现的方法技术

用于主动机器学习的设备和计算机实现的方法，其中提供（206）带注释数据，其中根据所述带注释数据对模型（104）进行训练（208）以对所述数据进行分类，其中为未注释数据确定（210）所述未注释数据的采集函数的值，其中从所述未注释数据中为所述主动机器学习采集（212）其采集函数的值满足标准的非注释数据，其中为来自所述未注释数据、特别是来自所述模型（104）的至少一层的待评估模式确定关于特征表示的自相关，其中，根据关于所述自相关、特别是在至少一个维度上的均方根值确定该模式的采集函数的值。的值。的值。

【技术实现步骤摘要】
用于数据有效的主动机器学习的设备和计算机实现的方法


[0001]本专利技术基于用于数据有效的主动机器学习的设备和计算机实现的方法。为此尤其使用深度神经网络。

技术介绍

[0002]深度神经网络为样本提供预测，并为这些预测的不确定性提供估计。对于特定的应用而言，由深度神经网络提供的预测不确定性的估计可能不足。尤其是对于位于训练集合之外的样本，相关的估计通常过于自信。
[0003]对于诸如自主驾驶或医疗应用的对安全至关重要的应用而言，可靠的不确定性是至关重要的。

技术实现思路

[0004]利用根据独立权利要求的计算机实现的方法和设备来确定可靠的不确定性。
[0005]用于主动机器学习的计算机实现的方法规定，提供带注释数据，其中根据所述带注释数据对模型进行训练以对所述数据进行分类，其中为未注释数据确定所述未注释数据的采集函数的值，并且其中从所述未注释数据中为所述主动机器学习采集以下非注释数据，所述非注释数据的采集函数的值满足标准，其中为来自所述未注释数据、特别是来自所述模型的至少一层的待评估模式确定关于特征表示的自相关，其中根据关于所述自相关、特别是在至少一个维度上的均方根值确定该模式的采集函数的值。对于至少部分训练的模型，根据所述均方根值很好地评估给定状况与所述训练集合的差异到底有多大。
[0006]优选地提供未注释数据的集合，其中从未注释数据的所述集合中选择子集合，其中通过特别是手动地、半自动地或自动地注释来自所述子集合的未注释数据来确定所述带注释数据。
[0007]优选地，所述子集合包括为所述主动机器学习采集的未注释数据。
[0008]对于所述待评估模式，可以确定关于所述模型的各个层的大量特征表示的自相关。这使得能够对所述待评估模式进行模型预测的特别好的可靠性估计。
[0009]优选地规定，从所述未注释数据中采集其均方根值超过阈值的那些模式。这些未注释数据特别适合于进一步的训练。
[0010]优选地，根据来自用于对所述模型进行训练的带注释数据的至少一个模式确定所述阈值。所述带注释数据使得可以预给定非常适合于采集未注释数据的阈值。
[0011]可以对所述模型进行迭代地训练，其中检查是否满足终止标准，并且其中当满足所述终止标准时结束所述主动机器学习。这连续改善了分类的准确性。
[0012]优选地，所述终止标准为通过所述模型对带注释数据或未注释数据进行分类的准确性定义基准，其中当所述分类的准确性达到或超过所述基准时，所述终止标准得以满足。由此减少了不确定性。
[0013]为了确定所述带注释数据，可以在所述方法的第一次迭代中随机地选择未注释数
据。
[0014]优选地，为所述子集合从所述未注释数据中仅选择尚未为所述子集合采集的数据。
[0015]在一个方面中，对于这样训练的模型，特别是这样训练的人工神经网络而言，根据关于所述自相关的均方根值确定，所述待评估模式是否偏离来自以下模式的训练集合中的模式，利用这些模式对这样训练的模型进行了训练。
[0016]用于主动机器学习的设备被构造为执行所述方法。
附图说明
[0017]从下面的描述和附图中得出其他有利的实施方式。在附图中：图1示出了用于主动机器学习的设备的示意图，图2示出了用于主动机器学习的方法中的步骤。
具体实施方式
[0018]图1中示出的用于主动机器学习的设备100被构造为执行以下描述的方法。
[0019]设备100包括计算装置102和至少一个用于数据的存储器，所述计算装置特别是一个或多个处理器。设备100包括模型104。
[0020]设备100可以被构造为用于数字图像处理，在所述数字图像处理中通过模型104对数字图像进行分类。以下使用基于模型104的采集函数。在该示例中，模型104是单个深度神经网络M。模型104也可以由多个特别是深度神经网络形成或具有其他体系架构。
[0021]用于机器学习的系统106可以包括设备100、用于检测数字图像的检测装置108以及用于机器的操控装置110。系统106可以被构造为根据将检测到的数字图像分类到多个类别中的一个类别中来操控所述机器。所述机器可以是车辆或机器人。代替对数字图像的分类，可以规定用于在传感器测量中探测对象或用于语音到文本转换的分类。代替检测数字图像，可以使用常用传感器测量，诸如例如来自雷达或激光雷达传感器的3D传感器测量。
[0022]在系统106的训练中，可以由检测装置108检测通过数字图像表示的状况。
[0023]在系统106的使用中，可以由检测装置108检测与用于训练模型104的状况不同的状况。在系统106的使用中可以检测与所述训练中使用的状况不同的状况。为了探测这些状况使用以下描述的函数，该函数包括关于在已经经过训练的神经网络M中的模式的特征表示F的自相关AC的均方根值RMS。该函数是对数字序列的信息内容的信息理论度量。基于所述采集函数，即使在应用已完成训练的神经网络的情况下也可以探测到与训练所述神经网络所基于的状况非常不同的状况。这使得可以对经过训练的神经网络的预测进行可靠性估计。在低可靠性的情况下，在通过操控装置110进行操控时考虑该信息。
[0024]基于图2描述了用于主动机器学习的计算机实现的方法。使用所述方法来训练模型104，然后可以在系统106中使用该模型。所述方法假设已经设定了模型104的体系架构，并且已经初始化了模型104的参数。在该示例中，模型104是深度神经网络，其超参数定义了输入层、输出层以及输入层和输出层之间的大量隐藏层。所述深度神经网络的参数被如下确定。
[0025]在该示例中，作为采集函数使用以下函数之一。以下描述的采集函数是关于至少
部分训练的神经网络M中样本（即模式）的特征表示F的自相关AC的均方根值RMS，模型104包括所述样本。该函数是对数字序列的信息内容的信息理论度量。基于所述采集函数，即使在应用完成了训练的神经网络的情况下也可以探测到与训练所述神经网络所基于的状况非常不同的状况。这使得可以对经过训练的神经网络的预测进行可靠性估计。
[0026]信号Y与给定“时间滞后”τ的自相关（AC）在一维中通过具有平均值μ的下式给定：。
[0027]在二维中，所述自相关通过下式给定：。
[0028]为了推导出唯一的值，在一维中形成关于所有τ的均方根值，即root mean square（RMS）。
[0029]。
[0030]在二维中形成以下RMS：。
[0031]对于至少部分训练的网络M和待评估模式x，根据特征表示得出网络M的各个层的特征F。在针对一维的示例中，值用作采集函数。在针对二维的示例中，值用作采集函数。所述采集函数可用于不同的层。
[0032]无论特征空间的维度如何，都可以使用这两个等式。在多维特征空间（即维数大于1）的情况下，这可以降低为一维等式，即降低为值，其方式是将来自的二维张量转换为矢量（即长度为的一维张量）。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于主动机器学习的计算机实现的方法，其特征在于，提供（206）带注释数据，其中根据所述带注释数据对模型（104）进行训练（208）以对所述数据进行分类，其中为未注释数据确定（210）所述未注释数据的采集函数的值，其中从所述未注释数据中为所述主动机器学习采集（212）其采集函数的值满足标准的非注释数据，其中为来自所述未注释数据、特别是来自所述模型（104）的至少一层的待评估模式确定关于特征表示的自相关，其中根据关于所述自相关、特别是在至少一个维度上的均方根值确定该模式的采集函数的值。2.根据权利要求1所述的方法，其特征在于，提供（202）未注释数据的集合，其中从未注释数据的所述集合中选择（204）子集合，其中通过特别是手动地、半自动地或自动地注释来自所述子集合的未注释数据来确定（206）所述带注释数据。3.根据权利要求2所述的方法，其特征在于，所述子集合包括为所述主动机器学习采集的未注释数据。4.根据前述权利要求中任一项所述的方法，其特征在于，对于所述待评估模式，确定关于所述模型（104）的各个层的大量特征表示的自相关。5.根据前述权利要求中任一项所述的方法，其特征在于，从所述未注释数据中采集其均方根值超过阈值的那些模式。6.根据权利要求5所述的方法，其特征在于，根据来自用于对所述模型（104）进行训练的带注释数据的至少一个模式确定所述阈...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：罗伯特，
类型：发明
国别省市：