基于回归模型的不确定性估计方法和装置制造方法及图纸

本申请提出一种基于回归模型的不确定性估计方法和装置，涉及机器学习技术领域，其中，方法包括：获取输入样本，并提取输入样本的概率分布特征；其中，输入样本具有标签值；从概率分布特征中采样T个特征；其中T为正整数；获取T个特征对应的T个损失函数，并对T个损失函数进行处理，获取训练损失函数；将输入样本输入回归模型进行处理，获取预测值，并通过训练损失函数根据标签值和预测值对回归模型的参数进行调整，获取已训练回归模型，以使将待处理数据输入已训练回归模型，获取回归结果和目标值。由此，可以给出每一个测试数据的不确定性，即目标值，同时在建模不确定性中有效提高了回归结果的准确性，得到一个性能更好的回归模型。

【技术实现步骤摘要】
基于回归模型的不确定性估计方法和装置
本申请涉及机器学习
，尤其涉及一种基于回归模型的不确定性估计方法和装置。
技术介绍
通常，回归问题要求常常要求对于一个给定的数据x预测一个对应的目标值y。回归问题是一个基础的机器学习问题。现有的方法大多基于深度神经网络来解决这一问题，通常而言，一个深度神经网络用来对数据x提取特征，随后一个回归器用来对提取后的特征回归具体数值。常见的回归策略大体可以分为三类：基于直接回归的方法，基于分类的方法，和基于序的方法。基于直接回归的方法直接使用回归器预测目标值，在训练过程中使用L1或者L2损失函数来进行训练。基于分类的方法将回归问题转换为分类问题，首先将目标空间划分为若干个子类别，然后使用回归器来进行分类任务的学习。基于序的方法使用若干个二元分类器来实现回归器，每个二元分类器负责预测一个二元分类问题。这些方法都是大多都基于神经网络实现，而神经网络往往倾向于给出过度自信的预测。在实际场景中，除了需要模型给出预测值，往往也需要知道该预测值的置信度。诸如在自动驾驶中预测前方目标的距离，回归器可以给出预测结果，但是也需要知道在多大程度上可以信赖这一预测结果。不考虑置信度而直接采纳模型给出的全部预测结果是十分危险的。实际上我们不应当采纳低置信度的预测结果。因此，在进行模型学习的同时，也需要知道模型的不确定性是多少，也就是说，需要知道模型对每一个数据给出的预测结果以及对该预测结果的不确定性。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种基于回归模型的不确定性估计方法，可以给出每一个测试数据的不确定性，即目标值，同时在建模不确定性中有效提高了回归结果的准确性，得到一个性能更好的回归模型。本申请的第二个目的在于提出一种基于回归模型的不确定性估计装置。为达上述目的，本申请第一方面实施例提出了一种基于回归模型的不确定性估计方法，包括：获取输入样本，并提取所述输入样本的概率分布特征；其中，所述输入样本具有标签值；从所述概率分布特征中采样T个特征；其中所述T为正整数；获取所述T个特征对应的T个损失函数，并对所述T个损失函数进行处理，获取训练损失函数；将所述输入样本输入回归模型进行处理，获取预测值，并通过所述训练损失函数根据所述标签值和所述预测值对所述回归模型的参数进行调整，获取已训练回归模型，以使将待处理数据输入所述已训练回归模型，获取回归结果和目标值。本申请实施例的基于回归模型的不确定性估计方法，通过获取输入样本，并提取输入样本的概率分布特征；其中，输入样本具有标签值；从概率分布特征中采样T个特征；其中T为正整数；获取T个特征对应的T个损失函数，并对T个损失函数进行处理，获取训练损失函数；将输入样本输入回归模型进行处理，获取预测值，并通过训练损失函数根据标签值和预测值对回归模型的参数进行调整，获取已训练回归模型，以使将待处理数据输入已训练回归模型，获取回归结果和目标值。由此，可以给出每一个测试数据的不确定性，即目标值，同时在建模不确定性中有效提高了回归结果的准确性，得到一个性能更好的回归模型。在本申请的一个实施例中，所述提取所述输入样本的概率分布特征，包括：分别通过两个神经网络对所述输入样本进行处理，获取高维高斯分布的均值和方差作为所述概率分布特征。在本申请的一个实施例中，所述从所述概率分布特征中采样T个特征的公式为：其中，所述输入样本x，θ1和θ2为所述两个神经网络的参数，diag()表示取其对角元素，t为时间。在本申请的一个实施例中，所述对所述T个损失函数进行处理，获取训练损失函数，包括：对所述T个损失函数进行求和平均处理，获取平均损失函数；获取有序分布约束函数，计算所述平均损失函数和所述有序分布约束函数的和为所述训练损失函数。在本申请的一个实施例中，所述训练损失函数公式为：其中，表示所述平均损失函数，D训练数据集，α为超参数，LOrd表示所述有序分布约束函数。为达上述目的，本申请第二方面实施例提出了一种基于回归模型的不确定性估计装置，包括：第一获取模块，用于获取输入样本；其中，所述输入样本具有标签值；提取模块，用于提取所述输入样本的概率分布特征；采样模块，用于从所述概率分布特征中采样T个特征；其中所述T为正整数；第二获取模块，用于获取所述T个特征对应的T个损失函数；处理模块，用于对所述T个损失函数进行处理，获取训练损失函数；训练估计模块，用于将所述输入样本输入回归模型进行处理，获取预测值，并通过所述训练损失函数根据所述标签值和所述预测值对所述回归模型的参数进行调整，获取已训练回归模型，以使将待处理数据输入所述已训练回归模型，获取回归结果和目标值。本申请实施例的基于回归模型的不确定性估计装置，通过获取输入样本，并提取输入样本的概率分布特征；其中，输入样本具有标签值；从概率分布特征中采样T个特征；其中T为正整数；获取T个特征对应的T个损失函数，并对T个损失函数进行处理，获取训练损失函数；将输入样本输入回归模型进行处理，获取预测值，并通过训练损失函数根据标签值和预测值对回归模型的参数进行调整，获取已训练回归模型，以使将待处理数据输入已训练回归模型，获取回归结果和目标值。由此，可以给出每一个测试数据的不确定性，即目标值，同时在建模不确定性中有效提高了回归结果的准确性，得到一个性能更好的回归模型。在本申请的一个实施例中，所述提取模块，具体用于分别通过两个神经网络对所述输入样本进行处理，获取高维高斯分布的均值和方差作为所述概率分布特征。在本申请的一个实施例中，所述从所述概率分布特征中采样T个特征的公式为：其中，所述输入样本x，θ1和θ2为所述两个神经网络的参数，diag()表示取其对角元素，t为时间。在本申请的一个实施例中，所述处理模块，具体用于对所述T个损失函数进行求和平均处理，获取平均损失函数；获取有序分布约束函数，计算所述平均损失函数和所述有序分布约束函数的和为所述训练损失函数。在本申请的一个实施例中，所述训练损失函数公式为：其中，表示所述平均损失函数，D训练数据集，α为超参数，LOrd表示所述有序分布约束函数。本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请实施例一所提供的一种基于回归模型的不确定性估计方法的流程示意图；图2为本申请实施例的回归模型训练的示例图；图3为本申请实施例的概率无序特征-概率有序特征的示例图；图4为本申请实施例所提供的一种基于回归模型的不确定性估计装置的结构示意图。具体实施本文档来自技高网...

【技术保护点】
1.一种基于回归模型的不确定性估计方法，其特征在于，包括以下步骤：/n获取输入样本，并提取所述输入样本的概率分布特征；其中，所述输入样本具有标签值；/n从所述概率分布特征中采样T个特征；其中所述T为正整数；/n获取所述T个特征对应的T个损失函数，并对所述T个损失函数进行处理，获取训练损失函数；/n将所述输入样本输入回归模型进行处理，获取预测值，并通过所述训练损失函数根据所述标签值和所述预测值对所述回归模型的参数进行调整，获取已训练回归模型，以使将待处理数据输入所述已训练回归模型，获取回归结果和目标值。/n

【技术特征摘要】
1.一种基于回归模型的不确定性估计方法，其特征在于，包括以下步骤：
获取输入样本，并提取所述输入样本的概率分布特征；其中，所述输入样本具有标签值；
从所述概率分布特征中采样T个特征；其中所述T为正整数；
获取所述T个特征对应的T个损失函数，并对所述T个损失函数进行处理，获取训练损失函数；
将所述输入样本输入回归模型进行处理，获取预测值，并通过所述训练损失函数根据所述标签值和所述预测值对所述回归模型的参数进行调整，获取已训练回归模型，以使将待处理数据输入所述已训练回归模型，获取回归结果和目标值。


2.如权利要求1所述的方法，其特征在于，所述提取所述输入样本的概率分布特征，包括：
分别通过两个神经网络对所述输入样本进行处理，获取高维高斯分布的均值和方差作为所述概率分布特征。


3.如权利要求2所述的方法，其特征在于，所述从所述概率分布特征中采样T个特征的公式为：



其中，所述输入样本x，θ1和θ2为所述两个神经网络的参数，diag()表示取其对角元素，t为时间。


4.如权利要求1所述的方法，其特征在于，所述对所述T个损失函数进行处理，获取训练损失函数，包括：
对所述T个损失函数进行求和平均处理，获取平均损失函数；
获取有序分布约束函数，计算所述平均损失函数和所述有序分布约束函数的和为所述训练损失函数。


5.如权利要求1所述的方法，其特征在于，所述训练损失函数公式为：



其中，表示所述平均损失函数，D训练数据集，α为超参数，LOrd表示所述有序分布约束函数。


6.一种基于...

【专利技术属性】
技术研发人员：周杰，鲁继文，李万华，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11