一种采用错因强化方式优化损失函数的方法技术

本发明专利技术公开了一种采用错因强化方式优化损失函数的方法，优化后的损失函数取名为corloss，在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下三个模块:惩罚程度调节因子T，用于调节相关性对交叉熵损失函数影响的强弱，在模型训练时可根据实际情况设置T值；数据集各类别之间的相关性

【技术实现步骤摘要】
一种采用错因强化方式优化损失函数的方法
本专利技术涉及一种优化损失函数的方法，特别是一种采用错因强化方式优化损失函数的方法。
技术介绍
在识别物品类别时，常常容易将物品识别为与其外表、特征相关的物品，导致识别结果不准确，而目前已有的损失函数都没有考虑到物品之间相似性对模型精度的影响，因此当模型学习到一定程度后难以再获得提升。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种识别准确率高的采用错因强化方式优化损失函数的方法。本专利技术解决其技术问题所采用的技术方案是：一种采用错因强化方式优化损失函数的方法，优化后的损失函数取名为corloss，在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下三个模块:惩罚程度调节因子T，用于调节相关性对交叉熵损失函数影响的强弱，当T＝0时，惩罚程度调节因子T对交叉熵损失函数无影响，此时corloss即为交叉熵损失函数，在模型训练时可根据实际情况设置T值；数据集各类别之间的相关性Xijd，通过初步模型测试所有物品类别的输出，并使用信息熵公式计算后获得相关性Xijd；相关类别的概率即在训练过程中将目标物品识别为与之相关的物品类别的概率，非定值，根据模型的每一次训练情况动态调整。本方法包括以下步骤：步骤S1、初步训练并获取各类别的相关性；步骤S2、根据识别结果动态加入惩罚项；步骤S3、构建新的损失函数；步骤S4：设定溢出机制；步骤S5：采用corloss训练。>步骤S1的具体步骤如下：采用交叉熵损失的损失函数对模型进行初步训练，初步训练后的模型用于测试各类别的相关项以及各类别之间的相关性。步骤S2包括以下具体步骤：根据识别结果动态加入惩罚项，监控每张图片的识别结果，模型对相关项的输出以概率分数的形式作为惩罚项的一部分加入损失函数的计算中，同时在训练过程中使用溢出机制保护损失函数继续计算，一旦溢出则使用原来的交叉熵损失函数。步骤S3的具体步骤如下：以原来的交叉熵损失函数为基础,通过原来的交叉熵损失函数训练出初步模型后，测试所有类别的相关项,所有类别的相关项即分类错因，在正式训练时把这些分类错因引入到损失函数的计算中，构建新的损失函数，得到corloss的具体公式如下：其中，i是指正确分类的物品类别，j是指与i具有相关性的物品类别，d是指相关物品类别的个数；T为调节因子，用于调节对损失计算的惩罚程度；Xijd为错因值，即相近物品类别之间的相关性，用信息熵来表示，信息熵越大说明相关性越大，模型识别错误的几率越高；为训练过程中相关类别的输出概率；其中，Xijd的具体公式如下：其中Bij为分类i图片输出的平均值，将每个类别的图片输出值按位置相加，然后求平均值以保证输出是正常水平。模型训练时可以根据实际情况设置d值，当d＝0时，其他物品类别不会对目标物品的类别识别产生影响，此时corloss即为交叉熵损失函数。步骤S4的具体步骤如下：当时，则使用优化后的损失函数corloss，一旦溢出则使用原来的交叉熵损失函数计算。步骤S5包括以下训练方式：A、第一种训练方式如下：共进行两次训练，第一次训练为初步训练，先使用原来的交叉熵损失函数训练初步模型，再使用初步模型测出数据集各类别之间的相关性，整理成相关性表格再进行正式训练，第二次训练则使用corloss进行正式训练，在正式训练时以索引的方式把每个物品类别的相关项加入到corloss中计算，针对初步模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到corloss中计算；B、第二种训练方式如下：只进行一次训练，共N个epoch，训练包括两个阶段，第一个阶段取epoch＝int[kN]时的模型作为初步模型，其中0＜k＜1，用初步模型测出数据集各类别之间的相关性，整理成相关性表格，第二个阶段则使用corloss从epoch＝int[kN]+1处开始断点续训，其中0＜k＜1，在断点续训过程中，针对模型对每个图片的识别情况，从相关性表格中搜索到对应的惩罚项加入到损失函数中计算。本专利技术的有益效果是：本专利技术通过加入惩罚性，提高了模型对物品识别的精度，能够提高深度学习网络模型的识别准确程度。附图说明下面结合附图和实施例对本专利技术进一步说明。图1是本专利技术的步骤流程图；图2是第一种训练方式的步骤流程图；图3是第二种训练方式的步骤流程图。具体实施方式参照图1至图3。一种采用错因强化方式优化损失函数的方法，优化后的损失函数取名为corloss，在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下三个模块:惩罚程度调节因子T，用于调节相关性对交叉熵损失函数影响的强弱，当T＝0时，惩罚程度调节因子T对交叉熵损失函数无影响，此时corloss即为交叉熵损失函数，在模型训练时可根据实际情况设置T值；数据集各类别之间的相关性Xijd，通过初步模型测试所有物品类别的输出，并使用信息熵公式计算后获得相关性Xijd；相关类别的概率即在训练过程中将目标物品识别为与之相关的物品类别的概率，非定值，根据模型的每一次训练情况动态调整。通过加入惩罚性，提高了模型对物品识别的精度，能够提高深度学习网络模型的识别准确程度。本方法包括以下步骤：步骤S1、初步训练并获取各类别的相关性；步骤S2、根据识别结果动态加入惩罚项；步骤S3、构建新的损失函数；步骤S4：设定溢出机制；步骤S5：采用corloss训练。步骤S1的具体步骤如下：采用交叉熵损失的损失函数对模型进行初步训练，初步训练后的模型用于测试各类别的相关项以及各类别之间的相关性。步骤S2包括以下具体步骤：根据识别结果动态加入惩罚项，监控每张图片的识别结果，模型对相关项的输出以概率分数的形式作为惩罚项的一部分加入损失函数的计算中，同时在训练过程中使用溢出机制保护损失函数继续计算，一旦溢出则使用原来的交叉熵损失函数。步骤S3的具体步骤如下：以原来的交叉熵损失函数为基础,通过原来的交叉熵损失函数训练出初步模型后，测试所有类别的相关项,所有类别的相关项即分类错因，在正式训练时把这些分类错因引入到损失函数的计算中，构建新的损失函数，得到corloss的具体公式如下：其中，i是指正确分类的物品类别，j是指与i具有相关性的物品类别，d是指相关物品类别的个数；T为调节因子，用于调节对损失计算的惩罚程度；Xijd为错因值，即相近物品类别之间的相关性，用信息熵来表示，信息熵越大说明相关性越大，模型识别错误的几率越高；为训练过程中相关类别的输出概率；其中，Xijd的具体公式如下：其中Bij为分类i图片输出的平均值，将每个类别的图片输出值按位置相加，然后求平均值以保证输出是正常水平。模型训练时可以根据实际情况设置d值，当d＝0时，其他物品类别不会对目本文档来自技高网...

【技术保护点】
1.一种采用错因强化方式优化损失函数的方法，优化后的损失函数取名为corloss，其特征在于在原来的交叉熵损失函数的基础上加入惩罚项实现, 惩罚项包含以下三个模块:/n惩罚程度调节因子T，用于调节相关性对交叉熵损失函数影响的强弱，当T=0时，惩罚程度调节因子T对交叉熵损失函数无影响，此时corloss即为交叉熵损失函数，在模型训练时可根据实际情况设置T值；/n数据集各类别之间的相关性

【技术特征摘要】
1.一种采用错因强化方式优化损失函数的方法，优化后的损失函数取名为corloss，其特征在于在原来的交叉熵损失函数的基础上加入惩罚项实现,惩罚项包含以下三个模块:
惩罚程度调节因子T，用于调节相关性对交叉熵损失函数影响的强弱，当T=0时，惩罚程度调节因子T对交叉熵损失函数无影响，此时corloss即为交叉熵损失函数，在模型训练时可根据实际情况设置T值；
数据集各类别之间的相关性，通过初步模型测试所有物品类别的输出，并使用信
息熵公式计算后获得相关性；
相关类别的概率，即在训练过程中将目标物品识别为与之相关的物品类别的概
率，非定值，根据模型的每一次训练情况动态调整。


2.根据权利要求1所述的采用错因强化方式优化损失函数的方法，其特征在于包括以下步骤：
步骤S1、初步训练并获取各类别的相关性；
步骤S2、根据识别结果动态加入惩罚项；
步骤S3、构建新的损失函数；
步骤S4：设定溢出机制；
步骤S5：采用corloss训练。


3.根据权利要求2所述的采用错因强化方式优化损失函数的方法，其特征在于步骤S1的具体步骤如下：采用交叉熵损失的损失函数对模型进行初步训练，初步训练后的模型用于测试各类别的相关项以及各类别之间的相关性。


4.根据权利要求3所述的采用错因强化方式优化损失函数的方法，其特征在于步骤S2包括以下具体步骤：根据识别结果动态加入惩罚项，监控每张图片的识别结果，模型对相关项的输出以概率分数的形式作为惩罚项的一部分加入损失函数的计算中，同时在训练过程中使用溢出机制保护损失函数继续计算，一旦溢出则使用原来的交叉熵损失函数。


5.根据权利要求4所述的采用错因强化方式优化损失函数的方法，其特征在于步骤S3的具体步骤如下：以原来的交叉熵损失函数为基础,通过原来的交叉熵损失函数训练出初步模型后，测试所有类别的相关项,所有类别的相关项即分类错因，在正式训练时把这些分类错因引入到损失函数的计算中，构建新的损失函数，得到corlo...

【专利技术属性】
技术研发人员：于效宇，陈颖璐，刘艳，谈海平，李富超，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：广东;44