一种融合多种表征平衡策略的室内场景视觉识别方法及系统技术方案

本发明专利技术公开了一种融合多种表征平衡策略的室内场景视觉识别方法及系统，包括：使用预热好的模型计算长尾训练集中每个类别的类别中心；通过不同的重采样策略构建多个具有不同特征分布的训练子集；结合自定义的损失函数，使用所述训练子集对预热后的模型进行训练直至损失函数收敛，让模型倾向于学习到在各个训练子集间平衡的特征；处理训练集中类别内部的特征不平衡问题。同时在分类器上施加正则项来调整头尾部类的权重差异，当所述损失函数收敛到一定程度后得到训练好的模型，减少训练集中因为类别样本的不均衡造成的分类器上各类别权重的不平衡。本发明专利技术同时解决类别样本不均衡和类别内样本的非类别属性的不平衡给模型训练带来的问题。练带来的问题。练带来的问题。

【技术实现步骤摘要】
一种融合多种表征平衡策略的室内场景视觉识别方法及系统


[0001]本专利技术涉及长尾视觉识别和平衡表征学习领域，尤其涉及一种融合多种表征平衡策略的室内场景视觉识别方法及系统。

技术介绍

[0002]长尾视觉识别是计算机视觉领域最具挑战性和关键的技术之一，因为任何自然采集获取的数据集都或多或少存在长尾分布的不平衡问题，这些隐患往往被人们忽视，从而对模型训练带来一些莫名其妙的影响。在之前的研究之中被人们关注的是类别间的不平衡，这在绝大多数计算机视觉任务中已经得到人工解决。比如现在公开的绝大多数数据集都会在自然采集后经过人工的类别均衡处理，所以除非是专门的长尾研究领域，目前公开的数据集大都是类别均衡的。但这不表示类别再平衡问题就是无意义的，因为这一研究会减弱自然采集的数据集后的人工类别均衡操作的必要性，减少这一环节的时间和人力成本。除了类别均衡问题，还有一类问题在之前并未得到关注，且未得到解决，就是类内的长尾不平衡问题，比如一些常见的现象：为什么同一类内的样本的表现不一致且呈现长尾分布；为什么尾部类的一些样本在视觉识别任务中会被预测为具有类似属性的头部类类别。
[0003]在现有的长尾视觉识别任务中，特别是在室内场景下(例如教室、食堂、商场等)，由于室内空间下物体的类别间样本分布呈现长尾分布，使用获取的训练集直接训练得到的模型无法得到与同类别下类别均衡的测试集相近的分布。样本的类别丰富度高意味着可以避免潜在的混杂因子，相反意味着更容易受到混杂因子的影响。本方法着眼于在室内等狭小空间下利用长尾分布数据训练得到在视觉识别任务下使用的更鲁棒更平衡的特征。
[0004]长尾视觉识别任务旨在提高给定的长尾训练集在类别均衡评估方法下的表现。长尾分布数据集下最明显的混杂因素就是“类别”，所以先对“类别”进行去混杂操作。如何有效的利用不均衡的数据，从而降低数据采集时的成本，训练出更平衡的模型是我们所关心的问题。对于“类别间不平衡”的再平衡方法整体上看分四类：第一类是在训练数据集上的重采样策略，例如对头部类的下采样和对尾部类的上采样，这种方法存在数据集的充分利用问题，对头部类的下采样使得一部分数据没有得到充分利用，尾部类的上采样又有新的样本分布与原始分布偏差的问题。第二类是重加权，即在训练阶段对损失函数的处理上，因为损失函数计算的灵活性和简便性的优势，该方法被应用在很多需要复杂建模的任务上。第三种是迁移学习，这种方式基于长尾数据分布的不平衡，先充分学习头部类的样本，然后将学到的知识通过某种方式迁移到尾部类别的特征学习之中，比如利用头部类的分布信息来进行尾部类的样本增强，这种方式往往模型复杂。第四类是模型集成，旨在通过多个子模型来同时提升长尾训练集中头部类和尾部类的表现。
[0005]此外，已有的研究多是针对类间不平衡问题，给出的方法是训练得到一个类间不平衡的分类器，这个分类器倾向于提高尾部类的置信度并且抑制头部类的置信度，从而“纠正”模型原来倾向于把尾部类样本预测为头部类类别的问题，达到头尾部类的类间平衡。但即使类别间的样本数是均衡的，同一类别内部的样本还会因为特征的分布不均衡等原因造
成类内的不均衡，影响模型的识别效果。

技术实现思路

[0006]本专利技术的目的在于克服室内场景获取的长尾训练集中的平衡表征学习问题，尤其是针对之前被忽略的类内不平衡问题，提供了一种融合多种表征平衡策略的室内场景视觉识别方法及系统。
[0007]本专利技术的目的是通过以下技术方案来实现的：
[0008]在第一方案中，提供一种融合多种表征平衡策略的室内场景视觉识别方法，所述方法包括：
[0009]S1、采样得到长尾训练集；
[0010]S2、预热模型并自定义损失函数；
[0011]S3、使用预热好的模型计算长尾训练集中每个类别的类别中心；
[0012]S4、通过不同的重采样策略构建多个具有不同特征分布的训练子集；
[0013]S5、结合自定义的损失函数，使用所述训练子集对预热后的模型进行训练直至损失函数收敛，让模型倾向于学习到在各个训练子集间平衡的特征；
[0014]S6、在步骤S5中训练后模型的分类器上施加正则项来调整头尾部类的权重差异，当所述损失函数收敛到一定程度后得到训练好的模型。
[0015]S7、使用训练好的模型进行视觉识别。
[0016]作为一优选项，一种融合多种表征平衡策略的室内场景视觉识别方法，所述通过不同的重采样策略构建多个具有不同特征分布的训练子集，包括：
[0017]对长尾训练集中的每个类别分别使用不同重采样方式得到多个新的小子集，然后将所有使用相同重采样方式的小子集合在一起，得到多个大的训练子集。
[0018]作为一优选项，一种融合多种表征平衡策略的室内场景视觉识别方法，所述不同重采样方式包括：
[0019]一种是对每个类别中的样本赋予同样的权重进行采样，另一种是按照二八定律对每个类别中的样本赋予权重进行采样。
[0020]作为一优选项，一种融合多种表征平衡策略的室内场景视觉识别方法，按照二八定律对每个类中的样本赋予权重进行采样，包括：
[0021]对当前类别中部分样本进行上采样直到类别中预测置信度最低的百分之二十的样本的占比达到了原集合样本数的百分之八十；同时将当前类别中另外一部分样本通过下采样变为原集合样本数的百分之二十。
[0022]作为一优选项，一种融合多种表征平衡策略的室内场景视觉识别方法，所述上采样的方法是MixUp数据增强。
[0023]作为一优选项，一种融合多种表征平衡策略的室内场景视觉识别方法，所述使用所述训练子集对预热后的模型进行训练直至损失函数收敛，包括：
[0024]周期性的重复步骤S4重新构建训练子集，并利用重新构建的训练子集训练模型。
[0025]作为一优选项，一种融合多种表征平衡策略的室内场景视觉识别方法，所述周期性指的是每20个epoch重复一次。
[0026]作为一优选项，一种融合多种表征平衡策略的室内场景视觉识别方法，每次重复
之前更新每个类别的类别中心。
[0027]作为一优选项，一种融合多种表征平衡策略的室内场景视觉识别方法，所述步骤S6包括：
[0028]随机初始化模型分类器的参数并周期性的使用重采样得到的训练子集对分类器进行单独调整。
[0029]在第二方案中，提供一种融合多种表征平衡策略的室内场景视觉识别系统，所述系统包括：
[0030]数据采集模块，用于采样得到长尾训练集；
[0031]模型预热模块，用于预热模型并自定义损失函数；
[0032]类别中心计算模块，使用预热好的模型计算长尾训练集中每个类别的类别中心；
[0033]训练子集构建模块，通过不同的重采样策略构建多个具有不同特征分布的训练子集；
[0034]类内平衡训练模块，结合自定义的损失函数，使用所述训练子集对预热后的模型进行训练直至损失函数收敛，让模型倾向于学习到在各个训练子集间平衡的特征；...

【技术保护点】

【技术特征摘要】
1.一种融合多种表征平衡策略的室内场景视觉识别方法，其特征在于，所述方法包括：S1、采样得到长尾训练集；S2、预热模型并自定义损失函数；S3、使用预热好的模型计算长尾训练集中每个类别的类别中心；S4、通过不同的重采样策略构建多个具有不同特征分布的训练子集；S5、结合自定义的损失函数，使用所述训练子集对预热后的模型进行训练直至损失函数收敛，让模型倾向于学习到在各个训练子集间平衡的特征；S6、在步骤S5中训练后模型的分类器上施加正则项来调整头尾部类的权重差异，当所述损失函数收敛到一定程度后得到训练好的模型。S7、使用训练好的模型进行视觉识别。2.根据权利要求1所述的一种融合多种表征平衡策略的室内场景视觉识别方法，其特征在于，所述通过不同的重采样策略构建多个具有不同特征分布的训练子集，包括：对长尾训练集中的每个类别分别使用不同重采样方式得到多个新的小子集，然后将所有使用相同重采样方式的小子集合在一起，得到多个大的训练子集。3.根据权利要求2所述的一种融合多种表征平衡策略的室内场景视觉识别方法，其特征在于，所述不同重采样方式包括：一种是对每个类别中的样本赋予同样的权重进行采样，另一种是按照二八定律对每个类别中的样本赋予权重进行采样。4.根据权利要求3所述的一种融合多种表征平衡策略的室内场景视觉识别方法，其特征在于，按照二八定律对每个类中的样本赋予权重进行采样，包括：对当前类别中部分样本进行上采样直到类别中预测置信度最低的百分之二十的样本的占比达到了原集合样本数的百分之八十；同时将当前类别中另外一部分样本通过下采样变为原集合样本数的百分之二十。5.根据权利要求4所述的一种融合多种表...

【专利技术属性】
技术研发人员：张宁，董乐，赵浩然，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：