面向图像大数据的类增量分类方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了一种面向图像大数据的类增量分类方法、系统、装置及介质，其中方法包括初始化训练阶段和增量学习阶段；所述初始化训练阶段包括：构建图像的初始数据集；根据所述初始数据集训练初始分类模型；所述增量学习阶段包括：根据所述初始数据集和图像的新数据构建增量学习数据集；根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。本发明专利技术通过蒸馏算法更新增量学习模型，使模型的类间距离扩大及类内距离缩小，能够在有限的存储空间和计算资源下，提升模型对新旧数据识别性能，可广泛应用于大数据应用领域。

【技术实现步骤摘要】
面向图像大数据的类增量分类方法、系统、装置及介质
本专利技术涉及大数据应用领域，尤其涉及一种面向图像大数据的类增量分类方法、系统、装置及介质。
技术介绍
随着互联网的云计算、物联网、社交网络等新兴信息技术和应用模式的快速发展，促使人类社会的数据种类和规模正以前所未有的速度增长，推动人类社会迈入信息爆炸的大数据时代。而与之相随的是计算机运算能力的不断提升，推动了机器学习的研究与发展，尤其是深度学习领域更是掀起一股研究热潮，被广泛应用在金融、智能制造、医疗健康等各个领域。“大数据+机器学习”技术成为了当今社会耳熟能详的人工智能技术，而在2016年，Google的AlphaGo横空出世，让我们见识到“大数据+机器学习”的巨大威力和其广阔的前景。虽然目前“大数据+机器学习”技术在各行各业获得广泛应用并取得显著成果，但是目前大多数机器算法是基于静态、封闭的理想环境下进行训练，它们将历史数据作为一个整体进行批量学习，这种批量学习灵活性较差，只能面向静态的批量大数据，而训练得到的模型也只能识别在训练集中出现过的类别，对于未出现在训练集中的类别模型则无本文档来自技高网...

【技术保护点】
1.一种面向图像大数据的类增量分类方法，其特征在于，包括初始化训练阶段和增量学习阶段；/n所述初始化训练阶段包括：/n构建图像的初始数据集；/n根据所述初始数据集训练初始分类模型；/n所述增量学习阶段包括：/n根据所述初始数据集和图像的新数据构建增量学习数据集；/n根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；/n其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。/n

【技术特征摘要】
1.一种面向图像大数据的类增量分类方法，其特征在于，包括初始化训练阶段和增量学习阶段；
所述初始化训练阶段包括：
构建图像的初始数据集；
根据所述初始数据集训练初始分类模型；
所述增量学习阶段包括：
根据所述初始数据集和图像的新数据构建增量学习数据集；
根据所述初始分类模型获取增量学习新模型，根据增量学习数据集和蒸馏算法训练所述增量学习新模型，得到能够识别新旧类别的模型；
其中，所述蒸馏算法使模型的类间距离扩大及类内距离缩小。


2.根据权利要求1所述的一种面向图像大数据的类增量分类方法，其特征在于，所述训练初始分类模型的过程中，采用HM-Softmax作为分类损失函数；
所述分类损失函数的公式为：



其中，为所有训练样本数量，pi为模型对样本xi输出预测概率，当pi小于阈值ε时，I(pi)＝1，否则I(pi)＝0。


3.根据权利要求1所述的一种面向图像大数据的类增量分类方法，其特征在于，所述根据所述初始数据集和图像的新数据构建增量学习数据集，包括：
从所述初始数据集中获取样本作为旧类别训练数据；
获取新数据，对新数据进行预处理，预处理的操作包括对新数据中的图像进行尺寸归一化处理以及标注处理；
将所述旧类别训练数据和预处理后的所述新数据进行混合，获得增量学习数据集。


4.根据权利要求1所述的一种面向图像大数据的类增量分类方法，其特征在于，所述根据所述初始分类模型获取增量学习新模型，包括：
将所述初始分类模型的参数进行冻结，作为旧模型；
对所述旧模型进行结构调整，获得具有类增量学习功能的新模型，作为增量学习新模型；
所述对所述旧模型进行结构调整，包括：
在所述旧模型的全连接层添加k个神经元节点，作为新类别的分类器；
所述增量学习新模型具有s+k个输出节点，s为旧数据中的类别数量，k为新增的类别数量。


5.根据权利要求4所述的一种面向图像大数据的类增量分类方法，其特征在于，所述根据增量学习数据集和蒸馏算法训练所述增量学习新模型的步骤，包括：
从所述增量学习数据集中获取样本对；
计算所述样本对在所述旧模型上的特征距离...

【专利技术属性】
技术研发人员：罗荣华，黄圳铭，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44