一种基于梯度正则化的高效深度批量主动学习方法及系统技术方案

技术编号:46570251 阅读:0 留言:0更新日期:2025-10-10 21:17
本发明专利技术公开了一种基于梯度正则化的高效深度批量主动学习方法及系统,涉及机器学习与人工智能技术领域,包括:获取未标记样本,将未标记样本输入至预先建立的深度神经网络模型内,输出得到输出概率向量和倒数第二层的特征向量;根据输出概率向量和倒数第二层的特征向量对未标记样本分配伪标签,基于伪标签计算输出层每个类别的梯度块,对梯度块进行正则化处理,保留预设输出概率的类别对应的梯度块,其余梯度块置零,生成稀疏梯度矩阵;基于稀疏梯度矩阵进行类别级和样本级分层距离计算,得到样本级距离,依据样本级距离执行多样性采样,用k‑means++聚类算法选择代表性样本进行标注,实现深度批量主动学习中样本选择的加速与性能优化。

【技术实现步骤摘要】

本专利技术涉及机器学习与人工智能,具体的是一种基于梯度正则化的高效深度批量主动学习方法及系统


技术介绍

1、主动学习是一种通过从未标记样本中选择最有信息价值的样本进行标注,从而提高模型性能的方法。深度批量主动学习(dbal)更进一步,在每轮采样中选择一批代表性样本进行标注以加快训练。

2、然而,在现有的dbal方法中,通常采用样本之间在梯度空间的距离来度量不确定性与多样性。这种方法在面对大类别数据集时,因输出层维度增大,导致梯度计算与距离评估的复杂度成倍增加,造成训练延迟。


技术实现思路

1、为解决上述
技术介绍
中提到的不足,本专利技术的目的在于提供一种基于梯度正则化的高效深度批量主动学习方法及系统,通过对输出层的梯度向量进行结构化剪枝与分层距离计算,实现深度批量主动学习中样本选择的加速与性能优化。

2、第一方面,本专利技术的目的可以通过以下技术方案实现:一种基于梯度正则化的高效深度批量主动学习方法,方法包括以下步骤:

3、获取未标记样本,将未标记样本输入至预先建立的深度神本文档来自技高网...

【技术保护点】

1.一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,方法包括以下步骤:

2.根据权利要求1所述的一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,所述基于伪标签计算输出层每个类别的梯度块的计算公式如下:

3.根据权利要求1所述的一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,所述稀疏梯度矩阵包含样本索引、保留类别的类别索引、各类别概率值及特征向量,用于跳过无效距离计算。

4.根据权利要求1所述的一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,所述样本级距离的计算满足以下条件:

5.根据权利要求4所述的一...

【技术特征摘要】

1.一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,方法包括以下步骤:

2.根据权利要求1所述的一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,所述基于伪标签计算输出层每个类别的梯度块的计算公式如下:

3.根据权利要求1所述的一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,所述稀疏梯度矩阵包含样本索引、保留类别的类别索引、各类别概率值及特征向量,用于跳过无效距离计算。

4.根据权利要求1所述的一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,所述样本级距离的计算满足以下条件:

5.根据权利要求4所述的一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,所述样本级距离的总体样本级距离的计算如下:

6.根据权利要求1所述的一种基于梯度正则化的高效深度批量主动学习方法,其特征在于,所述依据样本级距...

【专利技术属性】
技术研发人员:李延超赖勇杰肖甫
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1