一种在线学习方法、系统及计算机可读存储介质技术方案

本发明专利技术提供了一种在线学习方法、系统及计算机可读存储介质，包括初始化输出权重矩阵与协方差矩阵；接收新采集到的无标签数据，保留当前的输出权重矩阵与协方差矩阵；将无标签样本集中的样本聚类形成k个簇，在每个簇中提取最接近形心的样本并标记，加入到有标记数据集中；统计有标记数据集中各类别样本的数量，计算样本加权矩阵；随机生成隐含层节点与输入节点间的参数；计算模型输出权重矩阵；循环执行，直至得到最优模型。本发明专利技术可以利用实时采集到的数据更新模型，不断提高分类能力；同时可缓解数据中存在的类别不均衡问题对模型的影响；并通过聚类的方式选出更具有代表性的样本进行标记，可节省大量人力成本。可节省大量人力成本。可节省大量人力成本。

【技术实现步骤摘要】
一种在线学习方法、系统及计算机可读存储介质


[0001]本专利技术涉及电子信息的
，具体地，涉及一种在线学习方法、系统及计算机可读存储介质。

技术介绍

[0002]近些年来，随着数据的获取越来越便利以及数据存储的成本逐渐下降，各行各业都积累了海量的数据。这些数据有三大典型特征，即无标签、类别不平衡以及数据量不断增长。无标签是指采集到的数据没有被人工标记为具体的类别，类别不平衡是指数据所属的类别往往集中在某一个或几个类别里。数据量不断增长是指随着生产生活的进行，数据一直在产生与采集，数据集数量得到不断地扩充。这三大特性对数据集的分类任务产生了巨大的困难。
[0003]伴随着人工智能技术的快速发展，用于解决特定回归或分类问题的多种机器学习算法被提出。其中，在线学习算法可以对样本量递增的数据集进行学习，通过利用实时采集到的数据及时更新模型，不断提高模型分类能力，因此在各个领域都有着广阔的应用。但是，现有的在线学习方法仅在有标签数据集上表现较好，面对无标签以及数据类别不平衡情形时无法取得较好的效果。考虑到具有上述三大特征数据集的普遍性，如高排放移动源识别、故障诊断、入侵检测、医学影像识别等，然而现有的方法无法较好的解决该类问题，我们认为这极大地限制了人工智能技术在实际生产生活中的应用。
[0004]在公开号为CN114139604A的专利文献中公开了一种基于在线学习的电力工控攻击监测方法和装置，其中基于在线学习的电力工控攻击监测方法通过生成伪标签的方式解决样本无标签的问题，但伪标签仅是由少量有标签样本训练得到的模型所生成，少量的样本限制了模型分类能力，进一步限制了伪标签样本的真实性。因此该方法具有较大的不确定性。在公开号为CN108376261A的专利文献中公开了一种基于密度和在线半监督学习烟草分类方法，首先利用少量有标签的烟草样本进行初始训练，然后利用一批数量上大于有标签样本数的无标签样本，筛选有用样本进行在线学习，不断更新以获得最终的学习模型，并应用于烟草的分类。但是，该方法仅适用于类别平衡分类任务上，无法应用到范围更广的类别不平衡分类任务上。针对机器学习领域对上述数据无法较好学习并分类的问题，需要提出一种新的技术方案以改善上述技术问题。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种在线学习方法、系统及计算机可读存储介质。
[0006]根据本专利技术提供的一种在线学习方法，所述方法包括如下步骤：
[0007]步骤S1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；
[0008]步骤S2：接收新采集到的无标签数据Θ＝{x1,
…
,x
N
}，N为新采集的无标签数据数
量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
[0009]步骤S3：通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
[0010]步骤S4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
[0011][0012]W
ii
表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(t
i
)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；
[0013]步骤S5：为每个隐含层节点随机生成其与输入节点间的权重a
i
＝[a
i1
,a
i2
,
…
,a
id
]T
以及偏置b
i
，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：
[0014][0015]其中，g(
·
)为激活函数，计算方式为：
[0016][0017]其中，j＝1,2,
…
,N；
[0018]步骤S6：计算模型输出权重矩阵β，如下：
[0019]计算协方差矩阵：
[0020][0021]进而计算输出权重矩阵：
[0022]β＝P
‑1(P0β0+U
T
V)
[0023]其中，T为样本的目标矩阵，m为类别总数，O为全零矩阵，t
i
＝[t
i1
,t
i2
,
…
,t
im
]T
为第i个样本的真实标记，采用one
‑
hot编码；λ为平衡因子；L是大小为N
×
N的拉普拉斯矩阵，L＝D
‑
S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素S
ij
表示样本x
i
和x
j
的相似度，计算方式为的相似度，计算方式为σ为带宽因子；
[0024]步骤S7：判断是否需要接收新的数据学习，若需要则跳至步骤S2，循环执行步骤S2到步骤S7，若不需要，则此时模型即为当前最优模型；
[0025]步骤S8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为β
ik
表示β的第i行第k列的值，模型对数据x的预测结果为：
[0026]优选地，所述步骤S1中惩罚因子C>0。
[0027]优选地，所述步骤S4中的加权矩阵是N
×
N的对角阵，N为Θ中样本总数。
[0028]优选地，所述步骤S5中的d为样本的维度，即特征数量；
[0029]所述激活函数选择为sigmoid或者Relu。
[0030]本专利技术还提供一种在线学习系统，所述系统包括如下模块：
[0031]模块M1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；
[0032]模块M2：接收新采集到的无标签数据Θ＝{x1,
…
,x
N
}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；
[0033]模块M3：通过聚类系统将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；
[0034]模块M4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：
[0035][0036]W
ii
表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(t
...

【技术保护点】

【技术特征摘要】
1.一种在线学习方法，其特征在于，所述方法包括如下步骤：步骤S1：初始化输出权重矩阵β为零矩阵，初始化协方差矩阵P为对角元素为的对角矩阵，其中C为惩罚因子；步骤S2：接收新采集到的无标签数据Θ＝{x1，...，x
N
}，N为新采集的无标签数据数量，保留当前的输出权重矩阵β0＝β，保留当前的协方差矩阵P0＝P；步骤S3：通过聚类方法将无标签样本集Θ中的所有样本聚类形成k个簇，在每个簇中找到最接近形心的样本，形心即当前簇所有样本的平均，将其提取并标记，加入到有标记数据集Ψ中，并在样本集Θ中将其排列在前面，其顺序与Ψ保持一致；步骤S4：统计有标记数据集Ψ中各类别样本的数量，使用以下公式计算得到样本加权矩阵W：W
ii
表示加权矩阵W第i个(1≤i≤N)对角元素，即第i个样本的权重，#(t
i
)代表第i个样本对应的类别在Ψ中的样本数量；其中加权矩阵W的第n+1到N个对角线元素均为0，n为Ψ中样本数量；ρ为加权矩阵调整因子；步骤S5：为每个隐含层节点随机生成其与输入节点间的权重a
i
＝[a
i1
，a
i2
，
…
，a
id
]
T
以及偏置b
i
，1≤i≤l，l为隐含层节点数量；使用下式计算得到隐含层输出矩阵H：其中，g(
·
)为激活函数，计算方式为：其中，j＝1，2，...，N；步骤S6：计算模型输出权重矩阵β，如下：计算协方差矩阵：进而计算输出权重矩阵：β＝P
‑1(P0β0+U
T
V)其中，T为样本的目标矩阵，m为类别总数，O为全零矩阵，t
i
＝[t
i1
，t
i2
，
…
，t
im
]
T
为第i个样本的真实标记，采用one
‑
hot编码；λ为平衡因子；L是大小为N
×
N的拉普拉斯矩阵，L＝D
‑
S，D为L的度矩阵，S为相似矩阵，其第i行第j列元素S
ij
表示样本x
i
和x
j
的相似度，计算方式为的相似度，计算方式为σ为带宽因子；
步骤S7：判断是否需要接收新的数据学习，若需要则跳至步骤S2，循环执行步骤S2到步骤S7，若不需要，则此时模型即为当前最优模型；步骤S8：利用训练好的上述模型对数据进行分类，接收一条数据x，导入到上述训练好的模型中，模型第k个(1≤k≤m)输出节点的值为β
ik
表示β的第i行第k列的值，模型对数据x的预测结果为：2.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S1中惩罚因子C＞0。3.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S4中的加权矩阵是N
×
N的对角阵，N为Θ中样本总数。4.根据权利要求1所述的在线学习方法，其特征在于，所述步骤S5中的d为样本的维度，即特征数量；所述激活函数选择为sigmoid或者Relu。5.一种在线学习系统，其特征在于，所述系统包括如下模块：模块M1：初始化输出权重矩阵β...

【专利技术属性】
技术研发人员：李泽瑞，段培杰，康宇，吕钊，许镇义，吕文君，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：