基于博弈论框架构建的神经网络模型终身学习方法技术

本申请提出一种基于博弈论框架构建的神经网络模型终身学习方法，包括：通过对环境熵与网络熵的定量表达，得到网络驱动因子，促使网络结构的变化，实现网络的持续学习，在环境发生空间以及时间上的变化时，保持有效，可迁移以及持续演化。同时将网络的成本，精度以及输出作为反馈信息，进一步帮助网络调整结构，实现数据闭环，实现网络随着时间演化的可持续学习，从而实现稳定有效的自学习。由此，本申请可以在数据集发生模态与时间变化的情况下持续学习，具有较强的实际应用前景。具有较强的实际应用前景。具有较强的实际应用前景。

【技术实现步骤摘要】
基于博弈论框架构建的神经网络模型终身学习方法


[0001]本申请涉及计算机
，尤其涉及一种基于博弈论框架构建的神经网络模型终身学习方法。

技术介绍

[0002]随着信息技术的发展，目前人工神经网络面临的问题除了特定领域的数据集不足，还有一些领域存在具有多模态并且随时间快速变化的数据集。对于特定的数据集的训练，一个成熟的网络表现出对于数据集变化的滞后性：在训练集上表现良好的模型会固定参数，对于其他模态以及随时间迁移的数据不再适用。并且当前的网络对噪音鲁棒性差，对于新的场景以及一些特殊场景下可迁移性差，对于新的数据集无法做到适应。

技术实现思路

[0003]本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
[0004]为此，本申请的一个目的在于提出一种基于博弈论框架构建的神经网络模型终身学习方法。本申请通过在博弈论的框架下，以熵平衡的实现过程作为驱动因子，通过熵平衡驱动下网络节点消长策略的建模与到网络达博弈平衡的过程分析，建立博弈论框架下的终身学习，从而实现网络随着时间演化的可持续学习，从而实现稳定有效的自学习。
[0005]为达上述目的，本申请一方面实施例提出了一种基于博弈论框架构建的神经网络模型终身学习方法，包括：
[0006]对输入图像进行特征提取，获得针对所述输入图像的特征向量；
[0007]将所述输入图像的特征向量输入至环境熵计算网络进行环境熵计算，获得所述环境熵计算网络输出的环境熵；
[0008]基于网络熵计算网络对主体网络计算网络熵，并将所述网络熵映射到与所述环境熵相同的空间；
[0009]根据所述环境熵和所述网络熵生成对应的熵平衡驱动因子；
[0010]根据所述熵平衡驱动因子驱动所述主体网络中连接节点的策略与权重的变化，并根据变化后的所述主体网络获取网络成本和网络误差；
[0011]将所述网络成本、所述网络误差和所述主体网络的输出结果作为反馈信息，并将所述反馈信息和所述输入图像的特征向量输入至所述环境熵计算网络进行环境熵计算，返回执行所述获得所述环境熵计算网络输出的环境熵的步骤。
[0012]可选地，在本申请一些实施例中，所述环境熵计算网络的学习过程如下：
[0013][0014][0015]其中，f
e
(),f
d
()分别是编码器与解码器，是所述编码器的权重，b
e
是所述编码器的偏置，是所述解码器的权重，b
d
是所述解码器的偏置，z
u
是包含有熵信息的隐变量，
y
u
是通过含熵隐变量z
u
解码出的特征；所述编码器通过对特征向量的学习，将其映射到包含有熵信息的隐空间中；所述解码器将从所述隐空间中采样的隐变量解码为特征，验证所述隐变量的可靠性；其中，在训练时，需要满足以下目标函数：
[0016]minL
u
＝||x
u
‑
y
u
||2；
[0017]其中，x
u
为所述输入图像的特征向量；将训练好的编码器作为所述环境熵计算网络。
[0018]可选地，在本申请一些实施例中，所述网络熵计算网络的学习过程如下：
[0019][0020][0021]其中，g
e
(),g
d
()分别是编码器和解码器，是所述编码器的权重，α
e
是所述编码器的偏置，是所述解码器的权重，α
d
是所述解码器的偏置；z
n
是包含有熵信息的隐变量，y
n
是通过含熵隐变量z
n
重建的网络熵；在训练时，需要满足以下的目标函数：
[0022]minL
n
＝||H
graph
‑
y
n
||2[0023]其中，H
graph
为图形熵，其中，为所述主体网络之中每个节点i与d
i
个节点相连的连接强度；将训练好的编码器作为所述网络熵计算网络。
[0024]可选地，在本申请一些实施例中，所述根据所述环境熵和所述网络熵生成对应的熵平衡驱动因子，包括：
[0025]计算所述环境熵与所述网络熵的差值；
[0026]根据所述差值和预设的比例系数，生成熵平衡驱动因子。
[0027]可选地，在本申请实施例中，所述根据所述差值和预设的比例系数，生成熵平衡驱动因子，包括：
[0028]将所述差值与所述比例系数进行相乘处理，并将所述相乘处理得到的乘积取相反数，将所述相反数作为所述熵平衡驱动因子。
[0029]可选地，在本申请一些实施例中，基于博弈论框架构建所述神经网络模型：
[0030]在图论表示下，对所述主体网络中的节点V＝{v
i
|i＝1,2
…
k}进行建模，每个节点采取的策略是“增长”与“消退”，概率分别为p1,p2，每个节点i对第j个节点采取策略后作出的策略是s
ij
：
[0031][0032]S
i
＝(s
i1
,s
i2
,...,s
ik
)
[0033]全体节点的策略集合为：
[0034][0035]达到博弈均衡时，任意的一个特定决策s'
ij
都使得网络的成本U
i
(s
i1
,s
i2
,...,s'
ij
,...,s
ik
)≥U
i
(s
i1
,s
i2
,...,s
ij
,...,s
ik
)，对于成立，此时节点i达到博弈均衡。
[0036]可选地，在本申请实施例中，通过如下公式计算所述网络成本：
[0037][0038]其中，U
i,t
为在时间t下节点i在采取策略后的节点成本；假设节点i对于其他节点的连接情况为“连接强度为Θ
i
，断开为0”，将其写入权重矩阵M
i
＝(Θ1,Θ2,
…
,Θ
k
)，则节点i在采取策略后的节点成本
[0039]可选地，在本申请一些实施例中，所述将所述网络成本、所述网络误差和所述主体网络的输出结果作为反馈信息，包括：
[0040]根据所述网络成本和所述网络误差获取对应的目标函数；
[0041]将所述目标函数和所述主体网络的输出结果作为所述反馈信息。
[0042]可选地，在本申请实施例中，通过如下公式计算所述目标函数：
[0043][0044]其中，λ
g
是权重系数，表示网络复杂度在优化过程中所占有的比重，||X
t
‑
Y本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于博弈论框架构建的神经网络模型终身学习方法，其特征在于，包括：对输入图像进行特征提取，获得针对所述输入图像的特征向量；将所述输入图像的特征向量输入至环境熵计算网络进行环境熵计算，获得所述环境熵计算网络输出的环境熵；基于网络熵计算网络对主体网络计算网络熵，并将所述网络熵映射到与所述环境熵相同的空间；根据所述环境熵和所述网络熵生成对应的熵平衡驱动因子；根据所述熵平衡驱动因子驱动所述主体网络中连接节点的策略与权重的变化，并根据变化后的所述主体网络获取网络成本和网络误差；将所述网络成本、所述网络误差和所述主体网络的输出结果作为反馈信息，并将所述反馈信息和所述输入图像的特征向量输入至所述环境熵计算网络进行环境熵计算，返回执行所述获得所述环境熵计算网络输出的环境熵的步骤。2.根据权利要求1所述的方法，其特征在于，所述环境熵计算网络的学习过程如下：2.根据权利要求1所述的方法，其特征在于，所述环境熵计算网络的学习过程如下：其中，f
e
(),f
d
()分别是编码器与解码器，是所述编码器的权重，b
e
是所述编码器的偏置，是所述解码器的权重，b
d
是所述解码器的偏置，z
u
是包含有熵信息的隐变量，y
u
是通过含熵隐变量z
u
解码出的特征；所述编码器通过对特征向量的学习，将其映射到包含有熵信息的隐空间中；所述解码器将从所述隐空间中采样的隐变量解码为特征，验证所述隐变量的可靠性；其中，在训练时，需要满足以下目标函数：minL
u
＝||x
u
‑
y
u
||2；其中，x
u
为所述输入图像的特征向量；将训练好的编码器作为所述环境熵计算网络。3.根据权利要求1所述的方法，其特征在于，所述网络熵计算网络的学习过程如下：征在于，所述网络熵计算网络的学习过程如下：其中，g
e
(),g
d
()分别是编码器和解码器，是所述编码器的权重，α
e
是所述编码器的偏置，是所述解码器的权重，α
d
是所述解码器的偏置；z
n
是包含有熵信息的隐变量，y
n
是通过含熵隐变量z
n
重建的网络熵；在训练时，需要满足以下的目标函数：minL
n
＝||H
graph
‑
y
n
||2其中，H
graph
为图形熵，其中，为所述主体网络之中每个节点i与d
i
个节点相连的连接强...

【专利技术属性】
技术研发人员：郭雨晨，邓岳，李博翰，戴琼海，丁贵广，
申请(专利权)人：清华大学，
类型：发明
国别省市：