对神经网络中节点进行染色的方法及装置制造方法及图纸

本发明专利技术提出一种对神经网络中节点进行染色的方法及装置，其中，方法包括：获取训练数据，并对所述训练数据进行预处理；通过预设的特征提取网络提取预处理后的训练数据对应的特征，并通过话的分类网络对所述特征进行分类，输出所述分类对应的类别向量；将所述特征提取网络和所述分类网络的节点参数按照顺序存储于预先建立的节点存储区；遍历所述节点存储区的节点信息，并对节点进行标签分类，并对各类别的节点进行染色操作。该方法通过对完成训练的深度神经网络模型进行染色，实现对神经网络中节点作用的研究，解决现有技术中深度神经网络中各个节点的可解释性问题。经网络中各个节点的可解释性问题。经网络中各个节点的可解释性问题。

【技术实现步骤摘要】
对神经网络中节点进行染色的方法及装置


[0001]本专利技术属于计算机多媒体
，涉及图像分类、目标检测等技术。

技术介绍

[0002]近年来，以深度神经网络为代表的人工智能迅猛发展。目前，在许多领域，如自然语言、计算机视觉、语音和多媒体等领域，深度神经网络模型都展现了其强大的能力。然而，深度学习模型以“端到端”为基本架构，通过大量标注数据驱动误差的反向传播来不断优化模型参数，最终实现特定的功能。这样的一种学习过程被称作“黑盒子”，这导致人们很难甚至无法理解深度神经网络。由于目前的深度神经网络的可解释性较弱，在对可靠性要求高，可解释性要求强的领域，深度神经网络的应用受到了阻碍。在诸如自动驾驶、医疗和金融决策等“高风险”领域，在利用深度神经模型进行重大决策时，不仅需要知道决策是什么，还需要知道算法给出决策的依据。因此，研究深度神经网络的可解释性具有重要意义。
[0003]目前，深度神经网络的可解释性引起了国内外学者的广泛关注。计算机视觉、机器学习和人工智能领域的顶级国际会议都举办了关于神经网络可解释相关的研讨会，进一步扩大了深度神经网络可解释性的研究。随着对深度神经网络可解释性研究的深入，近年来出现了大量相关的研究成果。当前，对深度神经网络进行解释的研究主要针对不同的网络结构，其中对卷积神经网络(Convolutional Neural Networks,CNN)解释的方法成果较多，对循环神经网络(Recurrent Neural Networks,RNN)和生成对抗网络(Generative Adversarial Network,GAN)的解释在不断深入。
[0004]采用可视化的方式将滤波器学习到的特征图输出或重构至原图像输出的方式在反向重构时存在信息丢失问题，同时高层滤波器特征图语义不清晰，这使得这种方法只适用于中低层滤波器特征图的视觉解释，无法对整个深度神经网络有一个较为完整的解释；通过敏感性分析，如改变输入图像像素对结果的影响作用分析像素的重要程度，这种方法只能解释图像像素对结果的影响，无法解释模型本身的工作机制。尽管当前已经有大量对深度神经网络解释的方法，但是这些方法都没有说明模型中各个节点单元产生的作用，然而明白各个节点产生的作用对解释深度神经模型具有重要的意义。因此，本专利技术根据生物染色的相关原理，提出了一种基于染色原理的可解释性神经网络。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本专利技术的第一个目的在于提出一种对神经网络中节点进行染色的方法，以实现对神经网络中节点作用的研究，解决深度神经网络中各个节点的可解释性问题。
[0007]本专利技术的第二个目的在于提出一种对神经网络中节点进行染色的装置。
[0008]为达上述目的，本专利技术第一方面实施例提出了一种对神经网络中节点进行染色的方法，包括：获取训练数据，并对所述训练数据进行预处理；通过预设的特征提取网络提取预处理后的训练数据对应的特征，并通过话的分类网络对所述特征进行分类，输出所述分
类对应的类别向量；将所述特征提取网络和所述分类网络的节点参数按照顺序存储于预先建立的节点存储区；遍历所述节点存储区的节点信息，并对节点进行标签分类，并对各类别的节点进行染色操作。
[0009]本专利技术实施例提出的对神经网络中节点进行染色的方法，通过对节点进行染色处理，提高了深度神经网络的可解释性；提出的基于染色原理的神经网络，通过分析染色后节点网络的性能变化，移除不重要的节点，实现网络的简化；提出的明确网络中节点作用的模型，通过关注关键节点的变化，保证关键节点的稳定性，可以提高神经网络的可靠性和鲁棒性。
[0010]另外，根据本专利技术上述实施例的对神经网络中节点进行染色的方法还可以具有以下附加的技术特征：
[0011]进一步地，在本专利技术的一个实施例中，对所述训练数据进行预处理，包括：获取所述训练数据中的图片，根据标注信息在图片中不同位置的物体标注出类型，将每张图片的预处理结果存储在向量中，其中，所述向量表示为：
[0012][(X
i
,y
i
),X
′
i
]＝[(X
i
,y
i
),(x
i1
,x
i2
,...,x
ij
)]，
[0013]其中，X
i
代表图片的原始信息，y代表对图片的分类，代表图片中某一物体标注框的坐标信息，y
ij
代表这个标注框的类别信息，i代表第i张图片，j代表图片中第j个物体，k代表标注框的第k个顶点。
[0014]进一步地，在本专利技术的一个实施例中，所述对节点进行标签分类，并对各类别的节点进行染色操作，包括：
[0015]对于所述特征提取网络中的卷积核，将每个卷积核与图片的原始信息进行卷积操作，并将卷积结果最大的区域作为节点的作用区域；
[0016]判断所述作用区域属于的标签框，将所述标签框的类别标签作为所述卷积核的标签类别；
[0017]将标签类别为图片分类的节点的值进行等比放大或缩小，确定分类结果为所述图片分类的数据在经过染色后的分类准确率的变化。
[0018]进一步地，在本专利技术的一个实施例中，在对各类别的节点进行染色操作之后，还包括：
[0019]获取待测试数据，将所述待测试数据输入至神经网络；
[0020]确定所述神经网络中节点的分类准确率的变化；
[0021]根据所述分类准确率的变化对所述节点进行操作，所述操作包括保留节点或者删除节点。
[0022]其中，根据所述分类准确率的变化对所述节点进行操作，包括：
[0023]若所述节点的分类准确率的变化为分类准确率提高或者不变，则保留所述节点；
[0024]否则，从所述神经网络中删除所述节点。
[0025]为达上述目的，本专利技术另一方面实施例提出了一种对神经网络中节点进行染色的装置，包括：第一获取模块，用于获取训练数据，并对所述训练数据进行预处理；处理模块，用于通过预设的特征提取网络提取预处理后的训练数据对应的特征，并通过话的分类网络对所述特征进行分类，输出所述分类对应的类别向量；存储模块，用于将所述特征提取网络和所述分类网络的节点参数按照顺序存储于预先建立的节点存储区；染色模块，用于遍历
所述节点存储区的节点信息，并对节点进行标签分类，并对各类别的节点进行染色操作。
[0026]本专利技术实施例提出的对神经网络中节点进行染色的装置，通过对节点进行染色处理，提高了深度神经网络的可解释性；提出的基于染色原理的神经网络，通过分析染色后节点网络的性能变化，移除不重要的节点，实现网络的简化；提出的明确网络中节点作用的模型，通过关注关键节点的变化，保证关键节点的稳定性，可以提高神经网络的可靠性和鲁棒性。
[0027]进一步地，在本专利技术的一个实施例中，所述染色模块，还用于：
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对神经网络中节点进行染色的方法，其特征在于，包括以下步骤：获取训练数据，并对所述训练数据进行预处理；通过预设的特征提取网络提取预处理后的训练数据对应的特征，并通过话的分类网络对所述特征进行分类，输出所述分类对应的类别向量；将所述特征提取网络和所述分类网络的节点参数按照顺序存储于预先建立的节点存储区；遍历所述节点存储区的节点信息，并对节点进行标签分类，并对各类别的节点进行染色操作。2.根据权利要求1所述的方法，其特征在于，对所述训练数据进行预处理，包括：获取所述训练数据中的图片，根据标注信息在图片中不同位置的物体标注出类型，将每张图片的预处理结果存储在向量中。3.根据权利要求2所述的方法，其特征在于，所述向量表示为：[(X
i
,y
i
),X
′
i
]＝[(X
i
,y
i
),(x
i1
,x
i2
,...,x
ij
)]，其中，X
i
代表图片的原始信息，y代表对图片的分类，代表图片中某一物体标注框的坐标信息，y
ij
代表这个标注框的类别信息，i代表第i张图片，j代表图片中第j个物体，k代表标注框的第k个顶点。4.根据权利要求1所述的方法，其特征在于，所述对节点进行标签分类，并对各类别的节点进行染色操作，包括：对于所述特征提取网络中的卷积核，将每个卷积核与图片的原始信息进行卷积操作，并将卷积结果最大的区域作为节点的作用区域；判断所述作用区域属于的标签框，将所述标签框的类别标签作为所述卷积核的标签类别；将标签类别为图片分类的节点的值进行等比放大或缩小，确定分类结果为所述图片分类的数据在经过染色后的分类准确率的变化。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，在对各类别的节点进行...

【专利技术属性】
技术研发人员：郭雨晨，戴琼海，丁贵广，
申请(专利权)人：清华大学，
类型：发明
国别省市：