一种基于信息相似度的门控记忆神经网络制造技术

本发明专利技术提出了一种全新的基于信息相似度的门控记忆神经网络模型。该模型设计了一种新的基于信息相似度的门控记忆单元，充分利用了底层网络模型提取的图像特征向量，并可以将图像特征信息进行类别化和记忆性存储与更新。该门控单元记忆的信息区别于传统RNN网络的隐含记忆，更具有表述性并能被存储化。克服了传统卷积神经网络提取的特征依赖对应图像而出现个体化的缺点，克服了循环神经网络只能形成一种类似于记忆的训练机制而不能存储更新类别特征记忆本身的缺点。本发明专利技术利用IBS距离度量方法设计损失函数赋予记忆单元类别属性，并使用IBS算法设计了门控记忆单元的迭代记忆存储函数，能够对图像类别特征的记忆库进行长期存储和更新。另外，该网络把类别记忆和图像本身个体特征结合参与网络分类训练，记忆的参与提升了网络分类准确率。经过测试，该网络在图像分类方面有非常强的准确度与适用性。分类方面有非常强的准确度与适用性。分类方面有非常强的准确度与适用性。

【技术实现步骤摘要】
一种基于信息相似度的门控记忆神经网络


[0001]本专利技术涉及深度学习、卷积神经网络，IBS算法在图像特征记忆和分类方向的创新。

技术介绍

[0002]随着人工智能的逐渐发展，机器学习和AI技术已经在现代医疗中发挥越来越重要的作用。借助神经网络来协助医生分析医疗数据中患者的病情，例如诊断数据，病理图像以及过往病史等，是智能医疗中一个非常重要的手段。
[0003]在神经网络分析医学图像领域，分类网络特别是医学图像处理相关的分类网络，大规模的医学数据是研究的基础。在一般情况下，大数据不能在短时间内获取，必须经过长时间的积累。数据通常包含了图片或者文字和标签。但由于医学数据相对庞杂，数据库中往往有大量的数据缺乏对应的真实标签。普通的数据可以通过未经专业训练的普通人士打标，但是医学数据需要专业知识，甚至生理病理等数据一起诊断决策，这导致给数据赋予标签非常困难，并极度依赖医生、物理师等专业人才。因为同一类数据之间有共同特征，如果神经网络对同一类数据的特征实现一种特殊地“记忆性”提取和识别方式，会对无标签数据的利用起到很大帮助，帮助进一步解决医学图像数据和标签数量不平衡的问题。
[0004]所谓“记忆”就是能涵括同类别数据的主要特征信息。传统的CNN分类网络是利用卷积层和全连接层搭建神经网络，通过卷积层和池化层不断将图像的特征提取，利用最大化特征的手段来达到图像分类的目的。但是这样的网络对图像的特征只是批次性使用，并没有保留。
[0005]另外，同一类别图像之间是有相似度关联的，先进行训练提取的图像特征可以帮助提升后进入的图像分类效果。于是就出现了RNN网络及其变种。RNN设计了一种循环机制，能处理好数据输入在时间序列上的关系，将时间序列上的信息融入特征中去。但是RNN只能在先后序列上传递时间联系和上下文关系，其中图像数据的特征是不透明的，图像本身的类别特征信息不能进行更新存储。
[0006]传统深度学习算法更关注优势特征，而在很多特征相近数据中常出现优势特征显著性不足的问题。IBS(Information
‑
Based Similarity)算法是基于信息的相似性指数对符号序列间距离测量的一种分析，能够较好地对比两个系统的相似程度，对优势特征不显著的图像分类有更好的适应性。
[0007]本专利技术利用IBS算法设计了一种门控记忆单元来实现图像特征提取后不能长期性存储和更新的问题，并且该门控记忆单元可以提供特征的“记忆”信息参与到网络分类中提升网络分类准确率。
[0008]传统的记忆网络LSTM采用的是具有记忆的隐含层单元，这种网络的记忆称之为神经记忆，在生理上类似于感知记忆，比如说眼睛看到之后传输给大脑，不需要经过思考，比如反射性记忆，这种更像是神经元连接之间的记忆，它是不透明的，并且不能表征和量化。而本专利技术设计的门控记忆单元存储的记忆是类似于人体的陈述性记忆(需要经过人脑思考
和意识的参与才能提取)，更明显化和更具概括性。这种记忆单元能够对类别特征记忆进行存储更新，并且参与到网络训练中能提升网络分类准确率，而不是像RNN只是把含有上下文关系的记忆放在神经网络中。如果单纯地把CNN的特征向量或RNN的时间序列信息输出保存，并不能说是保存了图像特征“记忆”，只能说是保存了一组如何计算最大特征的数据和隐晦的关于时间的上下文关系信息，并且同类别的不同样本得到数据也会不同。而本专利技术的设计门控记忆单元是利用信息相似度算法对类别特征本身进行提取保留，迭代更新，是可以涵括图像整个类别的特征信息，可以称之为图像的类别特征“记忆”。

技术实现思路

[0009]本专利技术的目的在于解决图像特征提取后，特征记忆信息不能长期性存储和更新的问题。将底层网络模型提取的特征信息实现特征类别化，利用信息相似度算法提取，形成类似于陈述性记忆的记忆信息，并进行存储和迭代更新，该记忆提供的类别特征信息也同时能使网络分类准确率得到一定程度的提升。本专利技术提出的基于IBS算法的记忆神经网络提供了一种新的图像特征信息的利用方式和记忆方式，既克服了传统卷积神经网络提取的特征太单独化的缺点，又克服了循环神经网络只能形成一种类似于记忆的训练机制而不能存储更新类别特征记忆本身的缺点，本专利技术同时也为解决医学数据和对应标签数量不平衡问题提供一种无监督学习信息。
[0010]本专利技术在图像分类和特征记忆问题上的解决方案主要分为四个部分：第一、利用可替换的底层网络模块，对图像的类别特征进行提取。第二，使用设计的IGM记忆单元，运用IBS 算法，对底层网络提取的类别特征进行对类存储和迭代更新，实现类别特征信息的记忆。第三、使用FCN层连接记忆层与特征提取层，将类别特征信息融入图像特征向量，实现对图像的分类，增强分类效果。第四、网络总的损失函数不只是由FCN后的softmax损失决定，我们将记忆更新存储计算时的IBS损失计入总的损失函数，促进记忆模块和特征提取模块的共同一致性收敛。
[0011]本专利技术解决问题需要经过四个步骤。第一个是底层网络的选取，因为底层网络选取的现有已很成熟的网络模型，例如Resnet、Vgg net和Alexnet等等，并且不同模型还有不同层数的版本，底层网络的选取并不是选取单独分类效果最好的，而是需要选择在IGM网络中分类效果发挥最好、对记忆迭代存储最适合的模型卷积子层作为底层网络。第二个是记忆模块的记忆单元层数的设置，本专利技术的记忆单元最简单的设置是单个单元记忆单个类别的特征，而我们使用多少层数能使一个类别的特征能达到最好的记忆效果是需要实验的：太少的层数会造成类别特征的不完全记忆，分类器不能很好的取到自己需要的记忆；而太多的层数会导致很多层数没记忆到信息，并且网络训练会变慢也导致了空间的资源的过多浪费。第三个是 IBS算法在记忆模块的运用，我们提取记忆在迭代存入记忆单元之前需要对该批次中的每个图像标签与各记忆单元进行DisIBS计算，使属于本类的图像特征进入对应类进行记忆混卷存储，而不属于本类的图像应对本类的记忆单元的混卷影响极其微小甚至没有影响。这样在迭代记忆存储更新的过程中，才能保证每一个记忆单元能存储只属于自己这类的特征记忆，而不会导致特征记忆混乱。第四个是总损失函数中各个子损失的回传比例的设计需要合理，因为softmax损失和IBS损失的收敛点并不一致，所以并不一定会同时达到收敛效果最好的点，如果各损失的权重设置不合理的话，很可能会出现在鞍点之
间来回跳跃不能达到最好的收敛效果。
[0012]本专利技术的有益效果是该网络的结构能使的无论数据集中各个类别数据样本的多少，只要合理设置记忆单元的记忆层数，都能对类别特征达到一定程度上的良好记忆效果。同时因为该网络结合了FCN(或多层感知机)，也能进行未知图片的分类预测。由于我们记忆分类使用的IBS距离进行计算而不是欧几里得距离等，所以记忆单元存储的记忆不会因为某一类包含图片的图像结构和元素位置的变换过大而急剧变化，基于信息相似度的公式能对该类别的特征达到一种概括性的记忆存储，当然也会在医学数据上比一般的最大化特征网络有更好的适用性。测试表明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明公开了一种基于信息相似度的门控记忆神经网络模型，其特征在于能对图像特征类别化并进行一种记忆性的长期存储和更新，将底层网络模型输出的特征向量和类别记忆进行结合和对记忆程度的量化，基于量化结果定制损失函数。基于这个方法训练的网络在分类问题上具有很强的准确率。2.根据权利要求1所述的一种基于信息相似度的门控记忆神经网络模型，其特征在网络设计的记忆迭代存储的机制，它通过IBS距离作为门控开关，设计了新的记忆单元函数，实现对图像分类特征的一种类似于记忆的存储，设计的迭代算法实现了对记忆的更新。这提供了一种图像类别特征的记忆化方法。3.根据权利要求1所述的一种基于信息相似度的...

【专利技术属性】
技术研发人员：曾仲麟，陈颖，仓锡惠，葛云，
申请(专利权)人：南京大学，
类型：发明
国别省市：