基于生成式对抗网络的医学信息跨模态哈希编码学习方法技术

本发明专利技术涉及一种基于生成式对抗网络的医学信息跨模态哈希编码学习方法，属于医疗信息处理与信息检索技术领域。本发明专利技术采用生成式对抗网络学习胸部CT图像与文本的哈希编码，并通过语义相似矩阵对学习到的哈希码进行约束。最终学习出准确的哈希编码，成功实现两种模态间的语义关联。本发明专利技术在单层细粒度的肺结节特征基础上，提取出三维肺结节更完整的特征信息，采用本发明专利技术中有监督的训练方式得到的哈希编码生成模型，在跨模态检索中实现了较好的准确率。

Learning method of medical information cross mode hash code based on generative adversary network

【技术实现步骤摘要】
基于生成式对抗网络的医学信息跨模态哈希编码学习方法
本专利技术涉及基于生成式对抗网络的医学信息跨模态哈希编码学习方法，属于医疗信息处理与信息检索

技术介绍
通过深度学习的方法进行计算机辅助诊断的研究，去解决一些医疗领域中的问题，已经被越来越多的研究者和医生所关注，而肺癌是目前研究最为广泛的疾病之一。放射科医生通过胸部CT图像检筛查结节的形式对早期肺癌进行检测，并将检测结果以文本形式进行保存，作为临床医生的诊断依据。早期，对肺结节恶性程度的诊断主要通过设置阈值，并观察结节不同时间结节体积的变化，最后通过一种标准公式来评估出结节增长率的方式进行诊断。目前，针对医学领域内较为常用的医学图像、文本这两种最基本的模态数据，学者开展了多模态检索研究和跨模态研究，主流方法有以下几种。利用CCA学习图像模态、文本模态的相关性匹配，并结合语义匹配提高跨模态检索的性能。应用KCCA提出了一种跨模态相关学习框架，使用超链接信息来提高相关学习模型的性能。提出一种深度典型相关性分析模型DCCA，通过深度神经网络学习了两组媒体数据基于最大相关的非线性映射，使得具有相关性的不同媒体在同构空间中的特征表示具有较强的一致性。提出一种三视角的核CCA方法，通过引入第三种高层语义的视角信息，使得具有相同语义的文本和图像在同构空间中具有良好的聚集性。基于文本、基于内容的医学图像检索均为单模态检索，仅能依靠单一模态的语义信息、甚至是标注信息进行模态数据间的检索，不能充分利用不同模态间隐藏的语义信息，而上述现有的基于深度学习的跨模态检索方法，在模态间的关联问题上，尚不能实现很好的语义关联。本专利技术正是为了解决上述问题而提出的一种基于生成式对抗网络的医学信息跨模态哈希编码学习方法。
技术实现思路
本专利技术提供了基于生成式对抗网络的医学信息跨模态哈希编码学习方法，针对肺结节的图像及其对应的病理信息的文本描述，开展跨模态哈希检索方法研究。本专利技术采用生成式对抗网络学习胸部CT图像与文本的哈希编码，并通过语义相似矩阵对学习到的哈希码进行约束。最终学习出准确的哈希编码，成功实现两种模态间的语义关联。本专利技术的技术方案是：一种基于生成式对抗网络的医学信息跨模态哈希编码学习方法，所述方法的具体步骤如下：Step1、对胸部CT图像-文本数据进行特征提取；首先进行胸部CT图像预处理，切割出ROI图像块，然后分别从ROI图像块和胸部CT图像-文本数据通过CMSFF模型和词袋模型提取出图像特征和文本特征；Step2、构建判别器的约束条件；学习哈希码的判别器子模块同时接收两个输入，分别是前一个子模块的图像特征向量和文本特征向量，此处分别将图像特征和文本特征作为真实数据和生成数据，并且以相似矩阵对判别器进行约束，用来监督后续步骤得到的哈希编码的准确性；Step3、判别器中进行对抗性学习；生成式对抗网络中，判别器通过不断的判断输入样本是真实数据还是生成器产生的生成数据，将得到的判别结果反馈给生成器，促使生成器不断的调整参数，学习真实数据的概率分布；其中利用对抗性学习调整网络参数；Step4、哈希编码学习；首先将提取到的连续的样本特征通过sign操作得到一组离散的值，得到图像和文本对应的特征矩阵；再通过相似矩阵进行约束，使得同一对象的不同模态的哈希编码尽可能的相近，而不同对象的哈希编码尽量不同；Step5、进行训练，优化网络参数；在哈希编码的学习过程中，分别对特征生成器和判别器进行迭代优化；优化模型中的生成器参数θp,t、判别器参数θD和模型训练过程中的二值编码参数B；通过GANHL模型学习出不同模态的哈希编码存储于哈希编码数据库，同时得到一个训练好的模型用于跨模态检索系统；Step6、根据病理文本或ROI图像信息检索出对应的胸部CT图像-文本信息，实现跨膜态检索。进一步地，所述Step1的具体步骤如下：Step1.1、首先进行数据预处理；对于图像数据集，为了避免直接从512*512的尺寸压缩到224*224造成像素的损失，采用对原始CT图像进行切割的方法；根据切片上肺结节的直径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域RegionOfInterest,ROI图像块；对于文本数据集，放射科医生对肺结节的病理信息描述通常采用固定的词语，这些词语分别对应了不同的病理级别；由于这样的词语不需要考虑词与词之间的先后顺序，所以不需要进行文本预处理，直接使用词袋模型提取文本特征；Step1.2、胸部CT图像特征提取；采用基于卷积神经网络多层面二阶特征融合模型CMSFF提取图像特征；对3个层面的ROI图像块分别进行特征提取，将同一结节的不同层面提取到的特征信息进行融合，以弥补单个层面的切片特征信息表达不完整的不足，最终提高局部肺结节的特征表达能力；模型的输入是同一个肺结节的连续三张不同ROI图像块，输出是肺结节的特征向量；Step1.3、肺结节病理信息文本特征提取；将肺结节的病理描述特征词语yj用词袋模型表示其向量fj，该词袋向量输入一个由两层全连接层构成的多层感知机网络中，两层全连接层fc1和fc2，其中fc1具有4096层，fc2的层数为所要生成的哈希编码的长度h；将文本特征提取网络作为文本特征生成器，输出文本的特征向量。进一步地，所述Step2的具体步骤如下：Step2.1、相似矩阵在跨模态哈希检索中，对哈希编码的生成起着监督的作用；针对肺结节和文本之间的跨模态检索，其相似矩阵直接通过基于胸部肺结节的病理信息标注的类别标签进行构建；构建相似矩阵时，将输入的一个三元组视为一个样本；由于每个样本对应有9个类别的病理信息，统计每个样本的9个类别的标注，共得到32个类别标注信息；Step2.2、将每个样本的标注信息one-hot成01向量Li，若Li中第k个位置为0，表示Li没有该标注信息，否则有该标注信息，其中Li的长度m为32，假如样本数量为n，构建样本的标签矩阵LAlln×m，于是相似矩阵S能通过如下式子得到：S＝LAll×LAllT＞0，且S的大小为n×n；Step2.3、再利用得到的相似矩阵S对判别器进行约束，用来监督后续步骤得到的哈希编码的准确性。进一步地，所述Step3的具体步骤如下：Step3.1、输入到判别器中的分别是图像的特征表达和文本的特征表达；从肺结节的图像所提取的特征比从病理文本提取的特征更具有表达性，所以将图像的特征信息作为生成器的真实的训练数据Fp，文本的特征向量作为生成器的生成特征Fg；Step3.2、将Step3.1中得到的Fp与Fg作为判别器的输入，判别器判断输入样本是否为真实数据，再将判别结果反馈给生成器；生成器根据判别结果，通过最小化损失函数调整自身参数，以学习到真实数据的概率分布；其中，损失函数为：LD＝-(log(1-sigmoid(Fg))+logsigmoid(Fp))Step3.3、特别地，在判别器中设置一个判别门限的阈值g，当生成的特征在判别器中经过g次仍然达不到最本文档来自技高网...

【技术保护点】
1.基于生成式对抗网络的医学信息跨模态哈希编码学习方法，其特征在于：所述方法的具体步骤如下：/nStep1、对胸部CT图像-文本数据进行特征提取；首先进行胸部CT图像预处理，切割出ROI图像块，然后分别从ROI图像块和胸部CT图像-文本数据通过CMSFF模型和词袋模型提取出图像特征和文本特征；/nStep2、构建判别器的约束条件；学习哈希码的判别器子模块同时接收两个输入，分别是前一个子模块的图像特征向量和文本特征向量，此处分别将图像特征和文本特征作为真实数据和生成数据，并且以相似矩阵对判别器进行约束，用来监督后续步骤得到的哈希编码的准确性；/nStep3、判别器中进行对抗性学习；生成式对抗网络中，判别器通过不断的判断输入样本是真实数据还是生成器产生的生成数据，将得到的判别结果反馈给生成器，促使生成器不断的调整参数，学习真实数据的概率分布；其中利用对抗性学习调整网络参数；/nStep4、哈希编码学习；首先将提取到的连续的样本特征通过sign操作得到一组离散的值，得到图像和文本对应的特征矩阵；再通过相似矩阵进行约束，使得同一对象的不同模态的哈希编码尽可能的相近，而不同对象的哈希编码尽量不同；/nStep5、进行训练，优化网络参数；在哈希编码的学习过程中，分别对特征生成器和判别器进行迭代优化；优化模型中的生成器参数θ...

【技术特征摘要】
1.基于生成式对抗网络的医学信息跨模态哈希编码学习方法，其特征在于：所述方法的具体步骤如下：
Step1、对胸部CT图像-文本数据进行特征提取；首先进行胸部CT图像预处理，切割出ROI图像块，然后分别从ROI图像块和胸部CT图像-文本数据通过CMSFF模型和词袋模型提取出图像特征和文本特征；
Step2、构建判别器的约束条件；学习哈希码的判别器子模块同时接收两个输入，分别是前一个子模块的图像特征向量和文本特征向量，此处分别将图像特征和文本特征作为真实数据和生成数据，并且以相似矩阵对判别器进行约束，用来监督后续步骤得到的哈希编码的准确性；
Step3、判别器中进行对抗性学习；生成式对抗网络中，判别器通过不断的判断输入样本是真实数据还是生成器产生的生成数据，将得到的判别结果反馈给生成器，促使生成器不断的调整参数，学习真实数据的概率分布；其中利用对抗性学习调整网络参数；
Step4、哈希编码学习；首先将提取到的连续的样本特征通过sign操作得到一组离散的值，得到图像和文本对应的特征矩阵；再通过相似矩阵进行约束，使得同一对象的不同模态的哈希编码尽可能的相近，而不同对象的哈希编码尽量不同；
Step5、进行训练，优化网络参数；在哈希编码的学习过程中，分别对特征生成器和判别器进行迭代优化；优化模型中的生成器参数θp,t、判别器参数θD和模型训练过程中的二值编码参数B；通过GANHL模型学习出不同模态的哈希编码存储于哈希编码数据库，同时得到一个训练好的模型用于跨模态检索系统；
Step6、根据病理文本或ROI图像信息检索出对应的胸部CT图像-文本信息，实现跨膜态检索。


2.根据权利要求1所述的基于生成式对抗网络的医学信息跨模态哈希编码学习方法，其特征在于：所述Step1的具体步骤如下：
Step1.1、首先进行数据预处理；对于图像数据集，为了避免直接从512*512的尺寸压缩到224*224造成像素的损失，采用对原始CT图像进行切割的方法；根据切片上肺结节的直径不同，切割出尺寸为R＝{16*16,32*32,64*64,128*128}的感兴趣区域RegionOfInterest,ROI图像块；对于文本数据集，放射科医生对肺结节的病理信息描述通常采用固定的词语，这些词语分别对应了不同的病理级别；由于这样的词语不需要考虑词与词之间的先后顺序，所以不需要进行文本预处理，直接使用词袋模型提取文本特征；
Step1.2、胸部CT图像特征提取；采用基于卷积神经网络多层面二阶特征融合模型CMSFF提取图像特征；对3个层面的ROI图像块分别进行特征提取，将同一结节的不同层面提取到的特征信息进行融合，以弥补单个层面的切片特征信息表达不完整的不足，最终提高局部肺结节的特征表达能力；模型的输入是同一个肺结节的连续三张不同ROI图像块，输出是肺结节的特征向量；
Step1.3、肺结节病理信息文本特征提取；将肺结节的病理描述特征词语yj用词袋模型表示其向量fj，该词袋向量输入一个由两层全连接层构成的多层感知机网络中，两层全连接层fc1和fc2，其中fc1具有4096层，fc2的层数为所要生成的哈希编码的长度h；将文本特征提取网络作为文本特征生成器，输出文本的特征向量。


3.根据权利要求1所述的基于生成式对抗网络的医学信息跨模态哈希编码学习方法，其特征在于：所述Step2的具体步骤如下：
Step2.1、相似矩阵在跨模态哈希检索中...

【专利技术属性】
技术研发人员：黄青松，贺周雨，赵晓乐，刘利军，冯旭鹏，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南;53