基于生理指标和影像融合的肝肿瘤自动分类方法及装置制造方法及图纸

基于生理指标和影像融合的肝肿瘤自动分类方法及装置，能够面向不同患者进行识别时有良好的鲁棒性，无需人为设计复杂的特征提取算法，实现全自动特征学习和提取，对胆管细胞癌和肝细胞癌在影像上的特征表现差异和在生理指标上表现差异进行联合学习和挖掘，提高模型的识别准确率。方法包括：构建胆管细胞癌和肝细胞癌的影像及其生理指标数据库，采集患者的腹部CT影像及医生记录的相应生理指标；对采集的所有影像数据进行标注，勾画出其中的肝脏组织区域并判断其属于胆管细胞癌还是肝细胞癌，做好标注，以此作为网络训练的金标准；构建一个三维全卷积神经网络分割模型；构建一个基于影像和生理指标相融合的深度卷积神经网络分类模型。

Automatic classification method and device of liver tumor based on physiological index and image fusion

【技术实现步骤摘要】
基于生理指标和影像融合的肝肿瘤自动分类方法及装置
本专利技术涉及医学图像处理的
，尤其涉及一种基于生理指标和影像融合的肝肿瘤自动分类方法，以及基于生理指标和影像融合的肝肿瘤自动分类装置，主要适用于基于计算机辅助诊断的肝癌识别研究领域。
技术介绍
近年来，我国胆管细胞癌的发病率逐年上升，胆管细胞癌隶属于肝癌，其临床表现与肝细胞癌十分相似，在临床诊断中常被误诊为是肝细胞癌，但针对两者的治疗策略却大不相同，因此很多实为胆管细胞癌的患者却接受了肝细胞癌的手术治疗，既没有达到预期效果，还浪费了诸多医疗资源。此外，胆管细胞癌很难在早期被发现，多数患者在确诊时已错过了最佳治疗时机，因此实现胆管细胞癌的早期确诊具有重要的临床意义。通常情况下，为了确诊患者是否患有胆管细胞癌，常常需要对病患部位进行多种模态的成像扫描检查，每一种模态下的切片数量众多，诊断十分耗时耗力，且由于胆管细胞癌与肝细胞癌的外观表现较为相似，导致医生难以得出明确的诊断结果，这就需要对患者进行病理穿刺活检才能最终确诊，给患者带来额外的风险与痛苦。基于人工智能方法进行肝癌辅助识别有助于解决以上临床问题，因此，这也成为了近年来医学图像处理领域的研究热点。目前，有研究团队提出使用传统机器学习和深度学习方法来实现肝癌识别的技术。基于传统机器学习的识别方法是通过手动设计一些提取肝癌特征的算法，然后用提取得到的特征训练分类器，以此得到一个特征识别模型。由于分类器是基于手动提取到的肝癌特征设计的，因此，特征提取算法设计的准确与否，往往直接影响最终的识别性能，并且，不同种类的肝癌呈现出的特征差异较大，手动设计的特征提取算法往往很难达到令人满意的识别效果。传统机器学习方法普遍存在抗噪性差、识别精度低等问题，基于深度学习的识别方法与传统机器学习识别方法最显著的差别是其可以利用标注好的数据自动进行特征提取，无需手动设计复杂的特征提取算法。因此，越来越多的研究团队开始投入到基于人工智能的胆管细胞癌和肝细胞癌识别算法开发中。然而，目前所报导的人工智能肝癌识别模型都只是基于纯影像学信息开发得到的，没有将患者的生理指标考虑进去。然而在临床实践中，当医生查看影像数据无法做出准确判断的时候，往往需要借助患者的生理指标等信息来进行综合决策，方可确诊。由此可见，现有识别方法虽受到了广泛关注并取得了一定的研究成果，但仍存在以下缺点：1、不同患者肿瘤的尺寸、形状、位置各不相同，给传统识别方法带来了挑战。2、基于传统机器学习的识别方法需要手动设计不同种类肝癌的特征提取方法，方法设计的好坏直接影响到最终的识别性能。3、现有深度网络识别模型都是基于影像数据开发得到的，此类数据能够反应出的肿瘤特征信息有限，未综合利用患者的生理指标来提高识别率。因而，基于影像和生理指标相融合的胆管细胞癌和肝细胞癌自动识别方法须达到以下要求：(1)面向不同患者进行识别时需有良好的鲁棒性；(2)无需人为设计复杂的特征提取算法，实现全自动特征学习和提取；(3)可以对胆管细胞癌和肝细胞癌在影像上的特征表现差异和在生理指标上如生化指标含量、肿瘤标志物等特征表现差异进行联合学习和挖掘，提高模型的识别准确率。
技术实现思路
为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种基于生理指标和影像融合的肝肿瘤自动分类方法，其能够面向不同患者进行识别时有良好的鲁棒性，无需人为设计复杂的特征提取算法，实现全自动特征学习和提取，可以对胆管细胞癌和肝细胞癌在影像上的特征表现差异和在生理指标上如生化指标含量、肿瘤标志物等特征表现差异进行联合学习和挖掘，提高模型的识别准确率。本专利技术的技术方案是：这种基于生理指标和影像融合的肝肿瘤自动分类方法，其包括以下步骤：(1)构建胆管细胞癌和肝细胞癌的影像及其生理指标数据库，采集患者的腹部CT影像及医生记录的相应生理指标；(2)对采集的所有影像数据进行标注，勾画出其中的肝脏组织区域并判断其属于胆管细胞癌还是肝细胞癌，做好标注，以此作为网络训练的金标准；(3)构建一个三维全卷积神经网络分割模型，以步骤(2)中标注好肝脏区域的胆管细胞癌和肝细胞癌影像数据作为模型的输入进行学习，让模型全自动的学习提取肝脏组织的特征，从而将其从整个腹部扫描影像中分割出来，作为后续肝癌识别的感兴趣区域；(4)构建一个基于影像和生理指标相融合的深度卷积神经网络分类模型，对胆管细胞癌和肝细胞癌两类肝癌的影像信息及能在生理指标上显著区分两者差异的信息进行学习训练，通过使用相应的转换函数，将已有两类肝癌的生理指标投射成数字矩阵，与用来进行影像学特征提取的卷积神经网络中的全连接层联结后进行融合训练。本专利技术通过利用深度学习中的卷积神经网络技术，配合经医生确诊的胆管细胞癌和肝细胞癌两类肝癌在影像上的特征表现差异和在生理指标上如生化指标含量、肿瘤标志物等特征表现差异信息输入到模型中进行融合学习与训练，使模型能充分挖掘胆管细胞癌和肝细胞癌在影像上和生理指标上的特征表现，因此能够面向不同患者进行识别时有良好的鲁棒性，无需人为设计复杂的特征提取算法，实现全自动特征学习和提取，可以对胆管细胞癌和肝细胞癌在影像上的特征表现差异和在生理指标上如生化指标含量、肿瘤标志物等特征表现差异进行联合学习和挖掘，提高模型的识别准确率。还提供了基于生理指标和影像融合的肝肿瘤自动分类装置，其包括：数据库构建和生理指标采集模块，其构建胆管细胞癌和肝细胞癌的影像及其生理指标数据库，采集患者的腹部CT影像及医生记录的相应生理指标；标注模块，其对采集的所有影像数据进行标注，勾画出其中的肝脏组织区域并判断其属于胆管细胞癌还是肝细胞癌，做好标注，以此作为网络训练的金标准；三维全卷积神经网络分割模型构建模块，其构建一个三维全卷积神经网络分割模型，以标注好肝脏区域的胆管细胞癌和肝细胞癌影像数据作为模型的输入进行学习，让模型全自动的学习提取肝脏组织的特征，从而将其从整个腹部扫描影像中分割出来，作为后续肝癌识别的感兴趣区域；深度卷积神经网络分类模型构建模块，其构建一个基于影像和生理指标相融合的深度卷积神经网络分类模型，对胆管细胞癌和肝细胞癌两类肝癌的影像信息及能在生理指标上显著区分两者差异的信息进行学习训练，通过使用相应的转换函数，将已有两类肝癌的生理指标投射成数字矩阵，与用来进行影像学特征提取的卷积神经网络中的全连接层联结后进行融合训练。附图说明图1是根据本专利技术的基于生理指标和影像融合的肝肿瘤自动分类方法的流程图。图2是根据本专利技术的影像和生理指标融合引导的卷积神经网络肝癌识别模型建立流程图。图3是根据本专利技术的影像和生理指标融合的具体示意图。具体实施方式如图1所示，这种基于生理指标和影像融合的肝肿瘤自动分类方法，其包括以下步骤：(1)构建胆管细胞癌和肝细胞癌的影像及其生理指标数据库，采集患者的腹部CT影像及医生记录的相应生理指标；(2)对采集的所有影像数据进行标注，勾画出其中的肝脏组织区域并判断其属于本文档来自技高网...

【技术保护点】
1.基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：其包括以下步骤：/n(1)构建胆管细胞癌和肝细胞癌的影像及其生理指标数据库，采集患者的腹部CT影像及医生记录的相应生理指标；/n(2)对采集的所有影像数据进行标注，勾画出其中的肝脏组织区域并判断其属于胆管细胞癌还是肝细胞癌，做好标注，以此作为网络训练的金标准；/n(3)构建一个三维全卷积神经网络分割模型，以步骤(2)中标注好肝脏区域的胆管细胞癌和肝细胞癌影像数据作为模型的输入进行学习，让模型全自动的学习提取肝脏组织的特征，从而将其从整个腹部扫描影像中分割出来，作为后续肝癌识别的感兴趣区域；/n(4)构建一个基于影像和生理指标相融合的深度卷积神经网络分类模型，对胆管细胞癌和肝细胞癌两类肝癌的影像信息及能在生理指标上显著区分两者差异的信息进行学习训练，通过使用相应的转换函数，将已有两类肝癌的生理指标投射成数字矩阵，与用来进行影像学特征提取的卷积神经网络中的全连接层联结后进行融合训练。/n

【技术特征摘要】
1.基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：其包括以下步骤：
(1)构建胆管细胞癌和肝细胞癌的影像及其生理指标数据库，采集患者的腹部CT影像及医生记录的相应生理指标；
(2)对采集的所有影像数据进行标注，勾画出其中的肝脏组织区域并判断其属于胆管细胞癌还是肝细胞癌，做好标注，以此作为网络训练的金标准；
(3)构建一个三维全卷积神经网络分割模型，以步骤(2)中标注好肝脏区域的胆管细胞癌和肝细胞癌影像数据作为模型的输入进行学习，让模型全自动的学习提取肝脏组织的特征，从而将其从整个腹部扫描影像中分割出来，作为后续肝癌识别的感兴趣区域；
(4)构建一个基于影像和生理指标相融合的深度卷积神经网络分类模型，对胆管细胞癌和肝细胞癌两类肝癌的影像信息及能在生理指标上显著区分两者差异的信息进行学习训练，通过使用相应的转换函数，将已有两类肝癌的生理指标投射成数字矩阵，与用来进行影像学特征提取的卷积神经网络中的全连接层联结后进行融合训练。


2.根据权利要求1所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(3)中，将步骤(1)中采集的腹部影像数据输入到网络中进行学习训练，并将此网络的分割结果与提供的肝脏金标准相比较，计算相应的loss值并反馈到网络中更新权重参数，优化模型训练。


3.根据权利要求2所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(4)中，将步骤(3)中输出的肝脏组织影像作为网络的输入进行学习训练，并在网络的全连接层处插入一个由肝癌患者的生理指标转化而来的数字矩阵，将两者进行联结，实现肝癌的影像和生理指标特征的融合训练，然后将网络的预测结果和提供的肝癌类别金标准相比较，计算相应的loss值并反馈到网络中更新权重参数，优化模型训练，从而得到能全自动识别胆管细胞癌和肝细胞癌这两类肝癌的模型。


4.根据权利要求3所述的基于生理指标和影像融合的肝肿瘤自动分类方法，其特征在于：所述步骤(4)包括以下分步骤：
(4.1)将经全卷积神经网络分割得到的肝脏感兴趣区域影像输入1个7*7*7的卷积层1中用来提取胆管细胞癌和肝细胞癌的相应特征；
(4.2)将步骤(4.1)中的的输出特征图输入一个池化层1中进行缩放，在保证不降低步骤一提取出来的特征图分辨率的情况下减小其尺寸，减少网络训练的参数量；
(4.3)将上面步骤的输出特征图...

【专利技术属性】
技术研发人员：宋红，陈磊，杨健，艾丹妮，范敬凡，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11