一种基于深度学习的多模态医学影像识别方法及装置制造方法及图纸

本发明专利技术提供一种基于深度学习的多模态医学影像识别方法，包括：基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像在同一三维空间内显示，基于多模态医学影像利用R‑CNN，识别多模态医学影像中的病变区域，根据病变区域在多模态医学影像中的坐标在同一三维空间内显示病变体，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。本发明专利技术提供一种基于深度学习的多模态医学影像识别装置，包括：多模态医学影像显示模块，病变区域检测模块，病变体显示模块，预设病种发生概率模块。本发明专利技术实现了医学影像中病变区域的自动识别，并为医生的进一步诊断提供了有效的参考数据。

Multi modality medical image recognition method and device based on depth learning

The invention provides a deep learning medical image recognition based on multi modal method, including: multi modality medical imaging with a part to be detected using the registration method of multi modality medical images in the same 3D display based on multi modality medical images using the R based on CNN, the lesion recognition of multi modality medical imaging in. According to the coordinates of the lesion at the multimodality medical image display in the body of the lesion in the same three-dimensional space, according to the corresponding lesions diagnosed by image block using dense sampling method and CNN for each disease probability of default. The invention provides a medical image recognition device based on multi modal, deep learning include: multi modality medical image display module, lesion detection module, the body of the lesion in the display module, the probability of default type module. The invention realizes automatic identification of diseased areas in medical images, and provides effective reference data for further diagnosis of doctors.

【技术实现步骤摘要】
一种基于深度学习的多模态医学影像识别方法及装置
本专利技术涉及图像处理领域，更具体地，涉及基于深度学习的多模态医学影像识别方法及装置。
技术介绍
目前，随着精准医疗及大数据时代的来临，除了诊断文字信息外，影像数据的分析及应用已经成为临床医学更为核心的环节之一。医护人员根据需要对这些医学影像进行人工识别，以对相应病患进行诊断。由于医院每日的医学影像数量成千上万，工作量极大，诊断效率较低。为了减少医护人员的工作量，现急需一种医学影像识别方法。中国专利技术专利“CN104866727A基于深度学习对医疗数据进行分析的方法及其智能分析仪”通过深度学习的方法对文本诊断数据及二维图像数据进行了分析，提供了基于深度神经网络对医疗数据进行科学分析的方法并专利技术了一种计算机装置为医院及医学机构更好的服务。该专利技术中采用了深度神经网络的对文字信息和图像信息进行了训练，从而为医生减轻负担，辅助医生做出正确的判断。但该专利技术仍存在以下问题：其一，虽然考虑了文字信息与医学影像信息的关联，但未考虑多类医学影像在空间位置上的关系；其二，虽然影像数据通过深度神经网络进行了分析，但是算法没有进行改良，在不同大小图像进行统一尺寸输入的时候，丢失了很多信息，在实际使用时不能很好的得到精度；其三，缺少临床决策功能。由于文中的医疗文本数据与二维影像数据之间的逻辑关系、及信息融合的方法并不明确。
技术实现思路
本专利技术提供一种克服上述问题或者至少部分地解决上述问题的基于深度学习的多模态医学影像识别方法及装置。根据本专利技术的一个方面，提供一种基于深度学习的多模态医学影像识别方法，该方法包括：S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；S2，基于所述多模态医学影像利用RegionswithConvolutionalneuralnetwork(R-CNN)，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和ConvolutionalNeuralNetwork(CNN)获取各预设病种的发生概率。根据本专利技术的另一个方面，提供一种基于深度学习的多模态医学影像识别装置，该装置包括：多模态医学影像显示模块，用于基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；病变区域检测模块，用于基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；病变体显示模块，用于根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；预设病种发生概率模块，用于根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。本申请提出的基于深度学习的多模态医学影像识别方法，通过基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过基于多模态医学影像利用R-CNN，识别多模态医学影像中的病变区域，获取病变区域对应的图像块以及病变区域在多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，根据病变区域在多模态医学影像中的坐标在在同一三维空间内显示病变体，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。附图说明图1为根据本专利技术实施例基于深度学习的多模态医学影像识别方法的流程图；图2为本专利技术本实施例肺部CT影像和X射线影像在同一三维空间内显示的示意图；图3为根据本专利技术实施例获取的ROI区域或疑似ROI区域示意图；图4为根据本专利技术实施例病变区域的识别过程示意图；图5为根据本专利技术实施例确诊的病变区域对应的图像块利用稠密采样方法和CNN获取的各预设病种的发生概率的示意图；图6为根据本专利技术实施例基于患者的医生信息、病历信息和治疗方案与各预设病种的发生概率利用多源异构数据融合获取更精确的各预设病种的发生概率的示意图；图7为根据本专利技术实施例基于深度学习的多模态医学影像识别装置的示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。如图1的本专利技术实施例基于深度学习的多模态医学影像识别方法的流程图所示，本专利技术一个方面提供一种基于深度学习的多模态医学影像识别方法，该方法包括：S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；S2，基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。在本实施例中，为了保证医疗数据及算法的安全性，采取C/S和B/S进行架构。对于高访问量并发及高计算量并行时，需要CPU/GPU具有高稳定性。其中GPU用于图像矩阵的矢量计算，每块显卡计算能力要求大于等于2.0。同时，本专利技术使用Spark进行多源异构数据融合方法的并行计算，提高准确性及有效性。本申请提出的基于深度学习的多模态医学影像识别方法，通过基于患者待检测部位的多模态医学影像利用配准方法将多模态医学影像显示在同一三维空间内建立了人体相关部位的立体直观的模型，便于医生直观观察模型进行诊断判断，通过基于多模态医学影像利用R-CNN，识别多模态医学影像中的病变区域，获取病变区域对应的图像块以及病变区域在多模态医学影像中的坐标，实现了医学影像中病变区域的自动识别，减少了医生的工作量同时加快了识别速度，根据病变区域在多模态医学影像中的坐标在在同一三维空间内显示病变体，以便于医生直观观察模型从而进行诊断，以确定确诊的病变区域，根据确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率，为医生的进一步诊断提供了有效的参考数据。作为一种可选实施例，所述步骤S1进一步包括：对所述多模态医学影像分别提取对应的图像边缘特征、形状特征、颜色特征以及局部特征；根据所述图像边缘特征、形状特征、颜色特征以及局部特征进行所述多模态医学影像的自动匹配，将多模态医学影像显示在同一三维空间内。作为一种可选实施例，所述S2进一步包括：对所述序列断层医学影像进行预处理并分割，获取病变感兴趣区域(RegionOfInterest,ROI)或疑似病变感兴趣区域；基于ROI区域或疑似ROI区域利用R-CNN本文档来自技高网...

【技术保护点】
一种基于深度学习的多模态医学影像识别方法，其特征在于，包括：S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；S2，基于所述多模态医学影像利用R‑CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。

【技术特征摘要】
1.一种基于深度学习的多模态医学影像识别方法，其特征在于，包括：S1，基于患者待检测部位的多模态医学影像利用配准方法，将多模态医学影像显示在同一三维空间内，其中，所述多模态医学影像包括序列断层医学影像；S2，基于所述多模态医学影像利用R-CNN，识别所述多模态医学影像中的病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述多模态医学影像中的坐标；S3，根据所述病变区域在所述多模态医学影像中的坐标在所述同一三维空间内显示病变体，以确定确诊的病变区域；S4,根据所述确诊的病变区域对应的图像块利用稠密采样方法和CNN获取各预设病种的发生概率。2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括：对所述多模态医学影像分别提取对应的图像边缘特征、形状特征、颜色特征以及局部特征；根据所述图像边缘特征、形状特征、颜色特征以及局部特征进行所述多模态医学影像的自动匹配，将多模态图像显示在同一三维空间内。3.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括：对所述序列断层医学影像进行预处理并分割，获取ROI区域或疑似ROI区域；基于ROI区域或疑似ROI区域利用R-CNN，识别病变区域，获取所述病变区域对应的图像块以及所述病变区域在所述序列断层医学影像中的坐标。4.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括：基于预设病种的医学影像中病变区域对应的图像块，利用深度学习中改进的CNN模型进行训练，得到预设病种发生概率模型；若输入为自动检测出的病变区域对应的图像块，对其进行均值处理；或者若输入为医生在医学影像上手动标注的病变区域对应的图像块，对所述手动标注的病变区域对应的图像块根据标注边框的中心位置进行稠密采样，对采样后的病变区域对应的图像块进行所述均值处理；将均值处理后的病变区域对应的图像块输入预设病种发生概率模型，获取各预设病种的发生概率。5.根据权利要求1所述的方法，其特征在于，在所述步骤S1之前还包括：根据医生信息、患者病历信息和治疗方案建立医疗文本信息可视化数据库；根据从仪器设备中输出的医学影像建立多模态影像可视化数据库；查询多模态...

【专利技术属性】
技术研发人员：季红，高玥，高佳，张秀玲，刘海伦，沈涛，
申请(专利权)人：北京市计算中心，
类型：发明
国别省市：北京,11