基于同源多窗技术的医学图像深度学习方法和装置制造方法及图纸

本申请公开了一种基于同源多窗技术的医学图像深度学习方法和装置。该方法包括基于设定的窗位和窗宽对医学样本图像进行开窗生成至少两种开窗CT图像；对每种开窗CT图像进行特征提取，生成第一图像特征；基于注意力机制对开窗CT图像进行处理，得到第二图像特征、提取区域和得到提取区域图像的第三图像特征；对第一图像特征、第二图像特征和第三图像特征进行融合，得到第一融合图像特征；将每个第一融合图像特征进行融合，得到第二融合图像特征，从而基于第二融合图像特征完成医学图像深度学习。本申请先进行多窗位开窗，对多个开窗中的感兴趣区域进行再开窗，从而实现基于同源多窗技术进行医学图像深度学习的目的。技术进行医学图像深度学习的目的。技术进行医学图像深度学习的目的。

【技术实现步骤摘要】
基于同源多窗技术的医学图像深度学习方法和装置


[0001]本申请涉及图像处理
，具体而言，涉及一种基于同源多窗技术的医学图像深度学习方法和装置。

技术介绍

[0002]从1895年伦琴发现X线到现在的一百多年里，影像学的发展经历了由原来的模拟成像到现在数字化成像的一个过程。近年来，医学影像存档与通讯系统(Picture Achieving&Communication System，PACS)迅速发展；为了影像设备之间互传，国际上制定了医学数字图像通讯标准(Digital Imaging and Communication in Medicine,DICOM)。从目前的发展来看，DIC0M已经成为普遍适用的标准，即大部分医学图像设备及PACS系统都使用DIC0M作为其互连标准。目前大家遵循的是DICOM3.0版本。
[0003]DICOM文件由多个数据集组成。数据集表现了信息对象的相关属性，如病人姓名、性别、身高等。数据集由数据元素组成，数据元素包含信息对象属性的值，并由数据元素标签(Tag)唯一标识。所有数据元素都包含标签、值长度和数据值体。标签是一个16位无符号整数对，按顺序排列包括组号和元素号。数据集中的数据元素按其标签号的递增顺序组织，且在一个数据集中最多出现一次。值长度是一个16或32位无符号整数，表明了准确的数据值的长度，按字节数目记录。数据值体表明了数据元素的值，其长度为偶数字节，该字段的数据类型是由数据元素的VR所明确定义。
[0004]X线成像是一种重要的医学影像技术。X线之所以能使人体组织在荧屏上或胶片上形成影像，主要基于X线的穿透性、荧光效应和感光效应，和基于人体组织之间密度和厚度的差别。当X线透过人体不同组织结构时，被吸收的程度不同，所以到达荧屏或胶片上的X线量就会有差异，在荧屏或胶片上就形成了明暗对比的影像。这样，医生就可以根据经验，通过观察这些明暗对比的影像来发现病变和进行诊断。
[0005]平片和CT是目前常见的X线影像形式，为了定量衡量组织对于X光的吸收率，Hounsfield定义了一个新的标度“CT值”：针对人体组织，将线性衰减系数划分为2000个单位，以水为0值，最上界骨的CT值为1000；最下界空气的CT值为
‑
1000。也就是说，人体组织CT值的范围为
‑
1000到+1000共2000个分度。但是人眼不能分辨这样微小灰度的差别，仅能分辨16个左右的灰阶。为了提高组织结构细节的显示，能分辨出差别较小的组织，可以根据诊断需要调节图像的对比度和亮度，这种调节技术称为加窗技术(Window Technique)——窗宽、窗位的选择。
[0006]开窗显示技术，指通过一个特定窗口，将窗口区域的图像线性地转换到显示器的最大显示范围内，高于或低于窗口上下限的图像数据则分别设置为最高或最低的显示值。这样通过动态地调节窗口的窗宽(需显示的图像数据的范围)和窗位(需显示的图像数据的中心值)，则可以观察图像的更多信息。
[0007]不同部位使用不同窗位、窗宽能更充分地反映出局部结构的影像差异。不同部位、不同组织的CT值差别很大，医生在大量的实践中，总结出了一些常用的窗位、窗宽设定范
围。例如：常规胸部CT检查一般用纵隔窗及肺窗观察；纵隔窗可观察心脏、大血管、纵隔内淋巴结、纵隔肿块及这些结构的比邻关系，一般纵隔窗可以设定为窗宽300Hu～500Hu，窗位30Hu～50Hu；而肺为含气组织，在上述纵隔窗下几乎无法显示，因此又开设了肺窗，肺窗可以观察肺的形态结构、支气管、肺动静脉和肺裂、肺内肿物的形态、分叶、胸膜凹陷征、毛刺征等病理征象，一般肺窗可以设定为窗宽1300Hu～1700Hu，窗位
‑
600Hu～
‑
800Hu；此外，为了更好地显示胸骨、肋骨、锁骨、脊柱等骨性结构，以及上述骨的骨折等异常表现，还会另开设骨窗，一般骨窗可以设定为窗宽800Hu～2000Hu，窗位250Hu～500Hu。
[0008]医生进行诊断时常常需要手动调整窗位、窗宽，同时会去缩小或放大以显示全局或观察局部，甚至需要翻转、旋转以及多角度重建等以对病变进行更加细致的观察。然而在目前的深度学习中，一般会选择一幅特定窗位和窗宽的图像进行学习。这样可能就会导致大量DICOM图像信息的丢失，不能更大限度地发挥其价值。
[0009]此外，仅在一个窗位、窗宽下显示会丢失很多疾病信息，需要结合多个窗位和窗宽去综合呈现。例如，胸部外伤，常常同时合并有肺挫伤、肋骨骨折和血、气胸等。此时，如果仅看肺窗图像，虽然能够很好地显示肺挫伤，但是血、气胸就会显示得较差、肋骨骨折几乎不能被看到；而如果仅看纵隔窗图像，虽然能够很好地显示血、气胸，但是肋骨骨折就会显示得较差、肺挫伤几乎不能被看到；同样，如果仅看骨窗图像，虽然能够很好地显示肋骨骨折，但是血、气胸就会显示得较差、肺挫伤仍然几乎不能被看到。所以，虽然是一幅DICOM图像，却不应转化为成一个窗位、窗宽的位图进行深度学习。
[0010]一种疾病常常需要其他窗位和窗宽的图像去提供间接征象以便于辅助诊断。例如，肺癌虽然发生于肺组织，单纯用肺窗也可以全面地看到病变的部位、大小以及一些良恶性鉴别的征象；但是肺癌常常会伴有纵隔淋巴结的肿大，甚至会出现一些侵及周围血管、压迫周边脏器的表现，这些间接征象对于肺癌的诊断和分期至关重要，这些恰恰是肺窗不能提供的，必须要纵隔窗的辅助。所以，对于一幅DICOM图像，分解成不同窗位、窗宽的位图去学习非常重要。
[0011]针对相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0012]本申请的主要目的在于提供一种基于同源多窗技术的医学图像深度学习方法和装置，以解决相关技术中通过深度学习训练出的图像识别模块对医疗影像识别准确性较低的问题。
[0013]为了实现上述目的，第一方面，本申请提供了一种基于同源多窗技术的医学图像深度学习方法，该方法包括：
[0014]基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；
[0015]对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；
[0016]基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；
[0017]获取所述提取区域对应的提取区域图像；
[0018]基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的
第三图像特征；
[0019]对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；
[0020]将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。
[0021]可选地，所述获取所述提取区域对应的提取区域图像，包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于同源多窗技术的医学图像深度学习方法，其特征在于，该方法包括：基于设定的窗位和窗宽对医学样本图像进行开窗，生成至少两种开窗CT图像；对于每一种所述开窗CT图像，基于卷积神经网络对该开窗CT图像进行特征提取，生成第一图像特征；基于注意力机制对所述开窗CT图像进行处理，得到第二图像特征和提取区域；获取所述提取区域对应的提取区域图像；基于卷积神经网络对所述提取区域图像进行特征提取，得到所述提取区域图像的第三图像特征；对所述第一图像特征、所述第二图像特征和第三图像特征进行融合，得到第一融合图像特征；将每一种所述开窗CT图像对应的所述第一融合图像特征进行融合，得到第二融合图像特征，从而基于所述第二融合图像特征完成基于同源多窗技术的医学图像深度学习。2.根据权利要求1所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，所述获取所述提取区域对应的提取区域图像，包括：计算出所述提取区域对应的提取窗位和提取窗宽；基于所述提取窗位和所述提取窗宽对所述医学样本图像进行开窗，生成提取区域图像。3.根据权利要求2所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，该方法还包括：判断所述提取区域图像中所述提取窗宽与指定灰阶的比值是否小于1；当所述提取区域图像中所述提取窗宽与指定灰阶的比值小于1时，执行所述基于卷积神经网络对所述提取区域图像进行特征提取的步骤。4.根据权利要求3所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，该方法还包括：当所述提取区域图像中所述提取窗宽与指定灰阶的比值不小于1时，重新执行所述基于注意力机制对所述开窗CT图像进行处理的步骤。5.根据权利要求1所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，所述开窗CT图像的种类包括以获取肺部组织特征为目的肺部开窗CT图像、以获取骨部组织特征为目的骨部开窗CT图像和以获取纵隔部组织特征为目的纵隔部开窗CT图像中的至少两种。6.根据权利要求5所述的基于同源多窗技术的医学图像深度学习方法，其特征在于，所述基于设定的窗位...

【专利技术属性】
技术研发人员：张涛，
申请(专利权)人：中国人民解放军总医院第一医学中心，
类型：发明
国别省市：