多分辨率医学影像在神经网络中的尺寸自适应预处理方法技术

本发明专利技术属于医学图像技术领域，涉及一种多分辨率医学图像在深度学习神经网络中的尺寸自适应预处理方法、设备和存储介质。该方法包括如下步骤：统一输入深度学习网络中各医学图像像素间物理间距的大小，获得像素/体素层面分辨率不一的医学图像；确定医学影像的分块大小和分块步长；按照以上确定的分块大小和分块步长对重采样后的医学图像进行连续分块操作。通过本发明专利技术提供的方法可以使神经学习网络接受任意分辨率输入的医学影像，通过对图像的分块化和边缘区域分块进行补零操作可以让深度学习网络接收任意尺寸的图像输入，避免医学图像裁剪后导致的信息丢失问题；同时通过局部补零操作也能有效降低计算网络时性能的消耗。

Size adaptive preprocessing method of multi-resolution medical image in neural network

【技术实现步骤摘要】
多分辨率医学影像在神经网络中的尺寸自适应预处理方法
本专利技术属于医学图像
，涉及一种多分辨率医学图像在深度学习神经网络中的尺寸自适应预处理方法、设备和存储介质。
技术介绍
目前在计算机视觉任务相关的深度学习网络建模中，神经网络要求所输入的图像尺寸必须一致。这对于自然图像而言，可通过简单的裁剪和缩放操作来统一全部输入图像的尺寸就能比较好地解决问题，并且这种操作对于网络学习自然图像中的特征影响不大。但对于诸如磁共振成像(MRI)、计算机断层扫描(CT)等医学影像来说，医学影像的尺寸大小对应有其物理度量意义，其中的数字影像的分辨率是由扫描视野(FieldofView，FOV)及像素间物理间距(Spacing)两个参数共同决定。这两个参数共同决定了特定尺寸大小的医学影像跟物理尺寸大小的对应关系，因此如果对医学影像进行简单的裁剪和缩放会破坏医学图像对应物理世界的意义。例如，对于头部MRI影像来说，扫描成像的时候通常使用贴近脑袋边缘的FOV进行扫描，分辨率为128*256*256，如果为了统一图像的像素尺寸而进行裁剪操作得到128*128*128的图像，则通常会裁剪掉部分头部组织器官，会让影像信息丢失，导致训练数据不完整；而如果为了统一图像的像素尺寸而进行缩放操作得到128*128*128的图像，则是会让影像数据对应的物理尺寸信息丢失，也就是会让图像原有的spacing参数信息失准。而失去物理尺寸信息的医学影像是没有意义的，甚至是危险的。MRI/CT扫描的时候度量二维图像的像素(Pixel)或三维图像的体素(Voxel)之间实际物理尺寸的spacing参数通常是不统一的，在进行深度学习网络训练的时候为了更好地让网络习得影像中的组织结构空间位置信息，需要对输入MRI图像进行重采样(resample)操作来统一spacing大小，这个操作会让图像在Pixel/Voxel层面的分辨率产生增大或减小的变化，也就是使得医学影像的Pixel/Voxel尺寸变得各不相同。
技术实现思路
本专利技术的目的在于为克服现有技术的缺陷而提供一种多分辨率医学图像在深度学习神经网络中的尺寸自适应预处理方法、设备和存储介质。为实现上述目的，本专利技术采用以下技术方案：本专利技术提供了一种对输入深度学习网络中的多分辨率医学图像的尺寸自适应预处理方法，该方法通过魔方式分块方法对二维或三维医学图像输入进行尺寸自适应调整，让不同分辨率的医学影像在深度学习神经网络中既能统一各医学图像像素间物理间距(spacing)，还能保持原医学影像的分辨率。本专利技术中，医学影像的多分辨率指医学影像具有两个维度的分辨率：一个维度是在图像像素坐标系层面的分辨率，也就是通常说的图像尺寸大小(FieldofView，FOV)；另一个维度是在图像世界坐标系层面的分辨率，也就是医学影像的像素之间的物理间距大小(spacing)。一种用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，适于在计算设备中执行，包括如下步骤：(1)、统一输入深度学习网络中各医学图像像素间物理间距(spacing)的大小，获得像素/体素层面分辨率不一的医学图像；(2)、确定医学影像的分块大小(patchsize)和分块步长(stride)；(3)、按照以上确定的分块大小和分块步长对重采样后的医学图像进行连续分块操作。所述的医学影像为所有符合DICOM影像标准的医学影像，优选地包括CT影像、核磁(MRI)影像、正电子发射断层扫描(PET)影像、超声波影像、X光影像等。所述的医学影像为二维影像、三维影像或将二维影像进行三维重建得到的三维影像。步骤(1)中，通过重采样操作统一输入深度学习网络中各医学图像像素间物理间距。步骤(2)中，所述的分块大小为从医学图像中获取的每个分块图像的大小，所述的分块步长为从医学图像中连续获取的两个分块之间像素或体素的间隔。步骤(3)中，对医学图像进行连续分块操作的顺序为从左端到右端、从上端到下端，或从左端到右端、从下端到上端，或从右端到左端、从上端到下端，或从右端到左端、从下端到上端。步骤(3)中，对医学影像进行连续分块操作时，当分块的位置到达医学影像边缘处若剩余图像尺寸不足以生成一个规定尺寸的分块时，用零补足医学影像边缘，使剩余图像和补足位置符合所需分块的规定尺寸。步骤(3)中，初始分块为完整的分块。本专利技术还提供过一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，所述的一个或多个程序包括多分辨率医学影像在神经网络中的自适应预处理方法的指令。本专利技术还提供一种存储一个或多个程序的计算机可读存储介质，所述的一个或多个程序包括指令，所述指令适于由存储器加载并执行上述多分辨率医学影像在神经网络中的自适应预处理方法。本专利技术具有以下有益效果：本专利技术提供的用于深度学习网络中多分辨率医学图像自适应预处理方法具有以下优点：1、可以使神经学习网络接受任意分辨率(包括FieldofView及Spacing)输入的医学影像；2、使代表医学图像物理意义的Spacing参数保持一致；3、避免医学图像裁剪后导致的信息丢失问题；例如避免裁剪3D头部MRI图像导致部分头部组织器官影像信息丢失，使训练数据不完整；4、通过对图像的分块化和边缘区域分块进行补0的操作可以让深度学习网络接收任意尺寸的图像输入，与全图补零法相比，本专利技术的边缘补零法能有效降低计算网络时性能的消耗，避免全图补零造成的背景冗余，也降低了对图像学习的干扰；其中全图补零的方法指的是先判定出最大尺寸的图像，然后把所有小于该尺寸的图像通过在原图像周边先行进行补零以使得所有图像的尺寸一致的做法。5、在扫描图像尺寸不同但像素间物理间距相同的情况下，尽可能地避免了对图像进行裁剪或者进行插值计算带来的坏处。6、分块操作既可以实现医学影像的尺寸自适应也同时解决GPU显存不足而无法对大尺寸医学图像进行训练的问题。附图说明图1为本专利技术一个优选的实施例中用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法流程示意图。图2为本专利技术一个优选的实施例中对二维医学影像分块方法示意图；(a)完全分割，不需补零；(b)不能完全分割，对医学影像进行边缘补零。具体实施方式目前，深度学习神经网络要求输入的图像的尺寸必须一致，普通图像通过裁切或缩放即可实现。而对于医学图像而言，简单的裁切或缩放操作会破坏医学图像原本对应的物理含义。本专利技术提供了一种用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，使医学影像在统一各图像像素间物理间距的基础上，保持原图分辨率。以下结合实施例和附图进一步说明本专利技术。一种用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，适于在计算设备中执行，包括如下步骤(流程图参见图1)：步骤210，统本文档来自技高网...

【技术保护点】
1.一种用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，适于在计算设备中执行，其特征在于：包括如下步骤：/n(1)、统一输入深度学习网络中各医学图像像素间物理间距的大小，获得像素/体素层面分辨率不一的医学图像；/n(2)、确定医学影像的分块大小和分块步长；/n(3)、按照确定的分块大小和分块步长对重采样后的医学图像进行分块操作。/n

【技术特征摘要】
1.一种用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，适于在计算设备中执行，其特征在于：包括如下步骤：
(1)、统一输入深度学习网络中各医学图像像素间物理间距的大小，获得像素/体素层面分辨率不一的医学图像；
(2)、确定医学影像的分块大小和分块步长；
(3)、按照确定的分块大小和分块步长对重采样后的医学图像进行分块操作。


2.根据权利要求1所述的用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，其特征在于：所述的医学影像为符合DICOM医学影像标准的影像。


3.根据权利要求1所述的用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，其特征在于：所述的医学影像为二维影像、三维影像或将二维影像进行三维重建得到的三维影像。


4.根据权利要求1所述的用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，其特征在于：步骤(1)中，通过重采样操作统一输入深度学习网络中各医学图像像素间物理间距。


5.根据权利要求1所述的用于深度学习网络中多分辨率医学图像尺寸自适应预处理方法，其特征在于：步骤(2)中，所述的分块大小为从医学图像中获取的每个分块图像的大小，所述的分块步长为从医学图像中连续获取的两个分块之间像素或体素的间隔。


6.根据权利要求1所述的用于深...

【专利技术属性】
技术研发人员：朱森华，陈卓，章桦，
申请(专利权)人：北京连心医疗科技有限公司，
类型：发明
国别省市：北京;11