一种基于神经网络的多特征感兴趣区域的自动勾画系统与方法技术方案

本发明专利技术提供一种基于神经网络的多特征感兴趣区域的自动勾画系统与方法，包括影像模块、预处理模块、自动勾画模块、输出模块；其中影像模块用于获取影像；预处理模块用于对所述影像模块获取的影像进行处理，使其符合自动勾画模块要求的图像标准；自动勾画模块对预处理后的图像进行ROI的分割；输出模块将所述自动勾画模块输出的分割结果进行处理，使其成为可被其他设备读取的格式。本发明专利技术能够识别不同特征、相同标签的目标。本发明专利技术采用的动态区域感知卷积的卷积参数会根据输入图像区块的影像特征进行自动匹配，因此，当输入图像中ROI的不同区块呈现不一样的特征时，本发明专利技术能做出正确的判断。的判断。的判断。

【技术实现步骤摘要】
一种基于神经网络的多特征感兴趣区域的自动勾画系统与方法


[0001]本专利技术属于图像领域，涉及一种基于神经网络的多特征感兴趣区域的自动勾画系统与方法，是一种应用神经网络技术识别具有多种图像特征的感兴趣区域的方法。

技术介绍

[0002]在医学图像上进行感兴趣区域(region of interest,ROI)的勾画或分割是进行图像分析、治疗规划的重要步骤。例如在进行影像组学分析前，需要在图像上勾画出ROI，再对其影像特征进行提取与分析；在进行放射治疗前，需要在医学图像上勾画出器官或肿瘤的轮廓，才能在放射治疗计划系统中进行计划的优化计算与评估。
[0003]传统的手工勾画费时费力，勾画精度极大地依赖于人的精力与经验。虽然目前也有自动或半自动勾画工具，但其各有不足。基于灰度信息的自动勾画方法容易受到图像伪影、对比度低等因素影响，当ROI内部的影像特征表现不一时，其产生的灰度值差异也会影响勾画的精度。基于模板配准的自动勾画精度则会受到模板选择策略、器官体积变化(如膀胱)、所采用的配准算法的鲁棒性影响。目前基于卷积神经网络的自动勾画模型在空间域采用权值共享的方式进行计算，这意味着只有具有相同影像特征的图像区块才能被该模型正确识别。当ROI内的不同像素或体素呈现的影像特征具有差异(例如在CT图像上，正常肺与肺不张的像素同样属于“肺”的标签，但因两者的灰度不同，影像特征差异非常明显)时，自动勾画的精度会大大降低。

技术实现思路

[0004]本专利技术要解决的技术问题是，克服现有技术的不足，提供一种基于神经网络的多特征感兴趣区域的自动勾画系统，包括：影像模块、预处理模块、自动勾画模块、输出模块。
[0005]影像模块用于获取影像；预处理模块用于对所述影像模块获取的影像进行处理，使其符合自动勾画模块要求的图像标准；自动勾画模块对预处理后的图像进行ROI的分割；输出模块将所述自动勾画模块输出的分割结果进行处理，使其成为可被其他设备读取的格式。
[0006]本专利技术的另一个目的是提供一种基于神经网络的多特征感兴趣区域的自动勾画系统构建方法，通过以下步骤实现：
[0007]S1：影像模块采用医学影像设备拍摄感兴趣区域的影像，记为I0。
[0008]在本专利技术的至少一个实施例中，所述“医学影像设备”包括：计算机断层扫描图像(computed tomography,CT)、磁共振成像(Magnetic Resonance Imaging,MRI)、正电子发射型计算机断层显像(Positron Emission Computed Tomography,PET)、PET
‑
CT。
[0009]S2：预处理模块对I0进行预处理，使其成为符合自动勾画模块处理的图像标准，记为I1。
[0010]在本专利技术的至少一个实施例中，I0是CT图像，所述预处理方法包括将I0中CT值在
[u,v]范围内的像素线性转换为[0,255]，小于u的CT值均转换为0，大于v的CT值均转换为255。
[0011]在本专利技术的至少一个实施例中，I0是CT图像，所述预处理方法包括将I0中CT值在[u,v]范围内的像素线性转换为[0,1]，小于u的CT值均转换为0，大于v的CT值均转换为1。
[0012]在本专利技术的至少一个实施例中，所述预处理方法包括将I0中与ROI无关的区域裁剪并舍弃。例如，I0的长与宽均是512像素，将I0第1～128行、第385～512行、第1～128列、第385～512列的像素均舍弃，使得的I1长、宽均为256像素。
[0013]S3：将S2输出的预处理后的图像I1输入自动勾画模块，模块中包含的自动勾画模型M对图像I1进行ROI识别，生成分割掩模图I
output
；
[0014]在本专利技术的至少一个实施例中，所述“分割掩模图I
output”是尺寸与I1相同的图像，该图像中，被M识别为目标的像素标记为1，被M识别为背景(即，非目标)的像素标记为0。标记数字1和0仅是为区分该像素是否为目标，本领域内的技术人员无需创造性劳动即可想到使用不同的数字标记来区分像素为目标或背景，因此，修改数字标记的方法并未超出本专利技术的技术范畴。
[0015]S4：输出模块对S3输出的掩模图I
output
进行处理，生成可被其他设备读取的格式。
[0016]在本专利技术的至少一个实施例中，所述“对S3输出的掩模图I
output
进行处理”是指将I1与I
output
进行对应元素相乘，使得相乘产生的图像仅包含目标区域的灰度值，非目标区域的灰度值变为0。
[0017]在本专利技术的至少一个实施例中，所述“对S3输出的掩模图I
output
进行处理”是指：I
output
按照I1被S2裁掉的像素区域用零值进行填充，使得填充后的I
output
与I0的尺寸一致，再将I
output
与I0进行对应元素相乘，使得相乘产生的图像仅包含目标区域的灰度值，非目标区域的灰度值变为0。
[0018]在本专利技术的至少一个实施例中，所述“对S3输出的掩模图I
output
进行处理”是指读取掩膜图像I
output
中目标区域的边缘坐标，该坐标可以是二维或三维坐标，将该坐标值按照DICOM标准写入文件中，以使该文件可被DICOM处理软件读取。
[0019]在本专利技术的至少一个实施例中，步骤S3所述的“自动勾画模型M”是基于动态区域感知卷积建立的神经网络模型。
[0020]基于动态区域感知卷积建立的神经网络模型的结构包括：输入层、动态区域感知卷积层、激励函数层、批归一化层、基于动态区域感知卷积的转置卷积层、输出层，这些层按照一定规律排布。
[0021]在本专利技术的一个优选例中，基于动态区域感知卷积建立的神经网络模型的排布规律按照输入到输出的方向依次是输入层，5组动态区域感知卷积层、激励函数层、批归一化层的组合，5组基于动态区域感知卷积的转置卷积层、激励函数层、批归一化层的组合，输出层。
[0022]动态区域感知卷积层包括：特征提取模块、特征编码模块、卷积核生成模块、卷积计算模块。其中，特征提取模块从该层的输入图像I
′
的不同区块中提取特征，图像的每个像素点或体素点均有相对应的特征值，这些特征值共同形成特征图F；特征编码模块对F中的特征值进行1～N的编码，形成编码图I
N
；卷积核生成模块生成N个卷积核W＝{W1,W2,
…
,W
N
}；卷积计算模块根据编码图I
N
，在I
′
的每个像素或体素上，根据该像素或体素对应的编码i∈
[1,N]，选择相应的卷积核W
i
(i∈[1,N])进行对应元素相乘求和计算，输出相应的值，这些值共同构成动态区域感知卷积层的输出。
[0023本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的多特征感兴趣区域的自动勾画系统，其特征在于，包括影像模块、预处理模块、自动勾画模块、输出模块；其中影像模块用于获取影像；预处理模块用于对所述影像模块获取的影像进行处理，使其符合自动勾画模块要求的图像标准；自动勾画模块对预处理后的图像进行ROI的分割；输出模块将所述自动勾画模块输出的分割结果进行处理，使其成为可被其他设备读取的格式。2.权利要求1所述的自动勾画系统的构建方法，其特征在于，通过以下步骤实现：S1：影像模块采用医学影像设备拍摄感兴趣区域的影像，记为I0；所述医学影像设备包括：计算机断层扫描图像、磁共振成像、正电子发射型计算机断层显像、PET
‑
CT；S2：预处理模块对I0进行预处理，使其成为符合自动勾画模块处理的图像标准，记为I1；S3：将S2输出的预处理后的图像I1输入自动勾画模块，模块中包含的自动勾画模型M对图像I1进行ROI识别，生成分割掩模图I
output
；所述分割掩模图I
output
是尺寸与I1相同的图像，该图像中，被M识别为目标的像素标记为1，被M识别为非目标的像素标记为0；S4：输出模块对S3输出的掩模图I
output
进行处理，生成可被其他设备读取的格式。3.根据权利要求2所述的构建方法，其特征在于，步骤S2中I0是CT图像时，所述预处理的方法包括以下方法中的一个或多个：(1)将I0中CT值在[u,v]范围内的像素线性转换为[0,255]或[0,1]，小于u的CT值均转换为0，大于v的CT值均转换为255或1；(2)将I0中与ROI无关的区域裁剪并舍弃。4.根据权利要求2所述的构建方法，其特征在于，步骤S3所述的自动勾画模型M是基于动态区域感知卷积建立的神经网络模型，该模型的结构包括：输入层、动态区域感知卷积层、激励函数层、批归一化层、基于动态区域感知卷积的转置卷积层、输出层，这些层按照一定规律排布。5.根据权利要求2所述的构建方法，其特征在于，所述的自动勾画模型M的训练步骤包括：(1)收集多幅影像I及该影像中的ROI轮廓；(2)将ROI轮廓转换为掩膜图I
mask
，该I
mask
的尺寸与I一致，ROI的轮廓及其内部的像素或体素值设为1，其余像素或体素值设为0；(3)对影像I进行预处理，将其处于[u,v]范围的数值线性转换至[0,255]或[0,1]，小于u的数值转换为0，大于v的数值转换为255或1；(4)将预处理后的多幅影像I及其对应的掩模图I
mask
分别作为自动勾画模型M的输入与输出，应用反向传播算法优化M参数，直至自动勾画模型的输出M(I)与I
mask
之间的重合度达到最大；其中，评估“M(I)与I
mask
之间的重合度”的函数是dice similarity coefficient(DSC)，计算公式如下：6.根据权利要求2所述的构建方法，其特征在于，步骤S4所述对S3输出的掩模图I
output
进行处理包括以下方法中的一个或多个：
(1)将I1与I
output
进行对应元素相乘，使得相乘产生的图像仅包含目标区域的灰度值，非目标区域的灰度值变为0；(2)I
output
按照I1被S2裁掉的像素区域用零值进行填充，使得填充后的I
output
与I0的尺寸一致，再将I
output
与I0进行对应元素相乘，使得相乘产生的图像仅包含目标区域的灰度值，非目标区域的灰度值变为0；(3)读取掩膜图像I
output
中目标区域的边缘坐标，该坐标是二维或三维坐标，将该坐标值按照DICOM标准写入文件中，以使该文件被DICOM处理软件读取。7.根据权利要求4所述的构建方法，其特征在于，所述基于动态区域感知卷积建立的神经网络模型的排布规律按照输入到输出的方向依次是输入层，5组动态区域感知卷积层、激励函数层、批归一化层的组合，5组基于动态区域感知卷积的转置卷积层、激励函数层、批归一化层的组合，输出层；动态区域感知卷积层包括：特征提取模块、特征编码模块、卷积核生成模块、...

【专利技术属性】
技术研发人员：陈明，张婕，杨一威，徐裕金，季永领，
申请(专利权)人：浙江省肿瘤医院，
类型：发明
国别省市：