【技术实现步骤摘要】
利用深度神经网络模型执行图像分割的方法
本公开涉及图像分割领域，更具体地，涉及一种利用深度神经网络模型执行图像分割的方法。
技术介绍
图像分割作为一种图像处理技术在现实生活中的各个领域中发挥着重要的作用，例如，在医疗领域，需要进行感兴趣区域(例如，肿瘤区域)的分割。例如，先前进行肿瘤区域分割常采用人工识别和分割的方法，然而人工识别和分割肿瘤区域会存在诸多障碍：(1)病理科的切片量面临每年15％以上的增长，医生每天的诊断工作负荷大大增加；(2)肿瘤区域与正常区域形态学特征差异小，病理医生判读难度大；(3)临床病理诊断的准确率与病理医生平时的学习、研究经验及阅片数量直接相关，已有实验证明，在对相同切片进行判读时，病理医生之间的判读往往具有主观差异性；(4)在我国医疗资源分布不均衡，多数地区病理科缺乏经验丰富的病理医生，使得大部分患者不得不“千里寻名医”。这在耗费大量资源的同时，也进一步限制了对广大病理医生的培养。长此以往，医疗资源、医疗条件的地区差异将进一步被拉大，这样的马太效应使得少数顶尖医生被分配更多的患者，继而产生更多的医患矛盾、区域矛盾以及社会矛盾。为此，需要采用自动化的肿瘤区域分割方法，用于辅助病理医生进行日常的病理切片分析。比如，在常规免疫组化膜染色切片判读工作中，肿瘤细胞的精确量化统计对于癌症的分级诊断有着至关重要的意义，肿瘤区域分割可以帮助病理学家首先锁定感兴趣区域，在此基础上可在该区域内进行精确的量化统计，最终做出病理诊断。但是，准确可靠的肿瘤区域分割是病理诊断的关键。目前，尽管存在一些...
【技术保护点】
1.一种利用深度神经网络模型执行图像分割的方法，其中，所述深度神经网络模型包括编码器和解码器，所述方法包括：/n获取包含感兴趣区域的输入图像；/n利用编码器的多个编码层分别提取所述输入图像的不同的多种尺度的语义特征；/n利用解码器的多个解码层对所述多种尺度的语义特征分别进行解码来获得与每种尺度的语义特征对应的预测结果；/n将与每种尺度的语义特征对应的预测结果进行整合来获得关于所述输入图像中的各个像素是否属于所述感兴趣区域的最终预测结果；以及/n输出根据所述最终预测结果从输入图像中分割出所述感兴趣区域的输出图像。/n
【技术特征摘要】
1.一种利用深度神经网络模型执行图像分割的方法，其中，所述深度神经网络模型包括编码器和解码器，所述方法包括：
获取包含感兴趣区域的输入图像；
利用编码器的多个编码层分别提取所述输入图像的不同的多种尺度的语义特征；
利用解码器的多个解码层对所述多种尺度的语义特征分别进行解码来获得与每种尺度的语义特征对应的预测结果；
将与每种尺度的语义特征对应的预测结果进行整合来获得关于所述输入图像中的各个像素是否属于所述感兴趣区域的最终预测结果；以及
输出根据所述最终预测结果从输入图像中分割出所述感兴趣区域的输出图像。
2.如权利要求1所述的方法，其中，
所述多个编码层包括N个编码层，其中，第n编码层提取的第n尺度的语义特征的尺寸小于第n-1编码层提取的第n-1尺度的语义特征的尺寸，第N尺度是所述多种尺度中的最小尺度，N是大于或等于2的正整数，n小于或等于N且大于或等于2。
3.如权利要求2所述的方法，其中，所述编码层包括卷积层、池化层、批处理归一化层和激活层。
4.如权利要求2所述的方法，其中，N是4，所述利用编码器的多个编码层分别提取所述输入图像的不同的多种尺度的语义特征，包括：
利用所述多个编码层中的第一编码层提取所述输入图像的第一尺度的语义特征；
基于第一尺度的语义特征，利用所述多个编码层中的第二编码层提取所述输入图像的第二尺度的语义特征；
基于第二尺度的语义特征，利用所述多个编码层中的第三编码层提取所述输入图像的第三尺度的语义特征；
基于第三尺度的语义特征，利用所述多个编码层中的第四编码层提取所述输入图像的第四尺度的语义特征。
5.如权利要求4所述的方法，其中，在第N编码层提取的第N尺度的语义特征之后还包括：
将第N尺度的语义特征以及所述输入图像输入空间金字塔结构进行进一步语义特征提取。
6.如权利要求5所述的方法，其中，所述空间金字塔结构包括：
具有不同膨胀率的多个第一卷积层，用于分别对第N尺度的语义特征进行空洞卷积以进一步捕获多尺度信息；
第二卷积层，用于对第N尺度的语义特征进行进一步卷积以增强语义特征通道的耦合性；
池化层，用于对所述输入图像进行池化，得到图像级别的语义特征。
7.如权利要求2所述的方法，其中，所述多个解码层包括N个解码层，其中，所述利用解码器的多个解码层对所述多种尺度的语义特征分别进行解码，包括：
基于由第n编码层提取的第n尺度的语义特征，利用与第n编码层对应的第n解码层进行解码来获得与第n尺度的语义特征对应的第n预测结果。
8.如权利要求7所述的方法，其中，N是4，所述基于由第n编码层提取的第n尺度的语义特征，利用与第n编码层对应的第n解码层进行解码来获得第n预测结果，包括：
基于由第一编码层提取的第一尺度的语义特征，利用与第一编码层对应的第一解码层进行解码来获得第一预测结果；
基于由第二编码层提取的第二尺度的语义特征，利用与第二编码层对应的第二解码层进行解码来获得第二预测结果；
基于由第三编码层提取的第三尺度的语义特征，利用与第三编码层对应的第三解码层进行解码来获得第三预测结果；
基于由第四编码层提取的第四尺度的语义特征，利用与第四编码层对应的第四解码层进行解码来获得第四预测结果。
9.如权利要求5所述的方法，其中，所述利用解码器的多个解码层对所述多种尺度的语义特征进行解码来获得与每种尺度的语义特征对应的预测结果，包括：
将第n尺度的语义特征和第n-1尺度的语义特征进行融合并基于融合的语义特征利用第n-1解码层进行解码来获得第n-1预测结果。
10.如权利要求9所述的方法，其中，所述将第n尺度的语义特征和第n-1尺度的语义特征进行融合并基于融合的语义特征利用第n-1解码层进行解码来获得第n-1预测结果包括：
将第n尺度的语义特征上采样，将上采样后的结果与第n-1尺度的语义特征进行拼接，将拼接后的结果进行上采样，并基于上采样的语义特征利用第n-1解码层进行解码来获得第n-1预测结果。
11.如权利要求9所述的方法，其中，N是4，所述利用解码器的多个解码层对所述多种尺度的语义特征进行解码来获得与每种尺度的语义特征对应的预测结果，包括：
将第四尺度的语义特征上采样，并基于上采样的语义特征利用第四解码层进行解码来获得第四预测结果；
将第四尺度的语义特征上采样，将上采样后的结果与第三尺度的语义特征进行拼接以获得第一拼接结果，将第一拼接结果进行上采样，并基于上采样的语义特征利用第三解码层进行解码来获得第三预测结果；
将第一拼接结果进行上采样，将上采样后的结果与第二尺度的语义特征进行拼接以获得第二拼接结果，将第二拼接结果进行上采样，并基于上采样的语义特征利用第二解码层进行解码来获得第二预测结果；
将第二拼接结果上采样，将上采样后的结果与第一尺度的语义特征进行拼接以获得第三拼接结果，将第三拼接结果进行上采样，并基于上采样的语义特征利用第一解码层进行解码来获得第一预测结果。
12.如权利要求5所述的方法，其中，所述利用解码器的多个解码层对所述多种尺度的语义特征进行解码来获得与每种尺度的语义特征对应的预测结果，包括：
将第m尺度的语义特征和第1至第m-2尺度中的一个尺度的语义特征进行融合并基于融合的语义特征利用与所述一个尺度对应的解码层进行解码来获得与所述一个尺度对应的预测结果，其中，m小于或等于N且大于2。
13.如权利要求12所述的方法，其中，所述将第m尺度的语义特征和第1至第m-2尺度中的一个尺度的语义特征进行融合并基于融合的语义特征利用与所述一个尺度对应的解码层进行解码来获得与所述一个尺度对应的预测结果，包括：
将第m尺度的语义特征上采样，将上采样后的结果与所述一个尺度的语义特征进行拼接，将拼接后的结果进行上采样，并基于上采样的语义特征利用与所述一个尺度对应的解码层进行解码来获得与所述一个尺度对应的预测结果。
14.如权利要求12所述的方法，其中，N是4，所述利用解码器的多个解码层对所述多种尺度的语义特征进行解码来获得与每种尺度的语义特征对应的预测结果，包括：
将第四尺度的语义特征上采样，并基于上采样的语义特征利用第四解码层进行解码来获得第四预测结果；
将第四尺度的语义特征上采样，将上采样后的结果与第二尺度的语义特征进行拼接以获得第一拼接结果，将第一拼接结果进行上采样，并基于上采样的语义特征利用第二解码层进行解码来获得第二预测结果；
将第三尺度的语义特征上采样，并基于上采样的语义特征利用第三解码层进行解码来获得第三预测结果；
将第一拼接结果进行上采样，将上采样后的结果与第一尺度的语义特征进行拼接以获得第二拼接结果，将第二拼接结果进行上采样，并基于上采样的语义特征利用第一解码层进行解码来获得第一预测结果。
15.如权利要求9或12所述的方法，其中，所述利用解码器的多个解码层对所述多种尺度的语义特征进行解码来获得与每种尺度的语义特征对应的预测结果，还包括：
将进一步提取的语义特征拼接之后进行上采样，并基于上采样的语义特征利用第N解码层获得与第N尺度的语义特征对应的第N预测结果。
16.如权利要求7所述的方法，其中，所述将与每种尺度的语义特征对应的预测结果进行整合，包括：
将多个解码层的预测结果按照预测结果所对应的语义特征的尺度大小自下而上进行整合，依次将下层的预测结果与相邻的上层的预测结果进行整合来获得最终预测结果。
17.如权利要求16所述的方法，其中，所述将多个解码层的预测结果按照预测结果所对应的语义特征的尺度大小自下而上进行整合，依次将下层的预测结果与相邻的上层的预测结果进行整合来获得最终预测结果，包括：
在n大于2的情况下，将第n预测结果与第n-1预测结果进行整合，并将整合结果与第n-2预测结果进行整合；
在n等于2的情况下，将第n预测结果与第n-1预测结果进行整合。
18.如权利要求17所述的方法，其中，N是4，所述将与每种尺度的语义特征对应的预测结果进行整合，包括：
将第四预测结果与第三预测结果进行整合，将整合结果与第二预测结果进行进一步整合，将进一步整合的结果与第一预测结果进行整合，并将整合后的结果作为最终预测结果。
19.如权利要求17所述的方法，其中，所述进行整合包括将待整合的两个对象进行像素级别的比较，寻找与每个像素对应的最大预测值，作为最终预测结果。
20.如权利要求1所述的方法，其中，所述深度神经网络模型是利用深监督方式训练得到的，
其中，在所述深度神经网络模型训练过程中，通过计算解码器的所述多个解码层中的每个解码层的预测损失来得到反向传播的梯度，以更新编码器中的每个编码层的参数。
21.一种利用深...
【专利技术属性】
技术研发人员：杨林，亢宇鑫，李涵生，崔磊，费达，付士军，徐黎，杨海英，
申请(专利权)人：杭州迪英加科技有限公司，阿斯利康投资中国有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。