基于卷积神经网络的胃癌病灶检测方法及装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，尤其涉及基于卷积神经网络的胃癌病灶检测方法及装置。本发明专利技术公开了一种基于卷积神经网络的胃癌病灶检测方法，包括下列步骤：S1、待测的胃癌样本大体图像的预处理；S2、基于目标检测算法模型的病灶目标提取及置信度分析，输出病灶检测结果；或S3、基于语义分割算法模型的病灶目标精细分割与勾勒，输出病灶检测结果。本发明专利技术方法首创利用胃癌样本大体图像，可自动化定位胃切除标本中癌灶和胃内或胃周转移性癌灶，同时给出分析结果的置信度，辅助检验医师对标本进行准确切取病变部位，提高癌灶检出效率，减少漏诊率。

【技术实现步骤摘要】
基于卷积神经网络的胃癌病灶检测方法及装置
本专利技术涉及图像处理
，尤其涉及一种基于卷积神经网络的胃癌病灶检测方法及装置。
技术介绍
人工智能(artificialintelligence,AI)是计算机科学的一个分支，致力于设计并执行近似人类智能的计算机算法，使计算机算法达到与人类智能执行任务时相似的工作效果。机器学习(machineLearning,ML)是人工智能领域的分支，指所有通过非显性编程就能使机器从数据集中学习、预测阳性事件并进行决策。机器学习分为有监督学习、无监督学习、半监督学习及强化学习。深度学习(deeplearning,DL)属于机器学习范畴，其中应用最广泛的深度学习模型便是卷积神经网络(convolutionalneuralnetwork,CNN)，该算法是一类包括卷积计算并且具有深度网络结构的深度学习算法，在医学图像处理领域能够用于图像分类、目标检测及语义分割等多个方面。CNN具有优秀的图像特征提取能力，该类模型常作为目标检测及语义分割的特征提取骨架(backbone)对模型特征进行提取。常用的CNN模型包括VGG、Inception、ResNet、Mobilenet、Xception等。目标检测(objectdetection)一直以来都是计算机视觉领域的研究热点。目标检测的目的是确定某张给定图像中是否存在给定类别的目标。例如，在医学影像领域，可以明确图像中是否有肿瘤病灶，如果该图像中存在目标病灶，目标检测算法就返回每个目标实例的空间位置和覆盖范围，返回一个目标检测预测框，并在框的上方标注置信度(confidence)。随着CNN模型的出现，结合以CNN算法作为主干特征提取网络骨架的目标检测算法应运而生。语义分割(semanticsegmentation)是通过对给定图像内的每个像素点进行识别后作出分类，能够在像素层面精确的分割图像中目标区域与背景区域。语义分割与单纯提取病灶的目标检测不同之处在于，能够对图像中的病灶区域进行精准勾勒，更符合肿瘤精准诊断与精准治疗的实际需求。常用的语义分割算法包括SegNet、UNet、PSPNet和DeepLab等。语义分割算法中的UNet算法及其衍生算法因其结构简单并能够充分利用编码(encoder)过程中提取深层及浅层图像特征，在医学图像处理分析领域具有十分广泛的应用前景。胃肿瘤外科治疗后的手术切除标本图像是医生明确病灶数目、病灶侵犯深度、病灶扩散程度的第一手资料，需要切取准确的病灶部位制备病理切片做出精准诊断，从而指导后续的治疗方案选择。迄今为止一直依赖于外科医师和病理科医师的肉眼判断，难免存在微小病灶或者转移病灶被遗漏的现象。随着诊疗技术的不断提高和胃镜检查等的普及，早期胃癌的检出率正在逐年提高，从而得到及时的手术切除治疗。但早期胃癌手术切除标本中病灶的精准定位是目前临床病理切取标本的难题之一，有时候只能凭借医师的经验识别，或者依靠手术医师在可疑病灶处使用缝合线作为标注提示，而对于胃内的多发性病灶或者主病灶出现胃内的多发性转移灶、以及胃周围转移淋巴结或者癌结节灶识别则是世界范围内公认的难点。
技术实现思路
本专利技术的目的在于提供一种基于卷积神经网络的胃癌病灶检测方法及装置，以解决早期胃癌手术切除标本临床病理精准切取标本的难题，以及微小病灶或者转移病灶被遗漏的现象。为此，本专利技术公开了一种基于卷积神经网络的胃癌病灶检测方法，包括下列步骤：S1、待测的胃癌样本大体图像的预处理；S2、基于目标检测算法模型的病灶目标提取及置信度分析，输出病灶检测结果；或S3、基于语义分割算法模型的病灶目标精细分割与勾勒，输出病灶检测结果。进一步，所述步骤S1具体为：S101、胃癌样本大体图像的采集，包括收集胃癌患者手术切除后标本的整体图像，同时采集全面的临床相关信息，如性别、年龄、肿瘤大体类型等等。S102、图像裁剪。为减小图像训练过程中计算机处理的负荷，充分利用图像的每个像素，对图像裁去周围过多的无关区域信息，比如出血区、纱布区、器械区或者过多的网膜组织等等，仅保留胃部主体图像部分。同时注意裁去能提示患者个人信息部分，做好患者隐私保护。该图像裁剪预处理过程必不可少，主要是防止模型训练过程中过多无关信息会影响模型的效能。进一步，所述目标检测模型是以CNN模型作为主干特征提取网络，构建目标检测模型。主干特征网络可使用多种CNN模型，包括VGG16、MobileNet、ResNet50、Inceptionv3、Inception-ResNet-v2和Xception等。同时可结合使用多种目标检测模型，包括SSD、FasterR-CNN、YOLO、CenterNet和Efficientdet等。具体过程包括：(1)输入图像大小的调整。目标检测模型根据网络结构调整输入图像的大小，所需输入图像的结构为长×宽×通道数(height×width×channel)。(2)主干特征提取网络的构建。使用主干CNN模型提取有效特征层。有效特征层的表示方法为有效特征层长×宽×通道数(height×width×channel)。主干特征模型可将采用大多数CNN模型，包括VGG16、MobileNet、ResNet50、Inceptionv3、Inception-ResNet-v2和Xception等。(3)单脉冲多盒探测器(singleshotmultiboxdetector，SSD)目标检测模型的构建。根据主干特征模型提取的特征层结构对图像标注先验框(priorframe)，不同大小特征层标注不同数量的先验框；对于一个大小为height×width×channel的特征层，预先设定对于每个像素值设置先验框数量n，可获得height×width×n个先验框，将所有特征层所提取的先验框数量相加，可获得所有总先验框数量。而后对提取的每一个有效特征层使用两个卷积进行处理。第一个卷积是num_priors×4的卷积，使用4个参数对该特征层上的每个像素每个先验框位置进行调整；第二个卷积是num_priors×num_class的卷积，可获得该特征层上的每个像素每个先验框识别病灶的种类及置信度。(4)最终获得所有调整后的先验框情况及每个调整后先验框里的病灶预测的置信度。进一步，所述胃癌样本图片中病灶目标提取及置信度分析，包括下列步骤：(1)图像大小调整(resize)。根据不同目标检测模型的结构，将图像输入尺寸调整为模型训练所需的长×宽(height×width)。LetterboxImage函数对图像尺寸归一处理，该过程不对图像进行拉伸，而是利用灰色像素值填充空白图像区域，获得不失真图像，使图像达到所需的height×width。(2)图像归一化。将大小调整后的图像像素值归一化为[0,1]。(3)训练权重载入。为实现对输入图像目标的预测，首先载入目标检测模型结构及模型训练权重，而后使用该训练权重对图像进行预测，获得预测结果。预测结果包括目标检测预测结果，先验框调整本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的胃癌病灶检测方法，其特征在于，包括下列步骤：/nS1、待测的胃癌样本大体图像的预处理；/nS2、基于目标检测算法模型的病灶目标提取及置信度分析，输出病灶检测结果；或/nS3、基于语义分割算法模型的病灶目标精细分割与勾勒，输出病灶检测结果。/n

【技术特征摘要】
1.一种基于卷积神经网络的胃癌病灶检测方法，其特征在于，包括下列步骤：
S1、待测的胃癌样本大体图像的预处理；
S2、基于目标检测算法模型的病灶目标提取及置信度分析，输出病灶检测结果；或
S3、基于语义分割算法模型的病灶目标精细分割与勾勒，输出病灶检测结果。


2.如权利要求1所述的胃癌病灶检测方法，其特征在于，所述步骤S1包括：
S101、胃癌样本大体图像的采集；
S102、图像裁剪。


3.如权利要求1所述的胃癌病灶检测方法，其特征在于，所述步骤S2中，目标检测模型是以CNN模型作为主干特征提取网络，构建目标检测模型。


4.如权利要求3所述的胃癌病灶检测方法，其特征在于，所述目标检测模型为MobileNet-SSD模型。


5.如权利要求1所述的胃癌病灶检测方法，其特征在于，所述步骤S2中，胃癌样本图片中病灶目标提取及置信度分析，包括下列步骤：
(1)图像大小调整：根据不同目标检测模型的结构，将图像输入尺寸调整为模型训练所需的长×宽；LetterboxImage函数对图像尺寸归一处理，该过程不对图像进行拉伸，而是利用灰色像素值填充空白图像区域，获得不失真图像，使图像达到所需的height×width；
(2)图像归一化：将大小调整后的图像像素值归一化为[0,1]；
(3)训练权重载入：为实现对输入图像目标的预测，首先载入目标检测模型结构及模型训练权重，而后使用该训练权重对图像进行预测，获得预测结果；预测结果包括目标检测预测结果，先验框调整后预测框内病灶的置信度，先验框位置信息；
(4)预测结果解码：利用先验框和目标检测预测结果处理获得的预测框位置，将预测结果传入BBoxUtility函数进行解码，将目标检测预测结果转换为预测框；而后，对每个预测框中病灶进行分类，并且判断分类结果的置信度是否大于阈值(threshold)；结果大于阈值的预测框保留，结果小于阈值的预测框丢弃；而后进行IoU的非极大值抑制，筛选出置信度较高且重合程度较小的预测框；而后依照不同分类对不同框的置信度进行排序，最后挑选出置信度较高的预测框；
(5)图像复原：使用CorrectBoxes函数去除尺寸大小调整过程中给原图像添加的灰色像素值，使图像恢复原来大小；
(6)输出预测框：输出预测框内病灶分类的标签及该预测框的置信度。


6.如权利要求1所述的胃癌病灶检测方...

【专利技术属性】
技术研发人员：于颖彦，杨蕊馨，严超，朱正纲，
申请(专利权)人：上海交通大学医学院附属瑞金医院，
类型：发明
国别省市：上海;31