一种基于深度学习的葡萄胎切片图像处理方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的葡萄胎切片图像处理方法及装置，属于医学影像技术领域中葡萄胎的医学影像检测，用于解决现有技术中葡萄胎临床诊断检测的效率低的问题。本发明专利技术通过将葡萄胎切片扫描图的切片水肿分布图、切片增生分布图输入金字塔池化层得到特征向量，将特征向量输入诊断网络d‑net以得到预测的葡萄胎切片分类结果，在实际应用中辅助病理医师进行检测。

【技术实现步骤摘要】
一种基于深度学习的葡萄胎切片图像处理方法及装置
本专利技术属于医学影像
，涉及一种葡萄胎的医学影像检测，尤其涉及一种用深度学习的方法对葡萄胎切片图像处理的方法。
技术介绍
葡萄胎(HM)是指妊娠后胎盘形成的形如葡萄串的水泡状胎块。而葡萄胎婴儿多死亡或形成畸胎，极少有足月婴诞生。在一般情况下，有10％到20％的葡萄胎会发展演变成恶性的葡萄胎以及绒毛膜癌，这类癌症会通过血型团泊进行转移，如果治疗不及时就会给患者带来生命威胁。因此，葡萄胎的早期病理诊断对每位患病孕妇都有重要意义。现有技术中，对葡萄胎的检测、筛查主要有两种方式，第一种是通过显微镜人工观察切片，第二种是通过检测与葡萄胎相关的基因。第一种方式中，一般病理医师使用5*10倍与10*10倍的显微镜对病人多个切片进行观察，然后根据经验和切片组织细胞的形态进行综合诊断。葡萄胎诊断主要通过观察切片中的绒毛特征进行诊断，切片病理特征主要为绒毛滋养细胞增生和绒毛内部间质水肿。妇科医院的病理科医生每天需要花费大量的时间去诊断类似葡萄胎这类相较于肿瘤危险系数较低的病症，而这些患者中大多数未患病，但这些需要占用病理科医师大量的工作时间。但是，目前国内病理科医师人数在1.5w左右，人才缺口较大，检测的效率较低；另外，临床葡萄胎诊断由于主要由医师人工筛查切片，因此准确率很难保证，尤其对于12周以前的葡萄胎，由于葡萄胎未到成熟期，病灶发育不完全，组织形态与正常葡萄胎切片较为相似，不易区分，造成临床诊断准确率极低，不到50％。第二种方式中，申请号为201310027715.1、名称为用于检测NLRP7基因的基因芯片、检测试剂和试剂盒的专利技术专利就公开了通过检测与葡萄胎相关的NLRP7基因SNP，实现对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义，可广泛用于临床高效筛查葡萄胎高危人群。该专利技术专利构建了筛查与葡萄胎相关的NLRP7基因多态性高危人群的基因芯片检测系统，基因芯片包括固相载体和合成在该载体上的寡核苷酸探针，检测试剂包括基因芯片和18对用于扩增样本中各SNPs的PCR引物，试剂盒包括检测试剂、一阴性对照样本和一阳性对照样本。该专利技术专利可快速、准确检测临床样本中的NLRP7基因各个相关SNPs位点，对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义。虽然，通过检测基因筛查葡萄胎固然有其存在的必要性，但是通过检测NLRP7基因对葡萄胎进行筛查一是增加了试剂盒检测步骤，整个检测周期会比较长，另外就是会涉及到芯片生产、试剂以及试剂盒的生产，筛查成本大幅上升，在葡萄胎临床诊断中应用范围非常受限，不易推广、应用。基于上述病理科医师人数少、医师人工筛查切片效率低、医师人工筛查切片精度低以及基因检测筛查成本高、基因检测筛查周期长的现状，有必要研发一整套从显微镜自动获取图像到生成水肿、增生等病理特征分布图的方法和装置，从而辅助临床医生更高效的筛查病例。临床病理科医生主要通过绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生等病理特征和病人绝经时长、妊娠史等信息综合判断是否为葡萄胎病症，其中绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生两种病理特征是较为关键的两个诊断依据。
技术实现思路
本专利技术的目的在于：提供一种基于深度学习的葡萄胎切片图像处理方法及装置，通过获得葡萄胎的绒毛、水肿、增生分布情况，以解决现有技术中通过人工观察切片组织的病理特征致使的葡萄胎临床诊断检测的效率低的问题。本专利技术采用的技术方案如下：一种基于深度学习的葡萄胎切片图像处理方法，步骤如下：S1，将切片水肿分布图、切片增生分布图输入金字塔池化层，得到特征向量；S2，将步骤S1中得到的特征向量输入分类网络d-net，输出葡萄胎切片的网络分类结果。可选地，步骤S1中，切片水肿分布图、切片增生分布图可以通过人工标注获取，也可以通过以下步骤获取：S1-1，将he染色好的葡萄胎切片放入显微镜载物台，显微镜对焦，并获取葡萄胎切片在显微镜下的葡萄胎切片扫描图；S1-2，将葡萄胎切片扫描图切块，得到扫描图切块一，将扫描图切块一输入绒毛网络a-net，得到葡萄胎切片的切块绒毛标签图，将所有切块绒毛标签图融合得到切片绒毛标签图；得到扫描图切块二，将扫描图切块二输入水肿网络b-net，得到葡萄胎切片的切块水肿标签图，将所有切块水肿标签图融合得到切片水肿标签图；将葡萄胎切片扫描图切块，得到扫描图切块三，将扫描图切块三输入增生网络c-net，得到葡萄胎切片的切块增生标签图，将所有切块增生标签图融合得到切片增生标签图；S1-3，根据切片水肿标签图、切片增生标签图分别得到切片水肿分布图、切片增生分布图；可选地，步骤S1-2中，绒毛网络a-net、水肿网络b-net和增生网络c-net均为图像分割网络UNet网络，网络包括卷积层、池化层、上卷积层、并和层。扫描图切块一经过绒毛网络a-net得到切块绒毛标签图，扫描图切块二经过水肿网络b-net得到切块水肿标签图，扫描图切块三经过增生网络c-net后得到切块增生标签。可选地，步骤S1-2中，葡萄胎切片图像切块是将切片以间隔s切成若干尺寸为size的切块,上下左右相邻的两个切块有size×(size-s)的面积重合，其中扫描图切块一尺寸size1为3000×3000～18000×18000的像素尺寸，扫描图切块二尺寸size2为1500×1500～9000×9000的像素尺寸，扫描图切块三尺寸size3为1500×1500～9000×9000的像素尺寸。可选地，步骤S1-2中，切块水肿标签图融合得到切片水肿标签图是将所有切块水肿标签图按原先切块在切片中对应位置进行拼接，上下左右相邻切块的重合部分按多个切块图像的重合部分像素均值拟合；切片增生标签图采用类似操作获取。可选地，步骤S1-3中，根据切片绒毛标签图得到绒毛区域，将切片水肿标签图中绒毛区域之外的水肿区域剔除，得到切片水肿分布图；绒毛区域和非绒毛区域是指切片绒毛标签图中像素值为0和255的区域，水肿区域和非水肿区域是指切片水肿标签图中像素值为0和255的区域，将切片水肿标签图中对应的绒毛区域之外的水肿区域像素值变为255，得到切片水肿分布图；切片增生分布图采用类似操作获取。可选地，步骤S1-3中，可以将得到的分布图进行可视化输出。根据葡萄胎切片图像、切片水肿分布图、切片增生分布图得到水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图，将所述水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图和S2中得到的葡萄胎切片分类结果显示输出；所述水肿可视化切片图像是将葡萄胎切片图像中的水肿区域标注第一颜色得到，所述增生可视化切片图像是将葡萄胎切片图像中的水肿区域标注第二颜色得到；所述水肿区域截图是通过将切片水肿分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为水肿区域截图，所述增生区域本文档来自技高网...

【技术保护点】
1.一种葡萄胎切片图像处理方法，其特征在于，步骤如下：/nS1，将葡萄胎切片图像的切片水肿分布图、切片增生分布图分别输入不同尺度的金字塔池化层，得到葡萄胎切片图像的特征向量；/nS2，将步骤S1中得到的特征向量输入全连接神经网络，输出葡萄胎切片的分类结果。/n

【技术特征摘要】
1.一种葡萄胎切片图像处理方法，其特征在于，步骤如下：
S1，将葡萄胎切片图像的切片水肿分布图、切片增生分布图分别输入不同尺度的金字塔池化层，得到葡萄胎切片图像的特征向量；
S2，将步骤S1中得到的特征向量输入全连接神经网络，输出葡萄胎切片的分类结果。


2.如权利要求1所述的一种葡萄胎切片图像处理方法，其特征在于，还包括步骤S3：
根据葡萄胎切片图像、切片水肿分布图、切片增生分布图得到水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图，将所述水肿可视化切片图像、增生可视化切片图像、水肿区域截图、增生区域截图和S2中得到的葡萄胎切片分类结果显示输出。


3.如权利要求2所述的一种葡萄胎切片图像处理方法，其特征在于，包括：
所述水肿可视化切片图像是将葡萄胎切片图像中的水肿区域标注第一颜色得到，所述增生可视化切片图像是将葡萄胎切片图像中的水肿区域标注第二颜色得到；
所述水肿区域截图是通过将切片水肿分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为水肿区域截图，所述增生区域截图是通过将切片增生分布图按尺寸size切块得到，切块像素均值最小的1～10个切块对应的切块图像为增生区域截图。


4.如权利要求1所述的一种葡萄胎切片图像处理方法，其特征在于，步骤S1中，将切片水肿分布图切成12,...,(n1-1)2,n12的网格图，将切片增生分布图切成12,...,(n2-1)2,n22的网格图(n1≠n2)，对每一块网格图进行均值池化得到个特征值，共计得到个特征值的特征向量。


5.如权利要求1所述的一种葡萄胎切片图像处理方法，其特征在于，步骤S2中，将特征向量作为全连接神经网络全连接神经网络的输入。全连接神经网络包括输入层、中间层和输出层，输入层为金字塔池化层输出的个特征值的特征向量，中间层为m个神经元，输出层为表示网络分类结果的三个输出神经元，网络输出结果包括葡萄胎、非葡萄胎和疑似葡萄胎三个类别。


6.一种葡萄胎切片图像处理装置，其特征在于，包括：
特征向量生成模块，用于将切片水肿分布图、切片增生分布图输入金字塔池化层，得到特征向量；
网络分类结果生成模块，用于将所述特征向量输入全连接网络，输出葡萄胎切片的分类结果。


7.如权利要求6所述的一种葡萄胎切片图像处理装置...

【专利技术属性】
技术研发人员：师丽，朱承泽，王松伟，张小安，曾宪旭，王治忠，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11