一种基于YOLO和U-Net的口腔曲断影像智齿分割方法技术

一种基于YOLO和U‑Net的口腔曲断影像智齿分割方法，步骤为：1.对口腔曲断影像进行图像预处理，对预处理后图像中的智齿进行位置标注得到位置标签，并划分训练集和测试集；2.利用图像和位置标签训练YOLO模型，设置空间位置的置信度阈值，得到智齿的空间位置信息；3.基于智齿的空间位置信息进行切片处理，将得到的所有包含智齿的切片进行预处理，预处理后对训练集的切片进行像素级的类别标注；4.训练集的切片图像和位置标签训练U‑Net模型，设置像素类别的置信度阈值进行二值化，得到智齿的像素级分类信息，完成智齿分割；本发明专利技术通过两阶段实现口腔曲断影像的智齿分割，有效提升智齿的定位精度、缩小智齿分割的计算开销，提升口腔曲断影像智齿分割的速度和精度。

【技术实现步骤摘要】
一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
本专利技术涉及医学图像分割
，具体涉及一种基于YOLO和U-Net的口腔曲断影像智齿分割方法。
技术介绍
牙齿是人类重要器官之一，且由智齿引起的问题在口腔疾病占据了相当一部分比例，智齿的生长状态也是需要对其进行手术移除与否的重要依据；同时，在法医学中，智齿对年龄的判定有着至关重要的作用。因此相比于其他牙齿，选取智齿作为研究目标具有更广泛的受众与更高的临床应用价值。同时，口腔医学影像在国内最普遍的形式为口腔曲断图像。2015年，LongJonathan等人[1]提出全卷积网络，可以对图像进行像素级的分类，从而解决了语义级别的图像分割问题。此工作是深度学习应用于图像分割的开山之作。然而，全卷积网络在对图像进行分割时，上采样层将特征恢复到原图像的大小，此过程会导致像素定位不精确，从而影响分割结果的准确性。针对上述局限性，OlafRonneberger等人[2]提出了U-net网络结构，U-net是基于FCN的一种语义分割网络，适用于做医学图像的分割。U-net网络结构与FCN网络结构相似，也是分为下采样阶段和上采样阶段，网络结构中只有卷积层和池化层，没有全连接层，网络中较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题，从而可以实现图像语义级别的分割。然而，U-Net直接应用于口腔曲断影像智齿分割中，存在以下两个问题：(1)在特征较为复杂的口腔曲断影像中，由于智齿与其余牙齿的结构相似只是空间位置不同，U-Net可以捕捉牙齿的形态特征，但无法准确捕捉智齿的空间位置特征，因此单纯使用U-Net无法得到准确的智齿分割结果；(2)口腔曲断影像尺寸较大，而智齿的占比较小，单颗智齿仅占全片约0.6％的面积，使用U-Net对口腔曲断影像直接进行智齿分割会导致大部分算力浪费在没有智齿的背景区域。[1]E.Shelhamer,J.Long,andT.Darrell,“Fullyconvolutionalnetworksforsemanticsegmentation,”IEEETransactionsonPatternAnalysisandMachineIntelligence,2016.[2]O.Ronneberger,P.Fischer,andT.Brox,“U-net:Convolutionalnetworksforbiomedicalimagesegmentation,”inInternationalConferenceonMedicalImageComputingandCom-puter-AssistedIntervention,pp.234–241,Springer,2015.
技术实现思路
为了解决现有基于U-Net的口腔曲断影像智齿分割应用中存在的问题，本专利技术的目的在于提供一种基于YOLO(“你只看一次”算法)和U-Net的口腔曲断影像智齿分割方法，用于分割，在连通成分分析方面比现有方法的查准率和查全率都有效提高。为达到以上目的，本专利技术采用如下技术方案：一种基于YOLO和U-Net的口腔曲断影像智齿分割方法，首先对口腔曲断影像进行图像预处理，对预处理后图像中的智齿进行位置标注得到位置标签，并划分训练集和测试集；随后利用图像和位置标签训练YOLO模型，设置空间位置的置信度阈值，得到智齿的空间位置信息；然后基于智齿的空间位置信息进行切片处理，将得到的所有包含智齿的切片进行预处理，预处理后对训练集的切片进行像素级的类别标注；最后采用训练集的切片图像和位置标签训练U-Net模型，设置像素类别的置信度阈值进行二值化，最终得到智齿的像素级分类信息，完成智齿分割；具体包括如下步骤：步骤1：对原始的口腔曲断影像进行图像预处理，提升图像质量；对预处理后图像中的智齿进行空间位置的手工标注得到使用智齿区域左上坐标和右下坐标表示的位置标签，并将图像和标签按照7:3的比例划分为训练集和测试集；步骤2：为检测智齿空间位置，使用基于C语言的Darknet框架搭建YOLO模型，将训练集输入YOLO模型进行训练；完成训练后，将测试集输入YOLO模型得到目标检测预测结果，与位置标签进行比较，计算目标检测的精度；步骤3：将训练集和测试集中包含智齿的区域进行切割，得到包含智齿的局部切片，训练集的切片是由手工标注得到，测试集包含智齿的切片是YOLO模型预测的结果；对所有切片进行预处理，提升切片图像的质量，并对训练集和测试集的切片进行像素级标注，得到用于U-Net图像分割的新数据集；步骤4：使用基于Python的Keras框架搭建U-Net模型，将训练集切片输入U-Net模型进行训练；完成训练后，将测试集切片输入U-Net模型得到智齿分割结果，与位置标签进行比较，计算智齿分割的精度；最后设置阈值，对分割结果进行二值化处理。步骤1所述的对原始的口腔曲断影像进行图像预处理的具体方式为，直方图均衡结合Gamma系数为1.6的Gamma变换，以均衡图像的灰度并放大特征。优选的，步骤1所述的对预处理后图像中的智齿进行空间位置的手工标注的过程中，利用了智齿的位置在所有牙齿边缘的特点，对标注框进行了尺寸设计，强化了智齿的特征。优选的，步骤2所述的基于C语言的Darknet框架搭建YOLO模型，设置的超参数为：设置学习率为0.0001，迭代次数为20000，优化器为Adam，激活函数为LeakyReLU。优选的，步骤3所述的对所有切片进行预处理，具体操作为尺寸归一化、直方图均衡。优选的，步骤4所述的基于Python的Keras框架搭建U-Net模型，设置的超参数为：设置学习率为0.0005，迭代次数为200，优化器为Adam，激活函数为ReLU。本专利技术采用的基于YOLO和U-Net的口腔曲断影像智齿分割方法与已有技术相比创新点如下：1)解决了U-Net空间定位能力不足的问题：相比于单纯依靠U-Net从口腔曲断影像中分割智齿的方法，本专利技术将分割过程中的智齿空间定位独立出来，使用目标检测的算法实现，同时由于智齿在所有牙齿中的边缘位置，基于这个特性进行标注，可以有效的提取智齿的空间位置；基于51张口腔曲断影像训练的YOLO模型，可以在测试集上达到97％的精度，远远高于单纯使用U-Net所得到的定位精度，同时由于分割过程在切片中进行，切片外的背景区域不会有任何假阳性的分割结果，同样提升了分割的精度；2)解决了U-Net应用于大图片的小物体分割中的低效问题：由于单颗智齿前景面积仅占全片的约0.6％，近97％的区域都是无关的背景，通过YOLO目标检测得到预测的切片后，智齿前景面积约占切片的35％，简化了U-Net完成智齿分割的计算量，同时通过目标检测过程剔除了特征较为相似的其他牙齿，降低了分割过程中的噪声。附图说明图1为本专利技术基于YOLO和U-Net的口腔曲断影像智齿分割方法的流程图。图2为步骤2中使用YOLO模型进行目标检测的输出图，方框中标题为“智本文档来自技高网...

【技术保护点】
1.一种基于YOLO和U-Net的口腔曲断影像智齿分割方法，其特征在于：首先对口腔曲断影像进行图像预处理，对预处理后图像中的智齿进行位置标注得到位置标签，并划分训练集和测试集；随后利用图像和位置标签训练YOLO模型，设置空间位置的置信度阈值，得到智齿的空间位置信息；然后基于智齿的空间位置信息进行切片处理，将得到的所有包含智齿的切片进行预处理，预处理后对训练集的切片进行像素级的类别标注；最后采用训练集的切片图像和位置标签训练U-Net模型，设置像素类别的置信度阈值进行二值化，最终得到智齿的像素级分类信息，完成智齿分割；具体包括如下步骤：/n步骤1：对原始的口腔曲断影像进行图像预处理，提升图像质量；对预处理后图像中的智齿进行空间位置的手工标注得到使用智齿区域左上坐标和右下坐标表示的位置标签，并将图像和标签按照7:3的比例划分为训练集和测试集；/n步骤2：为检测智齿空间位置，使用基于C语言的Darknet框架搭建YOLO模型，将训练集输入YOLO模型进行训练；完成训练后，将测试集输入YOLO模型得到目标检测预测结果，与位置标签进行比较，计算目标检测的精度；/n步骤3：将训练集和测试集中包含智齿的区域进行切割，得到包含智齿的局部切片，训练集的切片是由手工标注得到，测试集包含智齿的切片是YOLO模型预测的结果；对所有切片进行预处理，提升切片图像的质量，并对训练集和测试集的切片进行像素级标注，得到用于U-Net图像分割的新数据集；/n步骤4：使用基于Python的Keras框架搭建U-Net模型，将训练集切片输入U-Net模型进行训练；完成训练后，将测试集切片输入U-Net模型得到智齿分割结果，与位置标签进行比较，计算智齿分割的精度；最后设置阈值，对分割结果进行二值化处理。/n...

【技术特征摘要】
1.一种基于YOLO和U-Net的口腔曲断影像智齿分割方法，其特征在于：首先对口腔曲断影像进行图像预处理，对预处理后图像中的智齿进行位置标注得到位置标签，并划分训练集和测试集；随后利用图像和位置标签训练YOLO模型，设置空间位置的置信度阈值，得到智齿的空间位置信息；然后基于智齿的空间位置信息进行切片处理，将得到的所有包含智齿的切片进行预处理，预处理后对训练集的切片进行像素级的类别标注；最后采用训练集的切片图像和位置标签训练U-Net模型，设置像素类别的置信度阈值进行二值化，最终得到智齿的像素级分类信息，完成智齿分割；具体包括如下步骤：
步骤1：对原始的口腔曲断影像进行图像预处理，提升图像质量；对预处理后图像中的智齿进行空间位置的手工标注得到使用智齿区域左上坐标和右下坐标表示的位置标签，并将图像和标签按照7:3的比例划分为训练集和测试集；
步骤2：为检测智齿空间位置，使用基于C语言的Darknet框架搭建YOLO模型，将训练集输入YOLO模型进行训练；完成训练后，将测试集输入YOLO模型得到目标检测预测结果，与位置标签进行比较，计算目标检测的精度；
步骤3：将训练集和测试集中包含智齿的区域进行切割，得到包含智齿的局部切片，训练集的切片是由手工标注得到，测试集包含智齿的切片是YOLO模型预测的结果；对所有切片进行预处理，提升切片图像的质量，并对训练集和测试集的切片进行像素级标注，得到用于U-Net图像分割的新数据集；
步骤4：使用基于Python的Keras框架搭建U-Net模型，将训练集切片输入U-Net模型进行训练；完成训练后，将测试集切片...

【专利技术属性】
技术研发人员：杨旸，景相宜，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61