【技术实现步骤摘要】
本专利技术属于医学器官图像实例分割及计算机医疗辅助领域，涉及一种基于扩散先验修复的牙体结构化实例分割方法。
技术介绍
1、口腔疾病是一种普遍存在的慢性疾病，是导致系统性疾病如心血管疾病和胃肠道肿瘤的潜在因素。在临床牙科诊断中，口腔全景片具有辐射暴露低、成本效益高、成像速度快等优点，已成为牙科诊室最重要的放射诊断工具之一。通过对全景片内的牙齿进行实例分割，诊断系统可以准确地检测出全景图中以牙齿为中心的靶点。这使得每颗牙齿的形态、尺寸、位置和分类的完整描述成为可能。目前多项研究已经成功地将实例分割相关技术应用于口腔全景片中，并取得了令人印象深刻的效果。虽然目前的任务中，牙齿图像实例分割为医生提供了有价值的对象级信息，但其应用主要局限于初步任务，例如牙齿邻接分离、个体计数、缺失检测或实例分类等。
2、较为精细的基础任务，即对牙齿个体的牙釉质、牙本质和牙髓腔等的结构化分割，可为后续多种额外任务提供建设基础。目前针对于口腔全景片，牙齿个体结构化分割的相关文献较少，相关文献主要集中在使用两阶段分割方法。比较典型的方法是，使用maskrcnn实例分割模型分割出单颗牙齿个体区域，并通过最小包围框进行裁剪，再使用unet模型对牙齿个体进行语义分割，来获取对应的结构化分割结果。
3、但使用两阶段方法的分割速度相对较慢，不利于临床的快速辅助诊断。且针对口腔全景片，存在个体口腔环境差异度大，口腔中存在残留牙根、龋齿或断齿等龋坏区，填充龋洞的填充材料等破坏牙体结构情况；另外由于拍摄质量不稳定，拍摄手法等问题，会出现对比度不合适，存
技术实现思路
1、针对上述问题，本专利技术提供了一种基于扩散先验修复的牙体结构化实例分割方法。本方法提出了一个新的模型框架dsis-dpr，其结合了牙齿结构实例分割网络dsis和增强的扩散先验修复网络dpr。针对于牙齿结构化分割，利用对应图像的图像级细粒度特征融合获得更丰富的内部解剖结构表达。并提出了结构感知模块，通过对抗性学习的整合，增强了结构化分割的表达。定制异常检测模块adm来检测牙体实例中的的异常结构，通过伪标签生成器分别对牙釉质、牙本质和牙髓检查其预测结构化分割结果的异常区域，并在推断阶段将异常结构映射聚合到异常掩码中。最后，本方法通过口腔临床的先验知识学习，利用扩散模型学习所有正常牙齿结构的先验分布，在异常掩码的引导下对牙体实例结构化预测的异常区域进行修复，以校正结构化实例分割网络预测结果的不完整，以得到在有填充材料或断牙等常见破坏牙体区域的情况下实现正常牙体结构的分割。
2、技术问题所采用的技术方案实现如下：
3、基于扩散先验修复的牙体结构化实例分割方法，其步骤如下：
4、步骤1.获取由口腔全景片构成的数据集并标注，得到的全景片结构注释的初步数据集tsd，其包含原始口腔全景片与对应json格式注释。
5、步骤2.数据处理，对初步数据集tsd的全景片进行中心裁剪，去除非牙外周区域，提高牙体前景占比，根据注释分割牙体实例，获取全景片内所有牙体实例的结构化标注结果拆分存储得到数据集tpsd。
6、步骤3.定义牙体实例结构化分割网络dsis，将数据集tsd输入该网络中进行牙体实例分割，并得到牙体结构化分割结果。
7、所述的牙体实例结构化分割网络采用了生成对抗训练方式来训练补充结构化分割结果的细节，其分为生成器和判别器两个部分。
8、判别器训练补充结构化分割结果的细节；生成器即牙体实例结构分割初步网络，分为图像高层语义特征提取模块和图像级别细粒度特征提取模块。
9、步骤4.构建异常检测模块adm，其输入为牙体结构化分割结果，输出为融合的异常结构掩码。该模块包括两条支路，即异常检测器支路和病变结构支路。异常检测器支路含有异常检测器、块级判别图模块和可疑破坏区域热点图模块。将两条支路生成的类激活权图、异常块区域和病变异常区域特征图拼接融合，得到异常结构掩码。
10、步骤5.构建扩散先验牙体结构修复网络dpr，使用步骤2中预处理得到的tpsd数据集，将没有任何病变区域的牙齿实例用作该修复网络的训练数据。保留训练的参数，在推理阶段，将原始牙齿实例图像与对应的牙齿实例结构预测结果中牙齿正常结构的三个通道按通道连接的特征图输入，得到最后精细化的预测结构掩码，修复结构化分割结果。
11、步骤3所述的牙体实例结构化分割网络dsis，将步骤2所述的tsd数据集输入该网络中进行牙体实例分割，最终得到牙体结构化分割结果。
12、所述的dsis采用生成对抗训练方式，可分为生成器和判别器(结构化感知模块)两个部分。判别器用于训练补充结构化分割结果的细节。
13、生成器即牙体实例结构分割初步网络，分为图像高层语义特征提取模块和图像级别细粒度特征提取模块。
14、步骤3.1具体的说图像高层语义特征模块，将口腔全景片输入mask rcnn的backbone骨干网络进行图像特征提取，即结合resnet50/101编码器和特征金字塔网络fpn获取牙齿候选区域的特征映射。然后，通过区域候选框网络rpn生成牙体实例的候选框，并利用感兴趣区域对齐操作从特征映射中提取牙体实例的高层语义特征。最后，通过候选框定位损失函数来训练网络，候选框定位损失定义如下：
15、
16、其中，n’为训练过程为每张口腔全景片初始设置的候选框个数，和分别表示类别损失和候选框回归损失，pi和ti分别表示第i个候选框对应牙体实例的置信度和对应的候选框信息，和分别表示该候选框对应牙体实例的前景类别及位置信息。
17、图像高层语义特征模块的输出结果，对于第i个牙齿实例，获取fpn网络提取的高层语义特征fis。
18、步骤3.2图像级别细粒度特征提取模块，利用骨干网络中感兴趣区域池化，获得感兴趣区域对应牙齿实例原始全景片图像特征。引入一个辅助编码器，得到二次特征提取图像级别特征fii。对提取的高级语义特征fis，使用转置卷积提升特征图大小并进行插值，最后将两个特征进行融合，再进行多分类分割头maskdecodesegm得到预测的牙齿实例结构化分割掩码计算公式如下：
19、
20、其中，fis为候选框ti对应的特征映射中对应层的特征图，i为三通道牙齿全景片，convtranspose(·)表示转置卷积函数，maskdecodesegm(·)表示解码器与多分类分割头，通过将图像级特征与特征映射进行对齐，获得相同尺寸的特征表示。然后，将对齐后的特本文档来自技高网...
【技术保护点】
1.基于扩散先验修复的牙体结构化实例分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于，步骤3所述的牙体实例结构化分割网络DSIS，采用生成对抗训练方式，分为生成器和判别器两个部分；
3.根据权利要求2所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于，步骤3具体过程如下：
4.根据权利要求3所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于，步骤4所述的异常检测模块ADM，包括异常检测器支路和病变结构支路两条支路，异常检测器支路含有异常检测器、块级判别图模块和可疑破坏区域热点图模块。
5.根据权利要求4所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于，步骤4具体过程如下：
6.根据权利要求5所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于，在步骤4.1中，还包括：在对应类别的掩码中采用缩放方式，使块级判别图模块聚焦于断裂或缺失部分。
7.根据权利要求6所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于
...【技术特征摘要】
1.基于扩散先验修复的牙体结构化实例分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于，步骤3所述的牙体实例结构化分割网络dsis，采用生成对抗训练方式，分为生成器和判别器两个部分；
3.根据权利要求2所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于，步骤3具体过程如下：
4.根据权利要求3所述的基于扩散先验修复的牙体结构化实例分割方法，其特征在于，步骤4所述的异常检测模块adm，包括异常检测器...
【专利技术属性】
技术研发人员：蒋凯盛，俞俊，王显赟，朱素果，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。