基于深度学习的头颅侧位片关键点自动检测系统及方法技术方案

本发明专利技术公开了一种基于深度学习的头颅侧位片关键点自动检测系统及方法。本发明专利技术包括如下步骤：步骤1、头颅侧位片CT图像的收集和预处理；构造模型训练的,且训练集中每个样本都标注出关键点位置；步骤2、构建编码

Automatic detection system and method of key points in lateral cephalogram based on deep learning

【技术实现步骤摘要】
基于深度学习的头颅侧位片关键点自动检测系统及方法


[0001]本专利技术是针对牙齿口腔正畸中的头颅侧位CT片，提供一种基于深度学习的头颅侧位片关键点自动检测系统及方法，通过构建深度学习模型自动识别关键点，辅助牙科正畸。

技术介绍

[0002]随着深度学习以及数字化牙科的快速发展。如何有效的提高牙科正畸医师的效率受到越来越多的关注。深度学习技术辅助牙科治疗领域可以有效的提高了医师的效率，提高正畸诊断、治疗和手术指南的准确性。数字牙科的一个基本组成部分是从头颅侧位CT片中识别关键点从而计算相关角度。精确的识别头颅侧位CT关键点有助于医师的评估模拟。从头颅侧位片中自动和准确的进行关键点的定位一个困难的任务，口腔软组织、CT成像过程中的噪声等原因形成的噪声都会影响医生的诊断。传统的人工标注关键点的方式及效果远远不能满足牙科诊断的需求。

技术实现思路

[0003]本专利技术的目的是针对头颅侧位片的关键点识别问题，提供一种基于深度学习的头颅侧位片关键点自动检测系统及方法，。
[0004]基于深度学习的头颅侧位片关键点自动检测方法，包括如下步骤：
[0005]步骤1、头颅侧位片CT图像的收集和预处理；构造模型训练的,且训练集中每个样本都标注出关键点位置；
[0006]步骤2、构建编码
‑
解码结构的关键点识别模型；
[0007]步骤3、关键点识别模型训练及评估；
[0008]步骤4、对新的头颅侧位片进行关键点预测。结果表明，本专利技术提出的方法可以加快进行头颅侧位片的关键点标注。
[0009]进一步的，步骤1所述的头颅侧位CT图像的收集和预处理具体实现如下
[0010]1‑
1.收集到的原始头颅侧位CT图像数据集由670位患者的头颅侧位CT图像组成，且每位患者CT数据的大小是不固定的png格式或bmp格式的图像。
[0011]1‑
2.通过Vott软件对原始头颅侧位CT图像数据集进行标注，得到学习关键点识别模型的训练数据集；同时为了兼并多种头颅关键点角度测量的方法，将关键点的类别数定义为32类，标签文件保存为CSV格式文件；
[0012]1‑
3.将标注软件Vott标注后得到的CSV格式文件转化为txt文件，每个txt文件对应一个患者的标注信息，该标注信息共32行，从上到下对应标签1
‑
32的关键点的坐标(X,Y)；将标注后的头颅侧位片CT图像对应的标签作为关键点识别模型最终的训练集。
[0013]进一步的，定义的32类别的关键点具体包括：蝶鞍点、鼻根点、眶点、耳点、上齿槽坐点、下齿槽坐点、颏前点、颏下点、颏顶点、下颌角点、下颌中切牙切缘点、上颌中切牙切缘点、上唇突点、下唇突点、鼻下点、软组织之颏前点、后鼻棘、前鼻棘、关节点、颅顶点、髁突中心点、翼点、鼻顶点、颞下颌关节最低点、内下颌角点、上中切牙根尖点、上第一恒磨牙近中
颊尖点、下第一恒磨牙近中颊尖点、下第一恒磨牙园中边缘点、下中切牙根尖点、下颌升支后缘、下颌角后下缘。
[0014]进一步的，步骤2所述的构建编码
‑
解码结构的关键点识别模型，具体实现如下：
[0015]本专利技术提出一种新的编码
‑
解码U形结构网络的关键点识别模型，该关键点识别模型充分利用多尺度特征，引入全尺度的跳跃连接，将编码器和解码器的不同子模块通过嵌套和跳跃连接在一起，该结构能有效的结合来自全尺度特征图的低级语义和高级语义，该关键点识别模型能够有效的学习关键点的深层特征。
[0016]进一步的，关键点识别模型中每个矩形表示一个密集卷积块，通过跳跃连接实现编码器和解码器特征图之间的语义鸿沟。
[0017]进一步的，每个密集卷积块X
i,j
采用VGGBlock的卷积结构，即密集卷积块中的每个卷积后面都进行BN处理以及使用ReLU激活函数；
[0018]进一步的，用f
i,j
表示密集卷积块X
i,j
的输出，其中i表示编码器下采样的索引，j表示沿着跳跃路径上的密集卷积块的索引，f
i,j
的计算为：
[0019][0020]其中C(
·
)表示卷积运算，[]表示直接在通道维度上的连接。当j＝0时，表示只接收来自前一层编码器的输出，密集卷积块X
i,j
的密集卷积块有i+2个输入，其中i+1个输入来自同级以及以上的编码器输出，另一个来自下一级的解码器的输出。同级及以上解码器的输入采用skip connection连接。
[0021]进一步的，由于跳跃路径的存在，模型在多个语义层次上生成全分辨率特征，用二分类交叉熵损失和Dice系数损失的组合作为模型的目标函数：
[0022][0023]其中，Y
b
和分别表示头颅侧位CT图像的预测关键点和标记关键点,N是批次训练的大小，本专利技术设置N＝8。
[0024]基于深度学习的头颅侧位片关键点自动检测系统，包括训练集构造模块、关键点识别模型构建模块、模型训练及评估模块；
[0025]训练集构造模块：对头颅侧位片CT图像的收集和预处理得到初步训练集，对初步训练集中每个样本都标注出关键点位置，得到最终训练集；
[0026]关键点识别模型构建模块：构建一种新的编码
‑
解码U形结构网络的关键点识别模型，该关键点识别模型充分利用多尺度特征，引入全尺度的跳跃连接，将编码器和解码器的不同子模块通过嵌套和跳跃连接在一起；关键点识别模型中每个矩形表示一个密集卷积块，通过跳跃连接实现编码器和解码器特征图之间的语义鸿沟；每个密集卷积块X
i,j
采用VGGBlock的卷积结构；
[0027]模型训练及评估模块：通过度量标准Dice系数和交并比进行评估。
[0028]本专利技术有益效果如下：
[0029]本专利技术构建了一个深度监督的编码
‑
解码网络用于头颅侧位片的关键点识别。编码和解码的子模块通过一系列嵌套的密集跳跃路径进行相互连接，设计这种跳跃连接的目
的是为了降低编码和解码子模块中各个特征图的语义缺失。进一步的，本专利技术提出的方法可以加快进行头颅侧位片的关键点标注。
附图说明
[0030]图1为本专利技术流程题。
[0031]图2为本专利技术患者的头颅侧位CT片。
[0032]图3为本专利技术键点的可视化以及类别说明示意图。
[0033]图4为本专利技术使用的U形关键点模型结构。
[0034]图5为本专利技术卷积模块X
0,0
的具体结构。
[0035]图6为模型的第一条skip connection路径。
[0036]图7为模型对于头颅侧位片图像的关键点识别结果。
具体实施方式
[0037]下面结合附图和实施例对本专利技术作进一步是的说明。
[0038]如图1所示，基于深度学习的头颅侧位片关键点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的头颅侧位片关键点自动检测方法，其特征在于包括如下步骤：步骤1、头颅侧位片CT图像的收集和预处理；构造模型训练的,且训练集中每个样本都标注出关键点位置；步骤2、构建编码
‑
解码结构的关键点识别模型；步骤3、关键点识别模型训练及评估；步骤4、对新的头颅侧位片进行关键点预测。2.根据权利要求1所述的基于深度学习的头颅侧位片关键点自动检测方法，其特征在于步骤1所述的头颅侧位CT图像的收集和预处理具体实现如下1
‑
1.收集到的原始头颅侧位CT图像数据集由670位患者的头颅侧位CT图像组成，且每位患者CT数据的大小是不固定的png格式或bmp格式的图像；1
‑
2.通过Vott软件对原始头颅侧位CT图像数据集进行标注，得到学习关键点识别模型的训练数据集；同时为了兼并多种头颅关键点角度测量的方法，将关键点的类别数定义为32类，标签文件保存为CSV格式文件；1
‑
3.将标注软件Vott标注后得到的CSV格式文件转化为txt文件，每个txt文件对应一个患者的标注信息，该标注信息共32行，从上到下对应标签1
‑
32的关键点的坐标(X,Y)；将标注后的头颅侧位片CT图像对应的标签作为关键点识别模型最终的训练集。3.根据权利要求2所述的基于深度学习的头颅侧位片关键点自动检测方法，其特征在于定义的32类别的关键点具体包括：蝶鞍点、鼻根点、眶点、耳点、上齿槽坐点、下齿槽坐点、颏前点、颏下点、颏顶点、下颌角点、下颌中切牙切缘点、上颌中切牙切缘点、上唇突点、下唇突点、鼻下点、软组织之颏前点、后鼻棘、前鼻棘、关节点、颅顶点、髁突中心点、翼点、鼻顶点、颞下颌关节最低点、内下颌角点、上中切牙根尖点、上第一恒磨牙近中颊尖点、下第一恒磨牙近中颊尖点、下第一恒磨牙园中边缘点、下中切牙根尖点、下颌升支后缘、下颌角后下缘。4.根据权利要求2或3所述的基于深度学习的头颅侧位片关键点自动检测方法，其特征在于步骤2所述的构建编码
‑
解码结构的关键点识别模型，具体实现如下：提出一种新的编码
‑
解码U形结构网络的关键点识别模型，该关键点识别模型充分利用多尺度特征，引入全尺度的跳跃连接，将编码器和解码器的不同子模块通过嵌套和跳跃连接在一起，该结构能有效的结合来自全尺度特征图的低级语义和高级语义，该关键点识别模型能够有效的学习关键点的深层...

【专利技术属性】
技术研发人员：郭艳凯，韦虎，
申请(专利权)人：杭州隐捷适生物科技有限公司，
类型：发明
国别省市：