【技术实现步骤摘要】
本专利技术主要涉及龋齿检测领域，具体涉及一种基于稀疏transformer的轻量化龋齿检测分割方法。
技术介绍
1、龋齿是人类较为常见的口腔疾病，具有患病率高的特点，龋齿损伤可能会伴随严重的疼痛，且影响正常咀嚼功能，如不能及时发现进行治疗，可能导致更严重的牙髓病及根尖周病等，因此能够方便、及时地发现龋齿是非常必要的，所以就特别需要一种基于稀疏transformer的轻量化龋齿检测分割方法。
2、但是现有的基于稀疏transformer的轻量化龋齿检测分割方法，最简单且常见的龋齿检测方法是直接观察法，医生通过肉眼直接观察口内牙齿情况作出判断，但此种方法可能存在视线盲区导致遗漏检测，另外，目前还有x线片、荧光分析法、太赫兹成像等检测手段，x线片不易检测到没有形成龋洞的早期龋齿，且存在电离辐射，对人体有害，荧光分析法从光谱学角度分析，利用龋齿、健康牙齿以及牙齿硬组织存在不同的荧光峰值这一特点，实现无损龋齿检测；但该方法需要特定的荧光成像系统进行采集，适用范围小，太赫兹成像检测通过提取牙齿中牙本质、牙本质龋、牙釉质表面等不同结构的频谱成像来判断是否存在龋齿，但该方法仍存在分辨率较差，尤其是边缘成像模糊，对比度低的问题，难以达到医学诊断标准，且成本较高。
技术实现思路
1、本专利技术的目的在于提供一种基于稀疏transformer的轻量化龋齿检测分割方法，以解决上述
技术介绍
中提出的现有的龋齿检测方法，最简单且常见的龋齿检测方法是直接观察法，医生通过肉眼直接观察口内牙齿情况作出判断
2、为实现上述目的，本专利技术提供一种基于稀疏transformer的轻量化龋齿检测分割方法，所述该龋齿检测方法通过轻量化的稀疏多头transformer来检测、分割龋齿，稀疏多头transformer整体框架结构如图1所示，其中transformer结构是一种端到端的模型结构，主要通过编码器-解码器将图像块与每个像素的类别一一映射，得到分割结果。
3、优选的，所述编码器是由多个transformer编码块组成。
4、优选的，所述每个transformer编码块由稀疏多头自注意力层、mlp层和归一化层组成。
5、优选的，所述transformer编码块的计算公式为：
6、将图像分为个图像块，其中(p，p)为图像块的宽高，n＝h×w/p2是图像块个数，c为图片通道数，将每个图像块拉平至一维向量，作为编码器的输入其中为了增加图像块位置信息，把可学习的位置嵌入图像块向量，最终得到输入序列z0＝e+pos.第l层的输出结果为
7、优选的，所述其中稀疏多头自注意力层有k、q、v三个可学习的矩阵参数，首先利用q和k点积，得到二者间的相似性；然后进行softmax得到该输入序列的概率分布；最后与v相乘，加权求和来得到自注意力的结果，其计算过程表示为
8、
9、其中，dk表示k的维度，为防止计算结果过大。
10、优选的，所述在多头自注意力机制的基础上，为了使模型更加轻量化，引入稀疏多头注意力机制，降低网络结构复杂度，提升运算效率，以此实现实时检测分割的需求。
11、优选的，所述稀疏多头注意力机制是通过
12、multihead(k,q，v)＝concat(head1,…，headh)wo
13、得到特征映射后的结果，其中，h表示自注意力头的个数。
14、优选的，解码器主要采用掩码transformer，首先，设置k个可学习的类别向量k为类别数，每个类别向量用于生成类别掩码，将zl和cls拼接后，作为解码器的输入，掩码transformer解码器由m个编码器块构成，通过计算l2归一化向量和类别向量的点积生成k个掩码，其计算表达式为
15、masks(z’m，c)＝z’mct
16、每个掩码序列接着被转换成图像块大小然后采用双线性插值上采样得到原始图像大小最后在类别维度上通过softmax得到类别分割图。
17、优选的，所述稀疏多头注意力机制具体实施方式为：对于行注意力核而言，注意力机制的头关注前l个位置信息，而列注意力核，每间隔l个位置设置一个注意力头，其中l为接近的步长，若以si＝{j：j≤i}来表示第i个输出所对应的输入向量的集合，且对于自注意力机制而言，该位置可以与此位置之前的所有元素计算，而跨步自注意力机制有p个独立的注意力头，将第m个头定义为集合选中的有效注意力头为子集a，对于跨步注意力机制而言，其中t＝max(0,i-l)；列注意力为
18、优选的，
19、训练阶段
20、1)按图1-4网络结构，用pytorch框架搭建网络；
21、2)收集大量的、场景多样的真实口内rgb图像，以及对应的标注图像；
22、3)训练网络模型，将rgb图像及其对应的标注标签输入已搭建的网络模型开始训练；
23、4)训练完成，得到网络模型；
24、推理阶段
25、a.部署模型
26、为了加速模型推理，满足实时检测分割的要求，需要将模型部署在gpu上，利用gpu进行推理。本技术通过tensorrt进行部署推理及加速，将模型文件转化为tensorrt支持运算的trt文件；
27、b.推理
28、1)通过trt文件加载网络模型；
29、2)采用口腔扫描仪连续采集口内rgb图像；
30、3)rgb图像输入至trt引擎进行推理；
31、4)实时得到分割输出结果；
32、5)循环2)—4)直至数据采集停止。
33、本专利技术的技术方案中涉及的原理为：首先利用口腔扫描设备扫描采集龋齿的rgb图像，然后通过轻量化的稀疏多头transformer来检测、分割龋齿，之后通过多头transformer结构中的编码器－解码器将龋齿图像块与每个像素的类别一一映射，得到分割结果，其中编码器由多个transformer编码块组成，其中每个transformer编码块又由稀疏多头自注意力层、mlp层和归一化层组成，其中自注意力层具有更强的信息筛选能力，它能快速筛分信息，能在龋齿局部特征上有较好的描述，然后在自注意力层的基础上加入多头注意力机制，多头注意力机制能够更多的关注到邻域信息，有更强的特征挖掘和特征学习能力，能本文档来自技高网...
【技术保护点】
1.一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：所述该龋齿检测方法通过轻量化的稀疏多头Transformer来检测、分割龋齿，稀疏多头Transformer整体框架结构如图1所示，其中Transformer结构是一种端到端的模型结构，主要通过编码器－解码器将图像块与每个像素的类别一一映射，得到分割结果。
2.根据权利要求1所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：所述编码器是由多个Transformer编码块组成。
3.根据权利要求2所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：所述每个Transformer编码块由稀疏多头自注意力层、MLP层和归一化层组成。
4.根据权利要求3所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：所述Transformer编码块的计算公式为：
5.根据权利要求3所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：所述其中稀疏多头自注意力层有K、Q、V三个可学习的
6.根据权利要求5所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：所述在多头自注意力机制的基础上，为了使模型更加轻量化，引入稀疏多头注意力机制，降低网络结构复杂度，提升运算效率，以此实现实时检测分割的需求。
7.根据权利要求6所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：所述稀疏多头注意力机制是通过
8.根据权利要求1所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：解码器主要采用掩码Transformer，首先，设置K个可学习的类别向量K为类别数，每个类别向量用于生成类别掩码，将zL和cls拼接后，作为解码器的输入，掩码Transformer解码器由M个编码器块构成，通过计算L2归一化向量和类别向量的点积生成K个掩码，其计算表达式为
9.根据权利要求7所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，其特征在于：所述稀疏多头注意力机制具体实施方式为：对于行注意力核而言，注意力机制的头关注前L个位置信息，而列注意力核，每间隔L个位置设置一个注意力头，其中L为接近的步长，若以Si＝{j:j≤i}来表示第i个输出所对应的输入向量的集合，且对于自注意力机制而言，该位置可以与此位置之前的所有元素计算，而跨步自注意力机制有p个独立的注意力头，将第m个头定义为集合选中的有效注意力头为子集A，对于跨步注意力机制而言，其中t＝max(0,i-L)；列注意力为
10.根据权利要求1所述一种基于稀疏Transformer的轻量化龋齿检测分割方法，具体实施步骤如下：
...【技术特征摘要】
1.一种基于稀疏transformer的轻量化龋齿检测分割方法，其特征在于：所述该龋齿检测方法通过轻量化的稀疏多头transformer来检测、分割龋齿，稀疏多头transformer整体框架结构如图1所示，其中transformer结构是一种端到端的模型结构，主要通过编码器－解码器将图像块与每个像素的类别一一映射，得到分割结果。
2.根据权利要求1所述一种基于稀疏transformer的轻量化龋齿检测分割方法，其特征在于：所述编码器是由多个transformer编码块组成。
3.根据权利要求2所述一种基于稀疏transformer的轻量化龋齿检测分割方法，其特征在于：所述每个transformer编码块由稀疏多头自注意力层、mlp层和归一化层组成。
4.根据权利要求3所述一种基于稀疏transformer的轻量化龋齿检测分割方法，其特征在于：所述transformer编码块的计算公式为：
5.根据权利要求3所述一种基于稀疏transformer的轻量化龋齿检测分割方法，其特征在于：所述其中稀疏多头自注意力层有k、q、v三个可学习的矩阵参数，首先利用q和k点积，得到二者间的相似性；然后进行softmax得到该输入序列的概率分布；最后与v相乘，加权求和来得到自注意力的结果，其计算过程表示为
6.根据权利要求5所述一种基于稀疏transformer的轻量化龋齿检测分割方法，其特征在于：所述在多头自注意力机制的基础...
【专利技术属性】
技术研发人员：张乃雪，孙军，吕广志，
申请(专利权)人：深圳市菲森科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。