基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法技术

本申请提出了一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法，包括以下步骤：通过获取CBCT和口腔扫描模型数据，并分别去除牙龈和软组织区域，得到牙冠表面数据；计算每个非边界三角网格顶点的曲率，并进行筛选，得到CBCT和口腔扫描模型中的高曲率点集；对每个高曲率点集中的三角形网格顶点进行特征描述，并通过对应点集计算得到刚体变换矩阵，将CBCT和口腔扫描模型牙冠表面数据变换到同一坐标系进行渲染。本方案通过对体数据与面数据进行筛选，结合了体数据和面数据的优点并将其变换到同一坐标系进行渲染，可以帮助牙医更好的判断牙齿情况。更好的判断牙齿情况。更好的判断牙齿情况。

【技术实现步骤摘要】
基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法


[0001]本申请涉及医学多模态数据处理领域，特别是涉及一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法。

技术介绍

[0002]在多模态数据处理领域，基本思想是不同模态的医学影像(例如MRI、CT、PET等)进行处理的过程，这些不同模态的数据可能具有不同的分辨率、对比度、采样率或其他特征，因此在进行可靠的分析和比较之前，需要将其转化为相同的数据类型。
[0003]在牙科医疗领域，随着数字化技术的不断发展和成熟，牙科医生可以通过数字化技术获得更加精准的诊断和治疗效果，同时也可以提高医疗效率，主要的数字化技术包括CBCT和口腔扫描等技术，CBCT的中文全称是口腔颌面锥形束计算机断层扫描，是一种低剂量的口腔X光扫描技术，可以提供高分辨率的三维影像，包含了完整的牙齿(牙冠和牙根)从而更加精准地诊断病情和规划治疗方案，CBCT通常以DICOM格式进行存储，影响信息主要包括图像像素矩阵、像素分辨率、采样频率、患者信息等；口腔扫描技术可以获得高精度的三维牙冠以及牙龈的模型，口腔扫描结果的存储格式通常是标准三角语言stl，其表面由许多三角网格组成，stl文件具有简单、通用的特点，便于后续的处理、分析以及CAD设计。
[0004]CBCT三维牙齿模型属于体数据，是由体素网格组成的三维数据，可以表示物体的内部结构，优点是数据更加完整，并且可以通过体元素个数计算三维体积，缺点是物体表面信息的细节丢失较多，口腔扫描模型属于面数据，是由多个三角网格组成的三围数据，可以表示物体的外部表面结构，优点是物体表面的精度更高，缺点在于不适合三维体积的计算，也不能表示内部的结构。
[0005]综上所述，亟需一种可以将基于三维牙齿模型的体数据和面数据进行多模态渲染，从而更好的帮助牙医在牙科医疗中对牙齿进行进一步处理，帮助数字化牙科医疗和计算机辅助数字化高精度牙模制作的方法。

技术实现思路

[0006]本申请实施例提供了一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法，可以将CBCT数据以及口腔模型数据根据曲率点的筛选以及刚体变换矩阵变换到同一坐标系进行渲染，帮助数字化牙科医疗更好的观察牙齿情况。
[0007]第一方面，本申请实施例提供了一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法，所述方法包括：
[0008]获取CBCT数据，将所述CBCT数据输入到经训练后的牙齿分割模型进行分割得到三维牙齿体数据，提取所述三维牙齿体数据的牙齿表面得到牙齿表面数据，去除所述牙齿表面数据中每颗牙齿的牙根部分得到CBCT牙冠表面数据，所述CBCT牙冠表面数据以三角网格的形式存储；
[0009]获取与CBCT数据对应的口腔扫描模型，去除所述口腔扫描模型中的牙龈以及其他
软组织区域得到口腔扫描模型牙冠表面数据，所述口腔扫描模型牙冠表面数据以三角网格的形式存储；
[0010]获取所述CBCT牙冠表面数据与所述口腔扫描模型牙冠表面数据中的每个不在边界的三角网格的三角网格顶点，基于面平均算法计算每一三角形网格顶点的法向量，获取每一三角形网格顶点的相邻三角网格的面积和以及相邻三角网格同对应三角网格顶点法向量的夹角余弦平方和，根据每一三角形网格顶点相邻三角网格的夹角余弦平方和以及面积和计算每一三角形网格顶点的曲率，设定曲率阈值对每一三角形网格顶点的曲率进行筛选分别得到CBCT高曲率点集和口腔扫描模型高曲率点集；
[0011]计算所述CBCT高曲率点集和口腔扫描模型高曲率点集中每一高曲率三角形网格顶点的特征列向量，将每一高曲率三角形网格顶点的特征列向量进行拼接分别得到CBCT特征描述矩阵以及口腔扫描模型特征描述矩阵，根据所述CBCT特征描述矩阵和所述口腔扫描模型特征描述矩阵构建向量相似度矩阵，在所述向量相似度矩阵中筛选相似的点得到对应点集；
[0012]使用所述对应点集计算得到刚体变换矩阵，使用所述刚体变换矩阵将所述三维牙齿体数据进行变换得到刚体变换体数据，对所述刚体变换体数据以及所述口腔扫描模型牙冠表面数据进行渲染。
[0013]第二方面，本申请实施例提供了一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染装置，包括：
[0014]第一获取模块：获取CBCT数据，将所述CBCT数据输入到经训练后的牙齿分割模型进行分割得到三维牙齿体数据，提取所述三维牙齿体数据的牙齿表面得到牙齿表面数据，去除所述牙齿表面数据中每颗牙齿的牙根部分得到CBCT牙冠表面数据，所述CBCT牙冠表面数据以三角网格的形式存储；
[0015]第二获取模块：获取与CBCT数据对应的口腔扫描模型，去除所述口腔扫描模型中的牙龈以及其他软组织区域得到口腔扫描模型牙冠表面数据，所述口腔扫描模型牙冠表面数据以三角网格的形式存储；
[0016]曲率计算模块：获取所述CBCT牙冠表面数据与所述口腔扫描模型牙冠表面数据中的每个不在边界的三角网格的三角网格顶点，基于面平均算法计算每一三角形网格顶点的法向量，获取每一三角形网格顶点的相邻三角网格的面积和以及相邻三角网格同对应三角网格顶点法向量的夹角余弦平方和，根据每一三角形网格顶点相邻三角网格的夹角余弦平方和以及面积和计算每一三角形网格顶点的曲率，设定曲率阈值对每一三角形网格顶点的曲率进行筛选分别得到CBCT高曲率点集和口腔扫描模型高曲率点集；
[0017]点集获取模块：计算所述CBCT高曲率点集和口腔扫描模型高曲率点集中每一高曲率三角形网格顶点的特征列向量，将每一高曲率三角形网格顶点的特征列向量进行拼接分别得到CBCT特征描述矩阵以及口腔扫描模型特征描述矩阵，根据所述CBCT特征描述矩阵和所述口腔扫描模型特征描述矩阵构建向量相似度矩阵，在所述向量相似度矩阵中筛选相似的点得到对应点集；
[0018]渲染模块：使用所述对应点集计算得到刚体变换矩阵，使用所述刚体变换矩阵将所述三维牙齿体数据进行变换得到刚体变换体数据，对所述刚体变换体数据以及所述口腔扫描模型牙冠表面数据进行渲染。
[0019]第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法。
[0020]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法。
[0021]本专利技术的主要贡献和创新点如下：
[0022]本申请实施例通过对CBCT数据进行法向量夹角的计算，并根据计算结果通过loop细分迭代法进行细分，可以使得到的牙冠表面数据精度更高；本方案通过为每一牙齿设定种子点，并将相似度高的种子点进行合并，从而去除口腔扫描模型的牙龈以及其他软组织部分；本方案通过计算高曲率点集中每一高曲率点和邻域二环的每一三角网格的法向量夹角来将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法，其特征在于，包括以下步骤：获取CBCT数据，将所述CBCT数据输入到经训练后的牙齿分割模型进行分割得到三维牙齿体数据，提取所述三维牙齿体数据的牙齿表面得到牙齿表面数据，去除所述牙齿表面数据中每颗牙齿的牙根部分得到CBCT牙冠表面数据，所述CBCT牙冠表面数据以三角网格的形式存储；获取与CBCT数据对应的口腔扫描模型，去除所述口腔扫描模型中的牙龈以及其他软组织区域得到口腔扫描模型牙冠表面数据，所述口腔扫描模型牙冠表面数据以三角网格的形式存储；获取所述CBCT牙冠表面数据与所述口腔扫描模型牙冠表面数据中的每个不在边界的三角网格的三角网格顶点，基于面平均算法计算每一三角形网格顶点的法向量，获取每一三角形网格顶点的相邻三角网格的面积和以及相邻三角网格同对应三角网格顶点法向量的夹角余弦平方和，根据每一三角形网格顶点相邻三角网格的夹角余弦平方和以及面积和计算每一三角形网格顶点的曲率，设定曲率阈值对每一三角形网格顶点的曲率进行筛选分别得到CBCT高曲率点集和口腔扫描模型高曲率点集；计算所述CBCT高曲率点集和口腔扫描模型高曲率点集中每一高曲率三角形网格顶点的特征列向量，将每一高曲率三角形网格顶点的特征列向量进行拼接分别得到CBCT特征描述矩阵以及口腔扫描模型特征描述矩阵，根据所述CBCT特征描述矩阵和所述口腔扫描模型特征描述矩阵构建向量相似度矩阵，在所述向量相似度矩阵中筛选相似的点得到对应点集；使用所述对应点集计算得到刚体变换矩阵，使用所述刚体变换矩阵将所述三维牙齿体数据进行变换得到刚体变换体数据，对所述刚体变换体数据以及所述口腔扫描模型牙冠表面数据进行渲染。2.根据权利要求1所述的一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法，其特征在于，在“去除所述牙齿表面数据中每颗牙齿的牙根部分得到CBCT牙冠表面数据”步骤中，所述牙齿表面数据由多个三角网格组成，计算所述牙齿表面数据中每一三角网格的法向量，计算每一三角网格与其所有相邻三角网格的法向量夹角，设置夹角阈值，若存在至少一法向量夹角大于所述夹角阈值，则对该三角网格与其所有相邻的三角网格进行细分直到所有法向量夹角小于所述夹角阈值得到CBCT牙冠表面数据。3.根据权利要求1所述的一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法，其特征在于，在“去除所述口腔扫描模型中的牙龈以及其他软组织区域得到口腔扫描模型牙冠表面数据”步骤中，在所述口腔扫描模型中每颗牙齿的牙冠表面随机选取第一数量的三角网格顶点作为种子点，获取每一种子点的相邻三角网格，计算每一种子点的法向量与其相邻所有网格的法向量夹角得到相似度夹角，设置生长阈值，若存在任意两个种子点的相似度夹角大于所述生长阈值，则将这两个种子点进行合并，直至所述口腔扫描模型中不存在可以合并的种子点或达到指定合并次数，根据种子点合并路径得到口腔扫描模型牙冠表面数据。4.根据权利要求1所述的一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法，其特征在于，在“设定曲率阈值对每一三角形网格顶点的曲率进行筛选分别得到CBCT高
曲率点集和口腔扫描模型高曲率点集”步骤中，选取CBCT牙冠表面数据中的三角形网格顶点曲率大于所述曲率阈值的三角形网格顶点作为CBCT高曲率点集，选取所述口腔扫描模型牙冠表面数据中的三角形网格顶点曲率大于所述曲率阈值的三角形网格顶点作为口腔扫描模型高曲率点集。5.根据权利要求1所述的一种基于三维牙齿CBCT数据和口腔扫描模型的多模态渲染方法，其特征在于，在“计算所述CBCT高曲率点集和口腔扫描模型高曲率点集中每一高曲率三角形网格顶点的特征列向量”步骤中，获取每一高曲率三角形网格顶点邻域二环内的所有三角网格法向量，获取每一高曲率三角形网格顶点的法向量，计算每一高曲率三角形网格顶点的法向量与对应高曲率三角形网格顶...

【专利技术属性】
技术研发人员：蔡林凯，
申请(专利权)人：杭州雅智医疗技术有限公司，
类型：发明
国别省市：