【技术实现步骤摘要】
本专利技术属于数字医疗领域，具体涉及一种融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法。
技术介绍
1、电子面弓是使用数字化技术模拟人体颌骨及关节移动的一种技术，对于颌关节疾病的诊断以及牙齿修复和矫治都有很好的辅助作用。传统的面弓技术需要使用精密的机械装置，操作复杂，器材携带困难，表达信息有限；而现有的电子面弓技术全部属于外国医疗器械公司，大多采用传感器方案，使用光学传感器、运动传感器等进行颌骨运动数据的采集，设备价格极其高昂。因此，需要兼顾经济性与实用性的全新技术方案，一些新兴计算机成像与扫描技术逐渐成为更好的选择。
2、cbct是一种广泛使用的医学和牙科成像技术，它可提供高分辨率的三维体数据，帮助医生精确快速地诊断相关疾病。与传统ct相比，cbct的辐射剂量相对较低，同时可以提供更加完整、全面的牙齿和牙槽骨体数据。但是，cbct只能对被试者静态标准咬合姿态进行成像，无法实时追踪被试者下颌运动过程。口腔内扫描技术实现了完全无害化口内数据采集，同时也可以提供更高精度的口腔数字模型数据；但其同样无法实现动态运动轨迹的追踪。采用多目计算机视觉技术可以连续获取标志物运动位置与姿态，从而间接计算并模拟被试者下颌运动过程；但仍需要应用非视觉方法来完成对视觉标志物与人体体数据的配准校正。单一模态的数据与技术无法满足高精度电子面弓的需求。
技术实现思路
1、为了解决
技术介绍
中的问题，本专利技术充分发挥多模态数据融合的优势，首先利用cbct数据和口腔内扫描数据获取标志物与上
2、本专利技术采用的技术方案包括以下步骤：
3、步骤1)准备ⅰ型标志物，将三个ⅰ型标志物贴附于被试者面部的三个标志点上，然后对被试者进行cbct拍摄，获得被试者头部模型；
4、步骤2)准备ⅱ型标志物，ⅱ型标志物由一个弓形结构和两个正多面体组成，将弓形结构粘结与被试者下颌牙列上，然后对被试者的上下颌牙列进行口扫，获得口扫模型；
5、步骤3)定位头部模型中的ⅰ型标志物位置，求解由ⅰ型标志物坐标系转换至被试者上颌标准坐标系的变换矩阵；定位口扫模型中的ⅱ型标志物位置，求解由ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵；
6、步骤4)采用多目工业相机矩阵进行数据采集：通过张正友标定法对多个工业相机进行相机标定，计算相机的内参与外参；将多个相机从不同角度且等间距位置处对准被试者头部进行采集，保证多个工业相机可以同步采集得到ⅰ型标志物、ⅱ型标志物的位置信息；指定被试者进行标准口腔运动，记录被试者的口腔运动视频数据；
7、步骤5)根据多个视频数据在同一时刻的多张同一帧图像，采用计算机视觉方法计算ⅰ型标志物、ⅱ型标志物上的角点在每一帧图像的二维坐标，并依据坐标系变换矩阵反求拟合得到被试者上下颌相对位姿状态，从而得到被试者上下颌运动轨迹，并完成上下颌运动轨迹的可视化。
8、所述步骤1)中：
9、ⅰ型标志物为其中一侧贴附有标志图案的金属片；每个标志物的规格一致，每个标志物上的标志图案不同；
10、三个标志点分别为被试者的左眉峰点、右眉峰点、眉间点；第一、二个标志点在同一水平面和同一冠状面上，关于人体正中矢状面对称；第三个标志点位于人体正中矢状面上。
11、所述步骤2)中：
12、ⅱ型标志物上的弓形结构顶面开设有多个不同形状的凹槽，用于选取特征点配准；
13、弓形结构与下牙列的形状适配；弓形结构内侧采用磨砂设计以提高与牙齿的粘结性。
14、所述ⅱ型标志物上的两个正多面体为正十二面体，每个面贴附有不同的标志图案，两个正十二面体的规格一致；正十二面体与ⅰ型标志物上的标志图案尺寸一致，两者的标志图案均基于opencv的aruco模块生成；
15、正十二面体和ⅰ型标志物上的每个标志图案均互不相同；
16、将三个ⅰ型标志物依次记为第1、2、3个标志物，每个标志物含1个图案，每个图案含4个角点；记第i个标志物上第j个图案的第k个角点在对应的标志物坐标系中的坐标为oijk，其中i＝1,2,3；j＝1；k＝1,2,3,4；
17、将ⅱ型标志物记为第4个标志物，含20个图案，每个图案含4个角点；记第i个标志物上第j个图案的第k个角点在对应标志物坐标系中的坐标为oijk，其中i＝4；j＝1,2,...,20；k＝1,2,3,4。
18、所述步骤3)具体为：
19、3.1)根据头部模型中各个部位不同的灰度值划分金属片与人体骨、软组织，对头部模型中三个ⅰ型标志物和上颌的位置进行定位，获得位姿矩阵；
20、3.2)根据ⅰ型标志物的位姿矩阵和上颌的位姿矩阵计算得到三个ⅰ型标志物坐标系转换至被试者上颌标准坐标系的变换矩阵t1、t2、t3；
21、此类矩阵为特殊欧式群se(3)中的元素；
22、3.3)在ⅱ型标志物标准模型的弓形结构上手动选取m个标志点集合s1＝{p1,p2,...,pi...,pm}，选取弓形结构的凹槽顶点作为标志点以增强辨识度；
23、同时在被试者口扫模型上选取与m个标志点s1同位置的标志点集合s2＝{q1,q2,...,qi...,qm}；
24、其中，pi为标志点集s1上第i个标志点的坐标；qi为标志点集s2上第i个标志点的坐标；
25、3.4)记ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵为t4；
26、以s1中的所有点pi为采样点，根据变换矩阵t4计算采样点在被试者下颌标准坐标系下的新坐标t4pi，从而获得预测的投影点集s3＝{t4p1,t4p2,...,t4pm}；计算预测的投影点集s3和实际模型的标志点集s2的曼哈顿距离或者欧氏距离，将曼哈顿距离或者欧氏距离求和得到对应的损失函数；
27、3.5)以变换矩阵t4为最小二乘优化的自变量，以损失函数为最小二乘优化的目标函数，采用最速下降法、高斯-牛顿法或共轭梯度法求解ⅱ型标志物坐标系转换至被试者下颌标准坐标系的变换矩阵t4，亦为特殊欧式群se(3)中的元素。
28、所述步骤4)中，采用方法一或方法二对多个工业相机进行同步采集；
29、所述方法一为：通过外接单片机，将单片机接口输出高低电平信号至多个工业相机，利用工业相机的硬触发机制，采集获得同步图像；
30、所述方法二为：在电脑上，利用工业相机内置驱动的同步采集方法触发多个工业相机，实现多个工业相机的同步采集。
31、所述步骤4)中指定的标准口腔运动包括：小开口运动、大开口运动、前伸运动、左侧方运动、右侧方运动、边缘运动。...
【技术保护点】
1.一种融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤1)中：
3.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤2)中：
4.根据权利要求2所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，
5.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤3)具体为：
6.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤4)中，采用方法一或方法二对多个工业相机进行同步采集；
7.根据权利要求1所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤4)中指定的标准口腔运动包括：小开口运动、大开口运动、前伸运动、左侧方运动、右侧方运动、边缘运动。
8.根
9.根据权利要求8所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤5.2)中实际图像的投影点集通过下述方法计算得到：
10.根据权利要求8所述的融合CBCT技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤5.2)中虚像上的投影点集通过下述方法计算得到：
...【技术特征摘要】
1.一种融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤1)中：
3.根据权利要求1所述的融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤2)中：
4.根据权利要求2所述的融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，
5.根据权利要求1所述的融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤3)具体为：
6.根据权利要求1所述的融合cbct技术、口扫技术与计算机视觉的多模态电子面弓方法，其特征在于，所述步骤4)中，采用方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。