一种基于智能手机的口腔三维重建方法、系统和存储介质技术方案

本发明专利技术公开了一种基于智能手机的口腔三维重建方法、系统和存储介质，以智能手机镜头作为口腔扫描设备对口腔中的牙齿进行三维构建，通过改变手机镜头的偏移量的同时高速摄影获取患者口内一系列景深不同的图像，对采集到的图像进行处理后形成单视角深度图，将多个视角的深度图转化成点云数据后拼接并网格化后形成最终三维模型，实现将患者口腔内部牙齿的真实图像传入智能手机中还原成口腔模型，极大降低了口腔扫描业务的成本，提高效率。提高效率。提高效率。

【技术实现步骤摘要】
一种基于智能手机的口腔三维重建方法、系统和存储介质


[0001]本专利技术属于三维建模
，具体涉及一种基于智能手机的口腔三维重建方法、系统和存储介质。

技术介绍

[0002]在临床口腔诊疗和修复过程中，通过三维扫描获得口腔内部的三维数字化模型的方法主要分为口外扫描和口内扫描两种。口外扫描方式需要医生先对口腔进行印模获取牙齿的石膏模型，再利用三维扫描设备对石膏牙模进行扫描得到其三维数字模型；口内扫描方式则是将口腔扫描器伸进口腔直接对牙齿进行扫描从而获得牙齿的三维数字模型，该方式操作简单、高效且测量速度快，因而节省了医生椅边操作的时间，又因无需手工印模，也避免了因制模和翻模引起的误差，测量精度较高。但是，现有的口腔扫描仪均有口腔扫描器和与口腔扫描器连接的庞大主机站组成。操作时医生手持扫描器放入患者口腔，扫描器摄像头不断拍摄并传入主机站，由主机站软件做即时3D建模。在进行操作时，口腔内有上下齿列和舌头，形状复杂且病人在张大口时，嘴巴和舌头均在不舒适且不断移动状态，需要医生随时观察调整及和病人沟通。同时为了让扫描器既可在需要的位置拍摄影像又不会太常撞到或顶到口腔其他部位，医生视线需不断在口腔及身边主机站荧幕之间移动，造成扫描效率降低，另外庞大的主机站又导致整个口扫仪系统占用了大量有限的诊疗空间且造价高昂。

技术实现思路

[0003]本专利技术的目的就在于为解决上述问题而公开了一种基于智能手机的口腔三维重建方法，包括如下步骤：
[0004]S1，对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；
[0005]S2，控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；
[0006]S3，依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片组成经过变换的第二图像组；
[0007]S4，将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度；
[0008]S5，按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息；
[0009]S6，重复上述步骤得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型。
[0010]优选的，所述步骤S2具体包括：
[0011]S21，在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围；
[0012]S22，控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为第一图像组。
[0013]优选的，所述步骤S3具体包括：
[0014]S31，对第一图像组中的前后两帧图像使用SIFT算法进行搜索，得到各自的特征点；
[0015]S32，随机选取多组匹配的特征点计算单应矩阵，计算其余匹配特征点对经过单应矩阵变换后的误差，并获取误差小于阈值的特征点对数目，获得误差小于阈值的特征点对数目最多的单应矩阵；
[0016]S33，对第二张图像使用求解出的单应矩阵进行变换，得到消除近大远小效应的变换图像；
[0017]S34，持续采用前述步骤S31至S33依次对第一图像组中的前后两帧图像进行变换获得消除近大远小效应的变换图像，形成第二图像组。
[0018]优选的，所述步骤S6具体包括：
[0019]根据前后两帧图像中重叠的部分进行配准，将目标牙齿叠加在对应的牙齿位置上；对前后两帧的点云集合A与B进行降采样，如下所示：
[0020][0021][0022][0023]其中A
l
，B
l
分别表示在分辨率等级1下的点云集合A与B，f
sample
↓
表示降采样操作，L为设定的最大的分辨率等级，表示在分辨率等级1下点云集合A中中序号为i的单个点云a，表示点云集合A的点云个数为正整数，且共有n个；表示在分辨率等级l下点云集合B中中序号为j的单个点云b，表示点云集合B的点云个数为正整数，且共有m个；
[0024]使用最近邻搜索得到两个点云集合A
l
与B
l
在分辨率l下的双向变换关系(k
‑
1)
th
，如下所示：
[0025][0026][0027]其中K表示迭代次数，分别表示在分辨率1下，(k
‑
1)次迭代中，使得误差最小的变量i和j的值；分别表示在分辨率等级l下，(k
‑
1)次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵。表示在分辨率等级1下点云集合A中中序号为i的单个点云a，表示在分辨率等级1下点云集合B中中序号为j的单个点云b；在上一步骤得到的变换矩阵的基础上计算两点云间新的变换矩阵，并更新与重复上述步骤直到误差精度达到分辨率l＝1。
[0028]本专利技术还公开了一种基于智能手机的口腔三维重建系统，包括：标定模块，用于对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；第一图像组获取模块，用于控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；第二图像组获取模块，用于依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片形成经过变换的第二图像组；深度获取模块，用于将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度；单视角深度图模块，用于按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息；模型生成模块，用于根据获得的多个单视角深度图得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型。
[0029]优选的，第一图像组获取模块具体包括：焦段范围获取模块，用于在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围；图像截取模块，用于控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为第一图像组。
[0030]优选的，第二图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能手机的口腔三维重建方法，其特征在于，包括如下步骤：S1，对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；S2，控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；S3，依次选取第一图像组的前后两帧图像使用SIFT算法进行搜索以获得各自的特征点，使用RANSAC算法求解这两组特征点的变换关系，并求解相应单应矩阵，对第二张图像使用求解出的矩阵进行变换，得到消除近大远小效应的图片组成经过变换的第二图像组；S4，将第二图像组中各帧图像叠合在一起进行拉普拉斯变换，选取同一个像素坐标下响应值中最大的那一张图像作为该像素对应的焦平面，根据焦平面深度值获得各像素对应的深度；S5，按从前到后顺序依次获取每个像素对比度最大时所处的像素坐标并记录形成该视角深度图，同时获取智能手机在采集该组深度图对应的位姿信息；S6，重复上述步骤得到多视角图像并转换成多视角点云数据，对多视角点云数据拼接并网格化，形成口腔数字模型。2.根据权利要求1所述的基于智能手机的口腔三维重建方法，其特征在于，所述步骤S2具体包括：S21，在智能手机的镜头模组通过外接探头可获取一牙齿图像时，控制镜头模组持续调整焦距至当前牙齿能清晰呈现在智能手机显示屏中的焦距，对该焦距进行缩放从而获取可覆盖当前牙齿表面的焦段范围；S22，控制镜头模组以高速率拍摄得到口腔内部一连续初始图像组，根据所述焦段范围截取连续初始图像组中多张图片作为第一图像组。3.根据权利要求2所述的基于智能手机的口腔三维重建方法，其特征在于，所述步骤S3具体包括：S31，对第一图像组中的前后两帧图像使用SIFT算法进行搜索，得到各自的特征点；S32，随机选取多组匹配的特征点计算单应矩阵，计算其余匹配特征点对经过单应矩阵变换后的误差，并获取误差小于阈值的特征点对数目，获得误差小于阈值的特征点对数目最多的单应矩阵；S33，对第二张图像使用求解出的单应矩阵进行变换，得到消除近大远小效应的变换图像；S34，持续采用前述步骤S31至S33依次对第一图像组中的前后两帧图像进行变换获得消除近大远小效应的变换图像，形成第二图像组。4.根据权利要求3所述的基于智能手机的口腔三维重建方法，其特征在于，所述步骤S6具体包括：根据前后两帧图像中重叠的部分进行配准，将目标牙齿叠加在对应的牙齿位置上；对前后两帧的点云集合A与B进行降采样，如下所示：前后两帧的点云集合A与B进行降采样，如下所示：
其中A
l
，B
l
分别表示在分辨率等级l下的点云集合A与B，f
sample
↓
表示降采样操作，L为设定的最大的分辨率等级，表示在分辨率等级l下点云集合A中中序号为i的单个点云a，表示点云集合A的点云个数为正整数，且共有n个；表示在分辨率等级l下点云集合B中中序号为j的单个点云b，表示点云集合B的点云个数为正整数，且共有m个；使用最近邻搜索得到两个点云集合A
l
与B
l
在分辨率l下的双向变换关系(k
‑
1)
th
，如下所示：示：其中K表示迭代次数，分别表示在分辨率l下，(k
‑
1)次迭代中，使得误差最小的变量i和j的值；分别表示在分辨率等级l下，(k
‑
1)次迭代中，变换所需要使用的缩放矩阵，旋转矩阵与平移矩阵；表示在分辨率等级l下点云集合A中中序号为i的单个点云a，表示在分辨率等级l下点云集合B中中序号为j的单个点云b，在上一步骤得到的变换矩阵的基础上计算两点云间新的变换矩阵，并更新阵，并更新与重复上述步骤直到误差精度达到分辨率l＝1。5.一种基于智能手机的口腔三维重建系统，其特征在于，包括：标定模块，用于对智能手机的对焦模组进行标定，得到智能手机对焦时每一焦平面深度值；第一图像组获取模块，用于控制智能手机的镜头模组进行变焦且同时通过外接探头获取口腔内部的不同景深图像作为第一图像组，并记录对应焦段；第二图像组获取模块，用于依次...

【专利技术属性】
技术研发人员：尚建嘎，邢济慈，吴龙永，何蕊，王地，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：