基于计算机视觉的牙齿正畸方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于计算机视觉的牙齿正畸方法、装置、计算机设备及存储介质，方法包括：接收移动终端采集的口腔内图像，估计位姿信息，基于位姿信息优化移动终端的移动范围；基于位姿信息及图像生成稠密点云；将图像数据输入牙齿分割模型，得到牙齿掩膜；基于牙齿掩膜，将深度图中掩膜外的像素深度值变成0；将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；对牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；将精细化牙齿模型与治疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。本发明专利技术保证总体的提取的牙齿模型的高精度的同时患者可以利用自己的手机在家完成扫描，完成实时监控牙齿正畸效果。

【技术实现步骤摘要】
基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
本专利技术涉及计算机视觉、医疗领域，具体涉及基于计算机视觉的牙齿正畸方法、装置、设备及存储介质。
技术介绍
口腔疾病是一种常见的多发性疾病。据世界卫生组织统计，错颌畸形己经成为三大口腔疾病(踊齿、牙周病和惜倾畸形)之一。牙齿畸形对口腔健康、口腔功能、颌面骨胳的发育及外貌都有很大的影响。口腔正畸学己被认为是口腔保健治疗中的一个必不可少的重要部分。口腔正畸是针对牙齿排列畸形或错颌，利用弓丝、托槽等组成的固定矫治器械，或者牙套等隐形可摘式矫治器械，对牙齿施加三维矫治力和力矩，调整颜面骨胳、牙齿和颌面肌肉三者间的平衡和协调，经过一段时间的矫治后改善面型、排齐牙列并提高咀嚼效能。在正畸前，取牙齿模型除了起到帮助诊断和设计治疗方案外，还会再和以后牙齿矫正过程中的情况来做对比。传统取模则是通过取模泥整口取模待模泥固化扫描成3维模型；取模过程耗时长约10-20分钟，舒适度差，患者在取模时会伴随恶心呕吐等情况。口内扫描仪是通过口内扫描，实时生成三维模型。优点取模耗时短约3分钟，舒适度高，缺点需要每次去医院使用专业的口扫仪设备进行扫描取模，耗费精力以及成本昂贵，推广不易。公开号为CN109712703A的专利技术专利申请公开了一种基于机器学习的正畸预测方法及装置，所述方法包括获取原始口腔CT影像数据：将所述原始口腔CT影像数据输入预先训练好的第一生成器，以得到标注口腔CT影像数据；所述标注口腔CT影像数据中以标注的形式圈出每一帧图像上的牙齿区域：圈出的区域标注出相应牙齿编号，非牙齿区域置为0；将所述标注口腔CT影像数据输入第二生成器以得到以编码形式表征的正畸方案；将所述牙齿三维数字化模型和所述以编码形式表征正畸方案输入第三生成器以便于得到所述正畸方案的预测结果。本专利技术能够快速便捷形象地得到正畸方案的预测效果，『降低了从业人员的工作难度，显著降低了医生的负担，也提升了患者对于其将要接受的正畸方案的形象感官认识。上述申请提及了基于原始口腔CT影像数据得到多张切片，进而得到三维坐标系的体素数据，通过面重建算法(比如移动立方体法等)，获得上述数据的三维面数据，仍然需要专业的CT影像进行三维数字化模型重建，不方便用户根据需要随时监控牙齿正畸效果。此外，基于原始口腔CT影像直接重建得到的三维数字化模型，三维场景精度差。因此，如何实现高精度的牙齿三维建模，同时使用户能够随时监控牙齿正畸效果，是本领域亟待解决的问题。
技术实现思路
本专利技术的目的是针对现有技术的缺陷，提供了一种基于计算机视觉的牙齿正畸方法、装置、设备及存储介质。本专利技术利用手机相机进行取模，然后利用深度学习和三维重建技术，进行牙齿模型重建，保证总体的提取的牙齿模型的高精度的同时患者可以利用自己的手机在家完成扫描，完成实时监控牙齿正畸效果。为了实现以上目的，本专利技术采用以下技术方案：一种基于计算机视觉的牙齿正畸方法，包括步骤：S1、接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；S2、基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；S3、将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；S4、将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；S5、对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；S6、将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。进一步地，所述步骤S2具体包括：S21、利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；S22、对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；S23、基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；S24、基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云。进一步地，所述训练生成牙齿分割模型具体包括：S31、构建卷积神经网络，对手机的口腔内图像数据进行牙齿区域标注，得到对应的二值化牙齿掩膜；S32、对所述口腔内图像数据及二值化牙齿掩膜进行缩放，对应生成训练口腔内图像数据及训练掩膜；S33、基于所述口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，生成最终的牙齿分割模型。进一步地，所述平移包括近中、颊向、升高，旋转包括转矩、轴倾、扭转。本专利技术还提出一种基于计算机视觉的牙齿正畸装置，包括：位姿信息估计模块，用于接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；稠密点云生成模块，用于基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；牙齿提取模块，用于将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；牙齿点云模型生成模块，用于将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；优化模块，用于对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；配准模块，用于将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。进一步地，所述稠密点云生成模块具体包括：特征提取与匹配模块，用于利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；稀疏点云构建模块，用于对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；深度图计算模块，用于基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；稠密点云构建模块，用于基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云。进一步地，所述训练生成牙齿分割模型具体包括：构建模块，用于构建卷积神经网络，对手机的口腔内图像数据进行牙齿区域标注，得到对应的二值化牙齿掩膜；训练数据生成模块，用于对所述口腔内图像数据及二值化牙齿掩膜进行缩放，对应生成训练口腔内图像数据及训练掩膜；训练模块，用于基于所述口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，生成最终的牙齿分割模型。进一步地，所述平移包括近中、颊向、升高，旋转包括转矩、轴倾、扭转。本专利技术还提出一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于计算机视觉的牙齿正畸方法。本专利技术还提出一种存储介质，所述存储介质存储有计算机程序，所述计算机本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的牙齿正畸方法，其特征在于，包括步骤：/nS1、接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；/nS2、基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；/nS3、将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；/nS4、将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；/nS5、对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；/nS6、将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。/n

【技术特征摘要】
1.一种基于计算机视觉的牙齿正畸方法，其特征在于，包括步骤：
S1、接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；
S2、基于所述位姿信息及采集的口腔内图像进行口腔三维模型重建，生成稠密点云；
S3、将采集到的口腔内图像数据输入训练生成的牙齿分割模型，得到相应的牙齿掩膜；基于所述牙齿掩膜，将所述深度图中掩膜外的像素深度值变成0；
S4、将牙齿掩膜投射到稠密点云上，得到牙齿点云模型；
S5、对所述牙齿点云模型进行滤波，通过牙弓优化点云的曲面关系，生成精细化牙齿模型；
S6、将精细化牙齿模型与冶疗方案模型进行点云配准，得到每个牙齿在空间上的旋转以及平移值。


2.根据权利要求1所述的牙齿正畸方法，其特征在于，所述步骤S2具体包括：
S21、利用尺度不变特征变换算法提取口腔内图像中的特征点并进行匹配；
S22、对匹配后的特征点以及位姿信息利用全局SFM运算，得到更为精准的稀疏点云数据；
S23、基于SFM运算得到的极线，对口腔内图像通过极线搜索和块匹配确定投影点位置，计算口腔内图像的深度值并生成相应的深度图；
S24、基于所述采集到的口腔内图像及其相应的深度图、所述位姿信息，重建稠密点云。


3.根据权利要求1所述的牙齿正畸方法，其特征在于，所述训练生成牙齿分割模型具体包括：
S31、构建卷积神经网络，对手机的口腔内图像数据进行牙齿区域标注，得到对应的二值化牙齿掩膜；
S32、对所述口腔内图像数据及二值化牙齿掩膜进行缩放，对应生成训练口腔内图像数据及训练掩膜；
S33、基于所述口腔内图像数据及训练掩膜对构建的卷积神经网络进行训练，利用损失函数对卷积神经网络进行迭代、更新，生成最终的牙齿分割模型。


4.根据权利要求1所述的牙齿正畸方法，其特征在于，所述平移包括近中、颊向、升高，旋转包括转矩、轴倾、扭转。


5.一种基于计算机视觉的牙齿正畸装置，其特征在于，包括：
位姿信息估计模块，用于接收移动终端采集的口腔内图像，利用并发建图与定位算法估计位姿信息，基于所述位姿信息优化移动终端的移动范围；
稠密点云生成模块，用于基于所述位姿信息及采集...

【专利技术属性】
技术研发人员：何胜，孙其瑞，
申请(专利权)人：浙江得图网络有限公司，
类型：发明
国别省市：浙江;33