经由实时增强可视化的模拟正畸处理制造技术

本发明专利技术公开了一种用于使用增强现实来模拟正畸处理的系统和方法。从数字相机接收用户的面部的电子图像，并且识别图像中的感兴趣区域，其中该区域包括用户的牙齿。将虚拟正畸器具放置在图像中的用户的牙齿上，并且在电子显示装置上显示具有虚拟正畸器具的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。该系统和方法可显示用虚拟器具增强的用户的面部的3D表示。用户的增强图像或3D表示也可被补充以用于显示用户的面部解剖结构的图像或模型，诸如x射线或锥束计算机断层扫描图像。

【技术实现步骤摘要】
【国外来华专利技术】经由实时增强可视化的模拟正畸处理
技术介绍
增强现实面部过滤器诸如SNAPCHAT或INSTAGRAM产品的使用正变得日益普及。然而，这些过滤器主要用于当今流行的文化中，仅用于娱乐目的，诸如在视频增强中实时地在视觉上向人类受检者的面部或头部施用毛发、化妆品、眼镜、面部毛发和帽子的再现。需要扩展该技术以用于医疗或牙科应用。
技术实现思路
用于模拟本专利技术的实施方案的正畸处理的方法包括接收用户的面部的电子图像以及识别包括用户的牙齿的图像中的感兴趣区域。将虚拟正畸器具放置在图像中的用户的牙齿上或移除检测到的器具，并且在电子显示装置上显示具有虚拟正畸器具或不具有检测到的器具的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。本专利技术的实施方案的用于模拟正畸处理的系统包括提供电子数字图像或视频的相机、电子显示装置和处理器。处理器被配置用于从相机接收用户的面部的电子图像，识别图像中包括用户的牙齿的感兴趣区域，将虚拟正畸器具放置在图像中的用户的牙齿上或移除检测到的器具，以及在电子显示装置上显示具有虚拟正畸器具或不具有检测到的器具的用户的图像。处理器实时操作以在从相机接收用户的图像之时或之后不久向用户提供模拟处理的增强图像。本专利技术的实施方案的用于模拟正畸处理的另一种方法包括接收用户的面部的电子图像并检索用户的面部解剖结构的电子图像或模型。该方法还包括：识别图像中的感兴趣区域，其中感兴趣区域包括用户的牙齿；以及在图像中将虚拟正畸器具放置在用户的牙齿上。在电子显示装置上显示具有虚拟正畸器具且具有用户的面部解剖结构的图像或模型的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。本专利技术的实施方案的用于模拟正畸处理的另一系统包括提供电子数字图像或视频的相机、电子显示装置和处理器。处理器被配置用于接收用户的面部的电子图像，检索用户的面部解剖结构的电子图像或模型，识别所述图像中的感兴趣区域(其中感兴趣区域包括用户的牙齿)，将虚拟正畸器具放置在图像中的用户的牙齿上，以及在电子显示装置上显示具有虚拟正畸器具且具有用户的面部解剖结构的图像或模型的用户的图像。处理器实时操作以在从相机接收用户的图像之时或之后不久向用户提供模拟处理的增强图像。附图说明附图被结合到本说明书中且构成本说明书的一部分，并且附图与描述一起解释本专利技术的优点和原理。在附图中，图1为用于模拟正畸处理的系统的图示；图2为用于模拟正畸处理的方法的流程图；图3为示出检测到的面部的示例的图像的表示；图4为示出面部界标的图像的表示；图5为示出面部姿态估计的图像的表示；图6示出了裁剪的感兴趣区域；图7A-7C示出了应用于反向通道的自适应阈值；图8A-8C示出了应用于亮度通道的自适应阈值；图9A和图9B示出了感兴趣区域的打开和闭合；图10示出了检测边缘；图11示出了来自检测边缘的闭合轮廓；图12示出了处理的虚拟渲染；图13示出了处理的增强；图14A为示出单个图像的表示中的处理增强的用户界面；图14B为表示利用3D器具增强的3D模型的用户界面；图14C为表示利用器具和解剖结构增强的2D图像的用户界面；并且图14D为表示利用3D器具和解剖结构增强的3D模型的用户界面。具体实施方式本专利技术的实施方案包括使用计算机视觉和增强现实技术将计算机生成的图像叠置在现实世界的用户的视图上以提供以下各项中的一项或组合的视图：1.正畸器具(诸如舌面托槽、唇面托槽、对准器、类别校正装置或保持装置)的添加或减少。2.牙科修复物(诸如牙冠、牙桥、镶嵌物、填补物、镶面、假牙或齿龈)的添加、减少或修改。3.自然牙齿解剖结构的添加、减少或修改，诸如通过使用牙齿增白剂、减少或积聚尖端或切缘，或者预测儿童在出牙后牙齿的外观(可能包括异位出牙)。4.经由口腔或上颌面外科对颅面结构进行修改，口腔或上颌面外科包括牙槽面外科、牙科和上颌面植入物、美容外科和正颌外科。5.上颌面假体、眼假体或颅面假体的添加、减少或修改。6.正畸和/或修复处理的结果—包括牙齿解剖结构(即，牙齿和齿龈)的计划位置和形状。7.未经历正畸和/或修复处理的预测结果，可能表现出有害后果，诸如咬合不正、牙齿磨损、齿龈凹陷、牙龈疾病、骨丢失、蛀牙或牙丢失。8.面部的软组织的修改，诸如通过肉毒杆菌毒素注射或更具侵入性的美容和塑形外科手术，诸如鼻成形术、下巴增强、面颊增强、整容、眼睑提升、颈部提升、眉毛提升、裂腭修复、烧伤修复和疤痕修整。9.具有可变的不透明度、分阶段处理的叠加–以将预定的处理进展与实际的处理进展进行比较。该技术既可用作医疗/牙科专业人员进行处理计划的工具，也可用作向患者提出病例的工具。其他预期用途包括探究患者在处理期间或之后想要可视化其面部外观的处理选项，可能在外观之前和之后之间切换或转换以用于比较。在一些情况下，仅使用表面成像数据，患者可能够在不首先访问医疗或牙科从业者的情况下考虑处理情形。在其他情况下，增强可需要附加数据，诸如X射线或锥形束计算机断层扫描(CBCT)扫描数据、咬合配准数据、三维(3D)口腔扫描数据、虚拟关节运动数据或校准测量，以便生成在处理之后提供患者的更准确再现的处理计划。因此，可需要附加的时间和努力来清理和集成数据集、探究处理选项、执行测量和分析以及在可向患者示出处理结果的可信再现之前计划处理步骤。在一些情况下，可生成两个或更多个处理情形并将其呈现给患者，从而给予患者处理结果的一定程度上真实的视图。这可用于帮助患者(或医生)决定行动过程。在一些情况下，可根据结果的质量来权衡处理成本。例如，由于在外观上的边际增益超过较便宜的处理，患者可放弃昂贵的处理。类似的规则可应用于处理的持续时间，其中时间类似成本来处理。系统和方法图1为用于模拟正畸处理的系统10的图示。系统10包括与相机12电耦接的处理器16、显示装置14、输出装置18、存储装置19和输入装置20。相机12可用例如提供电子数字图像或视频的数字图像传感器来实现。显示装置14可用任何电子显示器实现，例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)显示器或有机发光二极管(OLED)显示器。输出装置18可用用于输出信息的任何装置来实现，例如扬声器、LED指示器或辅助LCD显示模块。输入装置20可用用于输入信息或命令的任何装置来实现，例如键盘、麦克风、光标控制装置或触摸屏。存储装置19可用用于存储信息的任何电子装置来实现，诸如硬盘驱动器、固态驱动器或闪存驱动器。存储装置19可任选地位于系统10的外部并通过网络连接进行访问。系统10可以用例如台式电脑、笔记本电脑或平板电脑或移动电话来实现。图2为用于模拟正畸处理的方法22的流程图。该方法可以在软件或固件模块中实现，以由处理器诸如处理器16执行。该方法用于通过增强、在由现实世界捕获的图像上的虚拟本文档来自技高网...

【技术保护点】
1.一种用于模拟正畸处理的方法，包括以下步骤：/n接收用户的面部的电子图像；/n识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；/n将虚拟正畸器具放置在所述图像中的所述用户的牙齿上；以及/n在电子显示装置上显示具有所述虚拟正畸器具的所述用户的图像，其中所述接收步骤、识别步骤、放置步骤和显示步骤实时发生。/n

【技术特征摘要】
【国外来华专利技术】20180510 US 62/669,628;20190225 US 62/809,8061.一种用于模拟正畸处理的方法，包括以下步骤：
接收用户的面部的电子图像；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
将虚拟正畸器具放置在所述图像中的所述用户的牙齿上；以及
在电子显示装置上显示具有所述虚拟正畸器具的所述用户的图像，其中所述接收步骤、识别步骤、放置步骤和显示步骤实时发生。


2.根据权利要求1所述的方法，还包括在视频帧中检测所述用户的面部的所述电子图像。


3.根据权利要求1所述的方法，还包括将界标应用于所述用户的面部的所述电子图像。


4.根据权利要求3所述的方法，还包括使用所述界标来估计所述电子图像中所述用户的面部的姿态。


5.根据权利要求3所述的方法，还包括使用所述界标来裁剪所识别的感兴趣区域。


6.根据权利要求1所述的方法，其中所述放置步骤包括将虚拟托槽和弓丝放置在所述图像中的所述用户的牙齿上。


7.根据权利要求1所述的方法，还包括生成所述用户的面部的三维电子表示，并且在电子显示装置上显示具有所述虚拟正畸器具的所述用户的面部的三维表示。


8.一种用于模拟正畸处理的系统，包括：
相机，所述相机提供电子数字图像或视频；
电子显示装置；和
处理器，所述处理器电耦接到所述相机和所述电子显示装置，其中所述处理器被配置用于：
从所述相机接收用户的面部的电子图像；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
将虚拟正畸器具放置在所述图像中的所述用户的牙齿上；以及
在所述电子显示装置上显示具有所述虚拟正畸器具的所述用户的图像，
其中所述接收、识别、放置和显示实时发生。


9.根据权利要求8所述的系统，其中所述处理器被进一步配置用于在来自所述相机的视频帧中检测所述用户的面部的所述电子图像。


10.根据权利要求8所述的系统，其中所述处理器被进一步配置用于将界标应用于所述用户的面部的所述电子图像。


11.根据权利要求10所述的系统，其中所述处理器被进一步配置用于使用所述界标来估计所述电子图像中所述用户的面部的姿态。


12.根据权利要求10所述的系统，其中所述处理器被进一步配置用于使用所述界标来裁剪所识别的感兴趣区域。


13.根据权利要求8所述的系统，其中所述处理器被进一步配置用于将虚拟托槽和弓丝放置在所述图像中的所述用户的牙齿上。


14.根据权利要求8所述的系统，其中所述处理器被进一步配置用于生成所述用户的面部的三维电子表示，并且在电子显示装置上显示具有所述虚拟正畸器具的所述用户的面部的三维表示。


15.一种用于模拟正畸处理的方法，包括以下步骤：
接收用户的面部的电子图像；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
移除检测到的器具；以及
在电子显示装置上显示不具有所述检测到的器具的所述用户的图像，
其中所述接收步骤、识别步骤、放置或移除步骤以及显示步骤实时发生。


16.一种用于模...

【专利技术属性】
技术研发人员：艾米·温克莱斯比，科迪·J·奥尔森，理查德·E·拉比，
申请(专利权)人：三M创新有限公司，
类型：发明
国别省市：美国;US