用于牙齿整形的影像仿真方法及其影像仿真装置制造方法及图纸

本发明专利技术提供一种用于牙齿整形的影像仿真方法。首先，接收一脸部视频并从中取得一脸部画面，并在脸部画面上定义出多个脸部影像特征点以确认嘴巴区域。取得嘴巴区域内的牙齿影像。依据此牙齿影像，定义出多个牙齿影像特征点。随后，比对立体牙齿模型的特征点与相对应的牙齿影像特征点以调整立体牙齿模型。再利用对应于立体牙齿模型的特征点，将调整后的立体牙齿模型投影至脸部视频。本公开还提供一种用于牙齿整形的影像仿真装置。本发明专利技术提供的用于牙齿整形的影像仿真方法可以提供患者牙齿整形后仿真视频。

Image simulation method and device for dental plastic surgery

The invention provides an image simulation method for dental plastic surgery. Firstly, a face video is received and a face image is obtained from it, and several feature points of face image are defined on the face image to confirm the mouth area. Obtain dental images in the mouth area. Based on this dental image, several dental image feature points are defined. Subsequently, the feature points of the three-dimensional dental model were compared with the corresponding feature points of the dental image to adjust the three-dimensional dental model. Then, the adjusted stereo tooth model is projected to the face video by using the feature points corresponding to the stereo tooth model. The present disclosure also provides an image simulation device for dental plastic surgery. The image simulation method for dental plastic surgery provided by the invention can provide the simulation video of patients after dental plastic surgery.

【技术实现步骤摘要】
用于牙齿整形的影像仿真方法及其影像仿真装置
本专利技术涉及计算机
，尤其涉及一种计算机影像仿真方法。
技术介绍
牙齿整形最容易构成的纠纷就是，患者预期的效果与手术后实际的状况不符。目前实务上，牙医师仅能倚靠口头描述或二维静态范例照片向患者做术前沟通。这种方式容易造成误解而引起纠纷。通过影像仿真可以让使用者可以在下决定前有更多参考条件。
技术实现思路
本专利技术提供一用于牙齿整形的影像仿真方法，包含：接收一脸部视频，并从中获取一脸部画面；在脸部画面上搜索多个脸部影像特征点，以确认一嘴巴区域；取得嘴巴区域内的一牙齿影像；依据牙齿影像，定义出多个牙齿影像特征点；将一立体牙齿模型的多个预设牙齿模型特征点与牙齿影像特征点进行比对，以调整到预设牙齿模型特征点符合牙齿影像特征点；以及将调整后的立体牙齿模型投影至脸部视频。本专利技术所提供的用于牙齿整形的影像仿真装置括一数据库、一画面获取单元与一处理单元。数据库存储有一预先建立的立体牙齿模型数据以及对应至立体牙齿模型的多个预设特征点数据，预设特征点数据报括多个预设脸部特征点与多个预设牙齿模型特征点。画面获取单元用以接收一脸部视频，并从中获取一脸部画面。处理单元电性连接至内存与画面获取单元，以取得前述预先建立的立体牙齿模型、对应至此立体牙齿模型的多个预设特征点以及前述脸部画面。处理单元电性连接至数据库与画面获取单元，其用以：在脸部画面上搜索多个脸部影像特征点，以确认一嘴巴区域；取得嘴巴区域内的一牙齿影像；依据牙齿影像，定义出多个牙齿影像特征点；将一立体牙齿模型的多个预设牙齿模型特征点与这些牙齿影像特征点进行比对，以调整到这些预设牙齿模型特征点符合这些牙齿影像特征点；以及将调整后的立体牙齿模型投影至脸部视频。通过本专利技术所提供的影像仿真方法及影像仿真装置，可以将预先建立的立体牙齿模型转换调整实际的牙齿影像后，实时地将调整后的立体牙齿模型投影叠加于脸部视频上，以仿真患者牙齿整形后的影像视频，提供参考，避免纠纷。附图说明为让本公开的上述和其他目的、特征、优点与实施例能更明显易懂，说明书附图的说明如下：图1是本专利技术用于牙齿整形的影像仿真方法一实施例的流程图；图2是图1的步骤S110所获取的一脸部画面与步骤S120所定义的多个脸部影像特征点一实施例的示意图；图3是图1的步骤S120所确认的嘴巴区域的影像一实施例的示意图；图4是图1的步骤S130从图3的嘴巴区域内找出牙齿影像一实施例的示意图；图5是针对图4的牙齿影像进行边缘检测后所产生的牙齿边缘影像一实施例的示意图；图6是针对图5的牙齿边缘影像进行角检测所找出的多个候选特征点一实施例的示意图；图7是本专利技术一预先建立的立体牙齿模型一实施例的示意图；图8是本专利技术用于牙齿整形的影像仿真方法另一实施例的流程图；图9是本专利技术用于牙齿整形的影像仿真方法又一实施例的流程图；图10是本专利技术用于牙齿整形的影像仿真装置一实施例的方框图；以及图11是本专利技术用于牙齿整形的影像仿真装置另一实施例的方框图。具体实施方式下面将结合示意图对本专利技术的具体实施方式进行更详细的描述。根据下列描述和权利要求，本专利技术的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的。图1是本专利技术用于牙齿整形的影像仿真方法一实施例的流程图。如图中所示，本专利技术的影像仿真方法，包含以下步骤。首先，在步骤S110中，从一视频来源接收一脸部视频(video)，并从中取得一脸部画面(image)300。此视频来源可以是录像机、手机的视频获取模块、或是影音播放器等。本步骤所使用的脸部视频并非限定于视频来源实时获取的视频，预先存储的视频亦可应用于本专利技术。接下来，在步骤S120中，从所获取的脸部画面300上，依据一预设原则，找出多个脸部影像特征点Pm,Pf，以确认一嘴巴区域320。图2是步骤S110所获取的脸部画面300以及步骤S120所标示的多个脸部影像特征点Pm,Pf一实施例的示意图。举例来说，可预先设定眉毛、眼角、鼻头、鼻翼、嘴唇外围、脸部外围的特定位置为脸部影像特征点Pm,Pf的位置；随后再以此预设原则在所获取的脸部画面300上标示这些脸部影像特征点Pm,Pf。在确定脸部影像特征点Pm,Pf的位置后，即可依据嘴巴区域320在脸部影像中的相对位置，或是依据脸部影像特征点Pm,Pf中对应至嘴巴区域320的特征点，来确认嘴巴区域320。图3即前述步骤S120所确认的嘴巴区域320的影像一实施例的示意图。图3中的特征点Pm即为脸部影像特征点Pm,Pf中，对应于嘴巴区域的脸部影像特征点。本实施例利用这些特征点Pm定义出嘴巴区域320的范围。不过，本专利技术并不限于此。举例来说，由于嘴巴区域320大致是位于脸部的下方三分之一范围，在另一实施例中，亦可利用这些脸部影像特征点Pm,Pf确认脸部区域，然后将脸部区域下方三分之一的范围定义为嘴巴区域的范围。随后，在步骤S130中，判断嘴巴区域320内是否存在一牙齿影像330。若是存在牙齿影像330，此流程会继续前进至步骤S140。若不存在牙齿影像330，则会发出一警示信号。同时中止此流程，此时使用者可选择结束流程，或回到步骤S110重新获取脸部画面300。本实施例在判断不存在牙齿影像330时，可直接回到步骤S110重新获取脸部画面。不过，本专利技术并不限于此。举例来说，若判断不存在牙齿影像330或是牙齿影像330不够明显而无法执行后续步骤，可发出警示信号通知操作人员处理(例如要求被拍摄的人员张大嘴巴露出牙齿)。图4步骤S130从嘴巴区域320内找出的牙齿影像330一实施例的示意图。如图中所示，由于牙齿部分与嘴唇、牙龈处的颜色不同，本实施例通过比较颜色差异，判断牙齿影像330是否存在，并确认牙齿影像的范围。就一实施例而言，可针对嘴巴区域320的影像进行色彩转换，如RGB至LAB的色彩转换，以凸显牙齿部分与周围区域的差异，然后再进行判断。在步骤S140中，依据步骤S130确认的牙齿影像，在牙齿影像330上找出多个牙齿影像特征点Qa,Qb,Qc。进一步来说，请同时参照图4至图6，其中，图5是针对图4的牙齿影像330进行边缘检测(edgedetection)后所产生的牙齿边缘影像340一实施例的示意图，图6是针对图5的牙齿边缘影像340进行角检测所找出的多个候选特征点Q一实施例的示意图。如图5所示，在步骤S140中，针对牙齿影像330执行边缘检测，以确认牙齿影像330的边缘。本实施例是采用Sobel运算符(operator)进行边缘检测。不过，本专利技术并不限于此，其他边缘检测方法，如Prewitt运算符、Canny边缘检测等方法，亦可应用于本专利技术。接下来，如图6所示，针对前述执行边缘检测后取得的牙齿边缘影像(即图5所示的影像340)，执行角检测(cornerdetection)，定义出多个候选特征点Q。本实施例是采用Harris角检测以取得候选特征点。不过，本专利技术并不限于此。其他角检测方法，如Moravec角检测、Forstner角检测等方法，亦可应用于本专利技术。接下来，请参照图3与图6，比对候选特征点Q与位于嘴巴区域的脸部影像特征点Pm的相对位置，从这些候选特征点Q中定义出牙齿影像特征点Qa,Qb,Qc。就一实本文档来自技高网...

【技术保护点】
1.一种用于牙齿整形的影像仿真方法，其特征是，包含：接收脸部视频并从中获取脸部画面；在上述脸部画面上搜索多个脸部影像特征点，以确认嘴巴区域；取得上述嘴巴区域内的牙齿影像；依据上述牙齿影像，定义出多个牙齿影像特征点；将立体牙齿模型的多个预设牙齿模型特征点与上述这些牙齿影像特征点进行比对，以调整到上述这些预设牙齿模型特征点符合上述这些牙齿影像特征点；以及将调整后的上述立体牙齿模型投影至上述脸部视频。

【技术特征摘要】
1.一种用于牙齿整形的影像仿真方法，其特征是，包含：接收脸部视频并从中获取脸部画面；在上述脸部画面上搜索多个脸部影像特征点，以确认嘴巴区域；取得上述嘴巴区域内的牙齿影像；依据上述牙齿影像，定义出多个牙齿影像特征点；将立体牙齿模型的多个预设牙齿模型特征点与上述这些牙齿影像特征点进行比对，以调整到上述这些预设牙齿模型特征点符合上述这些牙齿影像特征点；以及将调整后的上述立体牙齿模型投影至上述脸部视频。2.如权利要求1所述的用于牙齿整形的影像仿真方法，其特征是，取得上述牙齿影像的步骤前，还包括：确认上述嘴巴区域内是否存在上述牙齿影像；以及若不存在上述牙齿影像，发出警示信号。3.如权利要求1所述的用于牙齿整形的影像仿真方法，其特征是，确认上述牙齿影像的步骤包括：利用色彩转换方式，确认上述嘴巴区域内是否存在上述牙齿影像。4.如权利要求1所述的用于牙齿整形的影像仿真方法，其特征是，定义上述这些牙齿影像特征点的步骤包括：对上述牙齿影像执行边缘检测，以产生牙齿边缘影像；利用上述牙齿边缘影像，执行角检测定义出多个候选特征点；以及比对上述这些候选特征点与上述这些脸部影像特征点中位于嘴巴区域的上述这些脸部影像特征点的相对位置，从上述这些候选特征点中定义出上述这些牙齿影像特征点。5.如权利要求4所述的用于牙齿整形的影像仿真方法，其特征是，定义出上述这些牙齿影像特征点的步骤包括：比对上述这些候选特征点与上述这些脸部影像特征点中位于嘴巴区域的上述这些脸部影像特征点的相对位置，并找出与上述这些脸部影像特征点最为接近的至少两个上述候选特征点作为上述这些牙齿影...

【专利技术属性】
技术研发人员：林伟博，郭皓渊，
申请(专利权)人：华硕电脑股份有限公司，
类型：发明
国别省市：中国台湾,71