一种牙面病灶的识别方法、系统、设备及存储介质技术方案

本申请属于图像识别技术领域，公开了一种牙面病灶的识别方法、系统、设备及存储介质。通过获取待识别者的口腔图像，口腔图像包含所述待识别者的若干种不同的牙面特征；将获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；将第一阶段得到的牙体切片输入到由YOLOv5+MASK R

【技术实现步骤摘要】
一种牙面病灶的识别方法、系统、设备及存储介质


[0001]本申请涉及图像识别
，尤其涉及一种牙面病灶的识别方法、系统、设备及存储介质。

技术介绍

[0002]牙齿是人类重要的器官之一，微笑露齿时，常因牙面着色异常而严重影响美观，引起高度关注。更重要的是当牙齿出现病灶，通常是表现为无明显自觉症状的慢性炎症区，通常毫无症状极易被忽视，但这些局限在人们口腔内的感染灶内隐藏着多种疾病细菌和细菌分解产生的毒素，这些细菌和毒素会随着人体的血液和淋巴循环到处扩散，诱发其他疾病，例如关节炎、心肌炎。因此对于牙齿出现的病灶应该及时发现并进行处理。但目前对牙齿病灶的识别多需要去医院通过特定的发射紫外线或红外线的装置采集x线片后进行识别，无法对普通人群通过手机或者相机拍摄的普通图片进行识别。虽目前出现一些基于卷积神经网络的人工智能图像识别技术，但目前的图像识别技术对于牙齿这类小目标的识别难度较大，检测精度较差。

技术实现思路

[0003]为此，本申请的实施例提供了一种牙面病灶的识别方法、系统、计算机设备及存储介质，提高了对牙齿病灶的定位和识别精度。
[0004]第一方面，本申请提供一种牙面病灶的识别方法。
[0005]本申请是通过以下技术方案得以实现的：
[0006]一种牙面病灶的识别方法，所述方法包括：所述方法包括：
[0007]获取待识别者的口腔图像，所述口腔图像包含所述若干种不同的牙面特征；
[0008]将所述获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；
[0009]将所述第一阶段得到的牙体切片输入到由YOLOv5+MASK R
‑
CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。
[0010]在本申请一较佳的示例中可以进一步设置为，所述牙体检测模型的具体训练方法为：
[0011]将所述口腔图像划分为训练集数据、验证集数据和测试集数据；
[0012]利用标注工具来对所述训练集数据和测试集数据的口腔图像中的真实牙体边界框进行标注；
[0013]将所述训练集数据中的口腔图像以及对应的真实牙体边界框输入到YOLOv5模型中，得到预测牙体边界框；
[0014]基于真实牙体边界框和预测牙体边界框构建损失函数，并对YOLOv5模型的超参数进行优化；
[0015]利用验证集数据对YOLOv5模型的进行性能验证，待YOLOv5模型达到预设性能要
求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5模型作为牙体检测模型。
[0016]在本申请一较佳的示例中可以进一步设置为，所述对YOLOv5模型的超参数进行优化的步骤中，使用的优化策略为：贝叶斯优化算法。
[0017]在本申请一较佳的示例中可以进一步设置为，病灶检测模型的具体训练方法为：
[0018]将训练集数据中的口腔图像输入到牙体检测模型，得到包含单颗牙体的牙体切片；
[0019]利用标注工具对所述牙体切片的真实病灶区域进行标注，并按照真实病灶区域的牙面特征添加相应的语义标签，将牙体切片和相应的真实病灶区域以及语义标签输入到YOLOv5+MASK R
‑
CNN联合模型中，得到预测病灶区域以及预测语义分类；
[0020]基于真实病灶区域和预测病灶区域对所述YOLOv5+MASK R
‑
CNN联合模型构建损失函数，并对YOLOv5+MASK R
‑
CNN联合模型的超参数进行优化；
[0021]利用验证集数据对YOLOv5+MASK R
‑
CNN联合模型的进行性能验证，待YOLOv5+MASK R
‑
CNN联合模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5+MASK R
‑
CNN联合模型作为病灶检测模型。
[0022]在本申请一较佳的示例中可以进一步设置为，所述对YOLOv5+MASK R
‑
CNN联合模型进行优化的步骤中，使用的优化策略为：贝叶斯优化算法。
[0023]在本申请一较佳的示例中可以进一步设置为，所述超参数包括：学习率、批量尺寸大小、迭代次数。
[0024]在本申请一较佳的示例中可以进一步设置为，所述YOLOv5模型包括Input模块、主干网络、neck网络以及Head检测输出端；
[0025]其中，所述Input模块用于将输入的口腔图像的尺寸调整至网络设置的尺寸大小；
[0026]所述主干网络用于对Input模块传输的预设大小的口腔图像进行特征提取；
[0027]所述neck网络用于通过上采样操作和下采样操作进行特征聚合；
[0028]Head检测输出端用于输出预测的牙体切片。
[0029]在本申请一较佳的示例中可以进一步设置为，所述YOLOv5+MASK R
‑
CNN联合模型包括：
[0030]YOLOv5模型和MASK R
‑
CNN模型，所述YOLOv5模型的输出端连接所述MASK R
‑
CNN模型的输入端；
[0031]其中，所述MASK R
‑
CNN模型包括：骨干网络、区域卷积网络、ROI模块以及结果输出端；
[0032]所述骨干网络用于提取牙体切片的深度特征；所述区域卷积网络用于将骨干网络提取到的深度特征进行卷积操作，生成若干个推荐区域；所述ROI模块用于将所述推荐区域做Max pooling操作，得到若干个感兴趣区域；所述结果输出端用于对若干个所述感兴趣区域进行类别划分、边框回归以及掩码分割，得到最终的病灶识别结果。
[0033]在本申请一较佳的示例中可以进一步设置为，所述获取待识别者的口腔图像的步骤为：
[0034]通过摄像装置在预设拍照模式下拍摄被识别者的口腔图像，对每一个待识别者按照若干个不同的角度进行拍摄，同时在每个角度上按照摄像装置与待识别者的面部之间的两个不同距离进行两次拍摄。
[0035]在本申请一较佳的示例中可以进一步设置为，所述获取待识别者的口腔图像后还包括：
[0036]对所述口腔图像进行预清理，将获取的口腔图像中的模糊图像、重影图像、曝光图像、缺少牙面信息的图像以及在评估区域出现异物图像进行删除，得到有效的口腔图像。
[0037]在本申请一较佳的示例中可以进一步设置为，所述利用标注工具来标注所述训练集数据和测试集数据的口腔图像中的真实牙体边界框的步骤之后还包括：
[0038]对所述标注真实牙体边界框后的口腔图像进行数据增强，增加所述口腔图像的样本量。
[0039]在本申请一较佳的示例中可以进一步设置为，对所述标注真实牙体边界框后的口腔图像进行数据增强的方式包括以下至少一种：
[0040]对所述口腔图像进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种牙面病灶的识别方法，其特征在于，所述识别方法包括：获取待识别者的口腔图像，所述口腔图像包含若干种不同的牙面特征；将所述获取的口腔图像输入到由YOLOv5模型训练得到的牙体检测模型中，进行第一阶段的牙体目标识别，得到包含单颗牙体的牙体切片；将所述第一阶段得到的牙体切片输入到由YOLOv5+MASK R
‑
CNN联合模型训练得到的病灶检测模型中，进行第二阶段的病灶目标识别，得到病灶识别结果。2.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述牙体检测模型的具体训练方法为：将所述口腔图像划分为训练集数据、验证集数据和测试集数据；利用标注工具来对所述训练集数据和测试集数据的口腔图像中的真实牙体边界框进行标注；将所述训练集数据中的口腔图像以及对应的真实牙体边界框输入到YOLOv5模型中，得到预测牙体边界框；基于真实牙体边界框和预测牙体边界框构建损失函数，并对YOLOv5模型的超参数进行优化；利用验证集数据对YOLOv5模型的进行性能验证，待YOLOv5模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5模型作为牙体检测模型。3.根据权利要求2所述的牙面病灶的识别方法，其特征在于，所述对YOLOv5模型的超参数进行优化的步骤中，使用的优化策略为：贝叶斯优化算法。4.根据权利要求2所述的牙面病灶的识别方法，其特征在于，病灶检测模型的具体训练方法为：将训练集数据中的口腔图像输入到牙体检测模型，得到包含单颗牙体的牙体切片；利用标注工具对所述牙体切片的真实病灶区域进行标注，并按照真实病灶区域的牙面特征添加相应的语义标签，将牙体切片和相应的真实病灶区域以及语义标签输入到YOLOv5+MASK R
‑
CNN联合模型中，得到预测病灶区域以及预测语义分类；基于真实病灶区域和预测病灶区域对所述YOLOv5+MASK R
‑
CNN联合模型构建损失函数，并对YOLOv5+MASK R
‑
CNN联合模型的超参数进行优化；利用验证集数据对YOLOv5+MASK R
‑
CNN联合模型的进行性能验证，待YOLOv5+MASK R
‑
CNN联合模型达到预设性能要求，固定在预设性能要求时对应的超参数，将训练好的YOLOv5+MASK R
‑
CNN联合模型作为病灶检测模型。5.根据权利要求4所述的牙面病灶的识别方法，其特征在于，所述对YOLOv5+MASK R
‑
CNN联合模型进行优化的步骤中，使用的优化策略为：贝叶斯优化算法。6.根据权利要求2至5任意一项所述的牙面病灶的识别方法，其特征在于，所述超参数包括：学习率、批量尺寸大小、迭代次数。7.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述YOLOv5模型包括Input模块、主干网络、neck网络以及Head检测输出端；其中，所述Input模块用于将输入的口腔图像的尺寸调整至网络设置的尺寸大小；所述主干网络用于对Input模块传输的预设大小的口腔图像进行特征提取；所述neck网络用于通过上采样操作和下采样操作进行特征聚合；
Head检测输出端用于输出预测的牙体切片。8.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述YOLOv5+MASK R
‑
CNN联合模型包括：YOLOv5模型和MASK R
‑
CNN模型，所述YOLOv5模型的输出端连接所述MASK R
‑
CNN模型的输入端；其中，所述MASK R
‑
CNN模型包括：骨干网络、区域卷积网络、ROI模块以及结果输出端；所述骨干网络用于提取牙体切片的深度特征；所述区域卷积网络用于将骨干网络提取到的深度特征进行卷积操作，生成若干个推荐区域；所述ROI模块用于将所述推荐区域做Max pooling操作，得到若干个感兴趣区域；所述结果输出端用于对若干个所述感兴趣区域进行类别划分、边框回归以及掩码分割，得到最终的病灶识别结果。9.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述获取待识别者的口腔图像的步骤为：通过摄像装置在预设拍照模式下拍摄待识别者的口腔图像，对每一个待识别者按照若干个不同的角度进行拍摄，同时在每个角度上按照摄像装置与待识别者的面部之间的两个不同距离进行两次拍摄。10.根据权利要求1所述的牙面病灶的识别方法，其特征在于，所述获取待识别者的口腔图像后还包括：对所述口腔图像进行预清理，将获取的口腔图像中的模糊图像、重影图像、曝光图像、缺少牙面信息的图...

【专利技术属性】
技术研发人员：赵玮，古威丽，
申请(专利权)人：中山大学附属口腔医院，
类型：发明
国别省市：