【技术实现步骤摘要】
本专利技术涉及人工智能深度学习领域，尤其是涉及一种基于多模态深度学习的颞下颌关节运动功能状态识别方法、装置及电子设备。
技术介绍
1、颞下颌关节紊乱症(temporomandibular disorder,tmd)是由于颞下颌关节盘的移位或其周围韧带、肌肉和髁突出现功能或器质性改变而引起的一种常见疾病。颞下颌关节素乱病(tmd)是口腔颌面部常见的疾病之一，好发于青中年，以20～30岁患病率和就诊率最高。tmd并非指单一疾病，它是一类病因尚未完全清楚而又有相同或相近临床症状的一组疾病的总称。患者常表现出关节区疼痛、咀嚼肌扪痛、张口受限、关节弹响、头痛和耳痛等症状。据统计，全球tmd的患病率为28％，是非牙源性口腔和面部疼痛的主要原因。tmd临床表现有下颌运动异常、疼痛、弹响和杂音、头痛、耳症等。因此，针对关节盘移位造成的颞下颌关节疾病问题，对下颌运动异常状态的预测对辅助tmd诊断有重要作用。
2、目前，颞下颌关节核磁共振技术(mri技术)能够清晰显示颞下颌关节的软组织结构。关节盘移位包括：下颌处于牙尖交错位(闭口位)时，关节盘相对髁突前斜面前下移位(关节盘后界线位于11：30时针位置之前)，前移位的关节盘通常伴有不同程度的变形。若是可复性盘前移位，最大开口位时关节盘中间带位于髁头和关节结节之间；若是不可复性盘前移位，最大开口位时关节盘后带则仍位于髁头前方。但mri技术存在一定的局限性，可能因存在假象而导致误诊。例如在可复性盘前移位患者关节盘前移较远的病例，如在关节造影或mri检查时开口度未达到关节盘可以发生复位的位置时
3、下颌运动分析是另一种重要参考方法，伴有颞下颌关节疾病的患者会有颞下颌关节运动异常。目前临床上正畸医生都是通过临床检查对下颌运动进行分析，这项临床检查主观性较高，而且低年资医生较难掌握。而电子面弓技术在一定程度上能够较准确地反映下颌运动轨迹。电子面弓的咬合关系模块，测量正中关系位，患者仅需跟着系统指示进行开闭口，哥特式运动，便可快速准确寻找到正中关系位。髁突电子位置分析，可针对颞关节咬合位置靶向分析，有效验证咬合板的治疗。测量流程只需40秒，即可获取課突及切端边缘运动轨迹描记图，辅助医师进行分析诊断。而且电子面弓的机身设计小巧，操作流程简单，只需用手指简单操作即可完成面弓佩戴，解决传统面弓冗杂的操作而给患者带来的不佳体验。
4、除上述检查方式外，ct可重建获取颞下颌关节任何层面的影像。ct影像具备良好的空间分辨率，关节骨性结构显示良好，部分锥形束ct(cbct)设备还可清晰显示髁突密质骨板和髓腔骨小梁结构，因此ct可以显示髁突和关节结节任意部位的骨质改变。虽然影像学检查作为颞下颌关节紊乱症的主要辅助检查手段，但还是要结合临床，共同判断颞下颌关节的状态。
5、多模态深度学习(multimodal deep learning,mmdl)是近年来随着深度学习的发展而兴起的重要研究方向，其主要目的是使用深度学习的方法处理和理解多源模态的信息。不同模态数据对事物的表现方式不一样，看待事物的角度也会不一样，所以存在信息冗余和互补的现象，如果能合理地处理多种来源的信息，就能得到更加丰富特征信息，这对于辅助诊断非常有帮助。相比于单模态深度学习，多模态深度学习的特点是网络输入层需要具备同时接受不同模态数据输入的能力，并且在多模态深度学习模型的训练过程中，不但要充分提取和利用各个模态内部的有用信息，而且需要同时挖掘各模态数据之间的互补性并进行有效的信息融合，以实现比单模态模型更优的性能。因此在将深度学习技术应用至医学研究的过程中，加强多模态深度学习技术在临床医学中的应用是目前的发展趋势。
6、综上，在对颞下颌关节运动功能状态进行预测时，综合考虑的因素越全面，例如临床情况、运动状态、医学影像学表现、相关实验室检查等，预测的结果将会越准确。但是，目前相关技术的应用多是根据单种来源的数据进行判断，例如仅仅依靠颞下颌关节核磁共振图像、或者仅仅依靠颞下颌关节cbct数据，很少能根据颞下颌关节的多种影像检查综合分析，因此导致颞下颌关节运动功能状态识别效率和准确率较低。因此，如何进一步提高颞下颌关节运动功能状态识别的效率与准确率，成为本领域需要解决的问题。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多模态深度学习的颞下颌关节运动功能状态识别方法、装置及电子设备，通过正畸大数据库，建立正畸下颌运动分析方法，结合人工智能技术，能够降低学习成本，将颞下颌关节核磁共振图像、颞下颌关节cbct图像、下颌运动轨迹数据进行整合，从多个维度更快速准确地预测颞下颌关节状态，进而训练出分析水平接近专家的分析系统，辅助临床诊治。
2、本专利技术的目的可以通过以下技术方案来实现：
3、根据本专利技术的第一方面，提供一种基于多模态深度学习的颞下颌关节运动功能状态识别方法，包括以下步骤：获取多模态数据样本并进行预处理，所述多模态数据样本包括颞下颌关节影像数据和颞下颌关节电子面弓数据，所述多模态数据样本从预先构建的颞下颌关节运动功能状态数据库中获取；基于预处理后的多模态数据样本，根据数据类别分别训练并优化预训练的图像分割模型以及图像分类模型；利用后端融合方法，将训练好的图像分割模型和图像分类模型融合得到多模态深度学习模型，并利用预处理后的多模态数据样本训练并优化所述多模态深度学习模型；获取待识别的多模态数据并输入训练好的多模态深度学习模型，得到相应的颞下颌关节运动功能状态识别结果。
4、作为优选的技术方案，所述预处理的具体过程包括：对所述多模态数据样本进行降噪、标注、分类以及归一化处理。
5、作为优选的技术方案，根据数据类别分别训练并优化预训练的图像分割模型以及图像分类模型，具体过程包括：利用预处理后的颞下颌关节影像数据训练并优化预训练的图像分割模型，所述颞下颌关节影像数据包括颞下颌关节核磁共振图像数据和颞下颌关节锥形束ct图像数据；以及，利用预处理后的颞下颌关节电子面弓数据训练并优化预训练的图像分类模型。
6、作为优选的技术方案，所述预处理包括标注处理，所述多模态深度学习模型的训练过程具体包括：将经过标注处理的多模态数据样本作为训练样本；将所述训练样本划分为训练集和验证集；基于预设的初始模型参数，利用所述训练集中的样本数据和梯度下降算法对所述多模态深度学习模型进行迭代训练；利用所述验证集中的样本数据确定所述多模态深度学习模本文档来自技高网...
【技术保护点】
1.一种基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，所述预处理的具体过程包括：对所述多模态数据样本进行降噪、标注、分类以及归一化处理。
3.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，根据数据类别分别训练并优化预训练的图像分割模型以及图像分类模型，具体过程包括：
4.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，所述预处理包括标注处理，所述多模态深度学习模型的训练过程具体包括：
5.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，利用后端融合方法，将训练好的图像分割模型和图像分类模型融合得到多模态深度学习模型，具体过程包括：
6.根据权利要求5所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，获取待识别的颞下颌关节影像数据并输入训练好的多模态深度学习模型，得到相应的颞
7.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，所述多模态数据样本还包括临床检查文本数据。
8.根据权利要求7所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，所述颞下颌关节运动功能状态识别方法还包括以下步骤：
9.一种基于多模态深度学习的颞下颌关节运动功能状态识别装置，其特征在于，包括数据获取与预处理模块、单模态模型训练模块、多模态模型融合与训练模块以及功能状态识别模块，
10.一种电子设备，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
...【技术特征摘要】
1.一种基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，所述预处理的具体过程包括：对所述多模态数据样本进行降噪、标注、分类以及归一化处理。
3.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，根据数据类别分别训练并优化预训练的图像分割模型以及图像分类模型，具体过程包括：
4.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，所述预处理包括标注处理，所述多模态深度学习模型的训练过程具体包括：
5.根据权利要求1所述的基于多模态深度学习的颞下颌关节运动功能状态识别方法，其特征在于，利用后端融合方法，将训练好的图像分割模型和图像分类模型融合得到多模态深度学习模型，具体过程包括：
6.根...
【专利技术属性】
技术研发人员：房兵，李海振，李振霞，夏伦果，刘安琪，
申请(专利权)人：上海交通大学医学院附属第九人民医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。