本申请涉及一种多模态融合辅助干眼诊断和分型的方法、装置及系统，包括以下步骤：获取图像、视频和受检者的干眼症状相关指标；根据受检者的睑板腺红外照相和睑缘照相，获取受检者的睑板腺特征、泪河特征、睑缘形态特征以及泪河高度；根据睑缘形态特征进行睑缘异常的分类；获取受检者的泪膜形态特征及泪膜破裂时间；将睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间及干眼症状相关指标输入多模态融合干眼诊断模型中，明确受检者是否存在干眼及干眼的分型。本申请减少了以往干眼指标评估过程中医生人为因素对结果准确性的干扰，同时提高了各项干眼指标的评估速度，辅助人工来完成干眼的多模态快速自动化诊断，并指导治疗方案。并指导治疗方案。并指导治疗方案。
【技术实现步骤摘要】
一种多模态融合辅助干眼诊断和分型的方法、装置及系统
[0001]本申请涉及医疗设备
，尤其是涉及一种多模态融合辅助干眼诊断和分型的方法、装置及系统。
技术介绍
[0002]干眼是最常见的眼表疾病之一，干眼患病与地区干燥的气候、强风沙、强紫外线等地理气候因素密切相关，而这些地区往往幅员辽阔，人口密度相对较低且医疗资源分布不平衡且交通不便，导致了患者就医率较低，干眼诊断率低。患者患病后不予重视，常导致错过最佳治疗时机，干眼发展至严重影响正常生活，乃至失明等不可挽回的严重后果，极大的影响了我国新疆等西部地区人民群众的健康，将对医疗卫生投入和国民经济发展造成较大的负担。
[0003]为了便于区分干眼病，2020年中国干眼专家共识提出了干眼的全新诊断指标，符合以下两条，即可诊断为干眼：（1）有干涩感、异物感、烧灼感、疲劳感、不适感、眼红、视力波动等主观症状之一，中国干眼问卷量表≥7分或OSDI≥13分；（2）符合以下两点之一：a、TFBUT（泪膜破裂时间）≤5秒或NIBUT（非侵入性泪膜破裂时间）<10秒或SchirmerI（泪液分泌）试验≤5mm/5min，b、5s<TFBUT≤10s或TNIBUT为10～12秒或5mm/5min<SchirmeI试验（无麻醉）≤10mm/5min，角结膜荧光素染色阳性（≥5）个点。专家共识根据泪膜的结构和动力学的异常，将干眼分为5种类型：水液缺乏型干眼；黏蛋白异常型干眼；脂质异常型干眼；泪液动力学异常型干眼；混合型干眼。而评估泪膜的主要指标包括泪膜破裂时间、角膜荧光素染色、泪膜破裂模式、泪液分泌试验、泪河高度、睑缘形态、睑板腺形态红外照相等。
[0004]干眼临床评估体系欠缺精准性和客观性，除了NIBUT是相对客观的数字指标，泪河高度、泪膜破裂模式、睑缘形态和睑板腺形态的评价指标都是主观的观察性指标，受观测者因素影响大，存在较大的变异性。尤其是各类图像数据，是干眼评估体系中的难点。如睑板腺形态、泪膜形态特征中可能存在潜在肉眼难以观察或尚未发现的有助于诊断的特征，且睑板腺形态的分析，绝大多数的研究还是在根据睑板腺萎缩的比例来进行分级，这种定性方法简单粗略，适合人工评估，存在不能进行精确地定量分析，更无法指导进一步深入的研究的缺陷。
[0005]近年来，多模态融合技术快速发展，为医学人工智能辅助诊断提供了强大的技术支持。多模态融合技术是指将两种或两种以上的生物模态识别技术进行集成，结合数据融合技术，使识别和诊断过程更加准确和安全。目前主流的干眼人工智能辅助诊断方法采用的数据单一，无法学到模态间更深层更复杂的内在联系。
[0006]在干眼相关的AI研究中，自动识别NIBUT和TMH的研究相对简单和成熟，泪膜破裂模式、泪膜脂质层形态的分析是分类研究，也是CNN网络擅长的工作，目前整个干眼相关的AI系统研究难点在于睑板腺腺体形态的定量评价和多因素综合的多模态融合诊断。早期的研究中，CNN在睑板腺萎缩分级的自动评价中被证明是有效的。
[0007]针对上述中的相关技术，这些研究仍然聚焦于睑板腺萎缩百分比和萎缩分级上，
无法提取出各腺体的形态参数，且眼科疾病远程诊断具有实时性要求高、数据量大、数据模态多等特殊性，导致干眼病诊断的效率低以及不准确。
技术实现思路
[0008]为了提高干眼病诊断的效率以及准确度，本申请提供一种多模态融合辅助干眼诊断和分型的方法、装置及系统。
[0009]本申请提供的一种多模态融合辅助干眼诊断和分型的方法采用如下的技术方案。
[0010]一种多模态融合辅助干眼诊断和分型的方法，包括以下步骤：获取视频和受检者的干眼症状相关指标，其中，所述视频包括所述受检的图像；将所述视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征及睑缘形态特征；根据所述泪河特征计算获得泪河高度，根据睑缘形态特征进行睑缘异常的分类；将所述视频输入到预设的第三检测模型，获取所述受检者的泪膜形态特征及泪膜破裂时间；将所述睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对所述受检者的干眼诊断及干眼分型结果。
[0011]通过采用上述技术方案，通过视频采集设备上传的受检者视频，采集睑板腺特征、泪河特征、睑缘特征、泪膜形态特征，再将睑板腺特征、泪河高度、睑缘特征、泪膜形态特征以及结合受检者的干眼症状相关指标输入到多模态融合干眼诊断模型，利用深度学习收敛后的多模态融合干眼诊断模型综合去判断干眼的诊断和分型，使得本方法能够准确诊断干眼并判断出受检者的干眼类型。
[0012]优选的，在获取视频和受检者的干眼症状相关指标中，还包括以下步骤：通过5G网络获取视频和受检者的干眼症状相关指标。
[0013]通过采用上述技术方案，5G网络对比以前的4G网络具有的传输延时低、数据传输速度快、功耗低等优势，5G网络的理论下行速度为10Gb/s，能够在短时间内快速传输大量数据，使得多模态融合辅助干眼诊断和分型的装置能够及时获取受检者传输的视频，提高诊断准确率。
[0014]优选的，其中干眼分类结果包括水液缺乏型、脂质异常型、黏蛋白异常型、泪液动力学异常型、混合型。
[0015]通过采用上述技术方案中多种干眼分类结果的设置，使得干眼的诊断和分型更为准确。
[0016]优选的，在将图像信息输入到预设的第二检测模型，获取图像信息中的泪河特征以及睑缘形态特征，包括以下步骤：通过第二检测模型对图像信息进行分割处理，分割出睑缘图像区域和泪河图像区域；选择睑缘图像区域和泪河图像区域；
获取泪河图像区域中的泪河特征，其中，泪河特征包括泪河上下缘、泪河长轴；获取睑缘图像区域中的睑缘形态特征，其中，睑缘形态特征包括睑缘充血或新生血管、睑缘形态不规则、睑板腺开口堵塞、黏膜交界处前后移位。
[0017]通过采用上述技术方案，将第二检测模型分割出睑缘图像区域和泪河图像区域，选择泪河图像区域缩小，泪河特征提取范围，提升识别效率。
[0018]优选的，在选择睑缘图像区域和泪河图像区域中，包括以下步骤：对睑缘图像区域和泪河图像区域进行二值化处理，根据二值图像的最大连通区域选择睑缘图像区域和泪河图像区域。
[0019]通过采用上述技术方案，二值化处理使得图像区域的像素值更易被处理设备检测出，从而便于将睑缘图像区域和泪河图像区进行区分。
[0020]优选的，训练所述多模态融合干眼诊断模型的方法包括以下步骤：获取训练数据，训练数据包括第一特征数据、第二特征数据以及干眼分类结果、干眼特征影像数据，其中第一特征数据包括泪膜形态特征、睑板腺特征，第二特征数据包括泪膜破裂时间、泪河高度、睑缘形态特征以及上传的干眼症状相关指标；对第一特征数据、第二特征数据进行编码，并将第二特征数据的特征编码变换为与第一特征数据的特征编码相同的维度；特征融合，将升本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多模态融合辅助干眼诊断和分型的方法，其特征在于，包括以下步骤：获取视频和受检者的干眼症状相关指标，其中，所述视频包括所述受检的图像；将所述视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征及睑缘形态特征；根据所述泪河特征计算获得泪河高度，根据睑缘形态特征进行睑缘异常的分类；将所述视频输入到预设的第三检测模型，获取所述受检者的泪膜形态特征及泪膜破裂时间；将所述睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对所述受检者的干眼诊断及干眼分型结果。2.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在获取视频和受检者的干眼症状相关指标中，还包括以下步骤：通过5G网络获取视频和受检者的干眼症状相关指标。3.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于：其中干眼分型结果包括水液缺乏型、脂质异常型、黏蛋白异常型、泪液动力学异常型、混合型。4.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在将图像信息输入到预设的第二检测模型，获取图像信息中的泪河特征以及睑缘形态特征，包括以下步骤：通过第二检测模型对图像信息进行分割处理，分割出睑缘图像区域和泪河图像区域；选择睑缘图像区域和泪河图像区域；获取泪河图像区域中的泪河特征，其中，泪河特征包括泪河上下缘、泪河长轴；获取睑缘图像区域中的睑缘形态特征，其中，睑缘形态特征包括睑缘充血或新生血管、睑缘形态不规则、睑板腺开口堵塞、黏膜交界处前后移位。5.根据权利要求4所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在选择睑缘图像区域和泪河图像区域中，包括以下步骤：对睑缘图像区域和泪河图像区域进行二值化处理，根据二值图像的最大连通区域选择睑缘图像区域和泪河图像区域。6.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，训练所述多模态融合干眼诊断模型的方法包括以下步骤：获取训练数据，训练数据包括第一特征数据、第二特征数据以及干眼分类结果、干眼特征影像数据，其中第一特征数据包括泪膜形态特征、睑板腺特征，第二特征数据包括泪膜破裂时间、泪河高度、睑缘形态特征以及上传的干眼症状相关指标；对第一特征数据、第二特征数据进行编码，并将第二特征数据的特征编码变换为与第一特征数据的特征编码相同的维度；特征融...
【专利技术属性】
技术研发人员：戴琦，张文杰，傅亚娜，张祖辉，于新新，
申请(专利权)人：温州医科大学附属眼视光医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。