基于可解释性算法的多模态数据睑板腺功能障碍检测制造技术

本发明专利技术公开了基于可解释性算法的多模态数据睑板腺功能障碍检测，S1：收集数据；S2：根据睑板腺的状态进行标记和分级；S3：数据不平衡处理；S4：数据的初步校准；S5：数据的集成处理；S6：建立睑板腺分级深度学习模型；S7：模型训练；S8：建立并得到可解释评价指标矩阵；S9：可解释性评价；S10：得到优化模型；S11：对得到的热图对数据进行消歧预处理；S12：对图片进行深度校准；S13：图片特征提取；S14：实现特征值重要性计算；S15：对最高的特征值特征进行归一化处理。本发明专利技术所述的基于可解释性算法的多模态数据睑板腺功能障碍检测，可解释人工智能可能有助于提高MGD检测的数据质量，XAI可以帮助识别用于训练用于MGD检测的ML和DL模型的数据的问题。的问题。的问题。

【技术实现步骤摘要】
基于可解释性算法的多模态数据睑板腺功能障碍检测


[0001]本专利技术涉及睑板腺的功能障碍检测领域，特别涉及基于可解释性算法的多模态数据睑板腺功能障碍检测。

技术介绍

[0002]睑板腺功能障碍，简称为MGD，其是一种常见的眼部疾病，其特征是睑板腺阻塞或异常，可导致干眼综合征和其他眼表疾病，MGD的分级通常由眼科医生或验光师使用临床评估和各种诊断测试进行，如睑板腺图像和泪膜分析，MGD可以通过分析睑板腺图像来诊断和分级，睑板腺图像是使用专用相机获得的睑板腺图像，包括机器学习和深度学习在内的人工智能已被用于MGD检测和分级，检测MGD的挑战之一是确保用于训练机器学习模型的数据的质量，如果数据不完整、不准确或有偏差，则所得模型可能无法有效检测MGD，或者可能产生错误的诊断。
[0003]因此，提出基于可解释性算法的多模态数据睑板腺功能障碍检测来解决上述问题很有必要。

技术实现思路

[0004]本专利技术的主要目的在于提供基于可解释性算法的多模态数据睑板腺功能障碍检测，可以有效解决
技术介绍
中的问题。
[0005]为实现上述目的，本专利技术采取的技术方案为：
[0006]基于可解释性算法的多模态数据睑板腺功能障碍检测，所述包括以下操作步骤：
[0007]S1：收集数据：数据采集设备包括但不仅限于：LipiViewIIOcularSurfaceInterferometer，Keratograph5M，CanonCR
‑
2AF；
[0008]S2：根据睑板腺萎缩面积、堵塞面积来进行标记，将睑板腺严重程度进行分级，其分为：0，1，2，3，其
[0009]S3：数据不平衡处理：采用数据不平衡处理算法实现不同等级、不同设备采集到的数据集图片数量相同，即若GMD1级K5M采集数据为数量最多为k，则其他的都采用数据生成方法，最终均得到数据量为K的数据集，即是生成数据+原始数据，其中数据不平衡处理算法主要为基于GAN及其衍生GAN网络的生成，包括以下生产方法；
[0010]A：采用原始图像为训练数据，使用粗GAN生成器，对睑板腺轮廓进行生成，其中其算法采用但不仅限于FusionGan；
[0011]B：采用腺体分割数据，使用细GAN生成器，对睑板腺腺体进行生成，其中算法采用但不仅限于pixel2pixelGan；
[0012]C：采用数据融合算法，对二者进行特定位置随机融合；
[0013]S4：数据的初步校准：采用但不仅限于Intensity
‑
basedregistration，Feature
‑
basedregistration，Demonsregistration，B
‑
splineregistration，Fluidregistration，
Multi
‑
modalregistration实现初步数据校准；
[0014]S5：对数据的集成处理：将不同设备采集到的数据集成到一个中心，采用但不仅限于Fusiongan，对数据整体增强，生成图像为处理后的数据集1/10，对所有数据进行旋转和对折增强处理，旋转为90
°
、180
°
、270
°
；
[0015]S6：建立睑板腺异常严重程度分级深度学习模型Model_1：对上述数据进行四分类，分类方法采用34层卷积神经网络为基础神经网络；
[0016]S7：模型训练：计算该模型的accuracy、sensitivity、recallandF1score，当上述指标大于98％则停止训练模型；
[0017]S8：采用但不仅限于CAM，PermutationImportance，SHAP建立可解释机制，得到可解释评价指标矩阵，设定参数，实现重要像素群分割所得A，参数设定为0.6/1，采用IOU作为可解释性评价指标，主要为采用睑板区域作为ROI，计算ROI和A的交叉面积基座IOU参数；
[0018]S9：采用步骤S8的可解释性机制对模型最后层进行可解释性评价，作为该模型的可解释性评价，最后层IOU为该模型model_IOU；
[0019]S10：基于可解释性实现模型优化，得到优化模型Model_2，主要采用步骤S8的可解释性机制对模型每一层进行可解释性评价，记作layer_IOU，layer_IOU大于等于0.2的层，之间实现跳接+注意力机制；
[0020]S11：基于步骤S8的可解释评价指标矩阵生成的热图，对数据进行进一步消歧预处理；
[0021]S12：对图片进行深度校准：基于步骤S8的得到的可解释评价指标矩阵，对图片进行进一步深度校准，以最具有可解释评价指标最大的像素点为中心，进行校准；
[0022]S13：图片特征提取：采用scikits
‑
imagePython包，实现对以下医学图像的特征提取imagecontrast，dissimilarity，homogeneity，energy，correlationandangularsecondmoment；
[0023]S14：采用但不仅限于FeatureImportance可解释机制的特征计算方式，实现特征值重要性计算；
[0024]S15：采用gray
‑
levelcooccurrencematrix矩阵选择基于FeatureImportance值最高的特征值特征进行归一化处理；
[0025]S16：将纠正和参数归一化的图片输入10中的优化分类模型中，重复步骤7
‑
16，直至分类器中，model_IOU、accuracy，sensitivity，recall、F1score指标均大于98％。
[0026]优选的，所述睑板腺严重程度的分级标准如下：一：score＝0，等级为0、二：0<score≤1/3，等级为1、三：1/3<score≤2/3，等级为2、四：3/3<score，等级为3。
[0027]优选的，所述融合方法采用但不仅限于YOLO5实现睑板目标识别，同时可以采用但不仅限于使用Alphablending、Intensityblending、Histogrammatching和Laplacianpyramidblending实现目标处的图像融合叠加。
[0028]优选的，所述图片校准方法包括但不仅限于：Intensity
‑
basedregistration、Feature
‑
basedregistration、Demonsregistration、B
‑
splineregistration、Fluidregistration、Multi
‑
modalregistration。
[0029]有益效果
[0030]与现有技术相比，本专利技术提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于可解释性算法的多模态数据睑板腺功能障碍检测，其特征在于：所述包括以下操作步骤：S1：收集数据：数据采集设备包括但不仅限于：LipiViewIIOcularSurfaceInterferometer，Keratograph5M，CanonCR
‑
2AF；S2：根据睑板腺萎缩面积、堵塞面积来进行标记，将睑板腺严重程度进行分级，其分为：0，1，2，3，其S3：数据不平衡处理：采用数据不平衡处理算法实现不同等级、不同设备采集到的数据集图片数量相同，即若GMD1级K5M采集数据为数量最多为k，则其他的都采用数据生成方法，最终均得到数据量为K的数据集，即是生成数据+原始数据，其中数据不平衡处理算法主要为基于GAN及其衍生GAN网络的生成，包括以下生产方法；A：采用原始图像为训练数据，使用粗GAN生成器，对睑板腺轮廓进行生成，其中其算法采用但不仅限于FusionGan；B：采用腺体分割数据，使用细GAN生成器，对睑板腺腺体进行生成，其中算法采用但不仅限于pixel2pixelGan；C：采用数据融合算法，对二者进行特定位置随机融合；S4：数据的初步校准：采用但不仅限于Intensity
‑
basedregistration，Feature
‑
basedregistration，Demonsregistration，B
‑
splineregistration，Fluidregistration，Multi
‑
modalregistration实现初步数据校准；S5：对数据的集成处理：将不同设备采集到的数据集成到一个中心，采用但不仅限于Fusiongan，对数据整体增强，生成图像为处理后的数据集1/10，对所有数据进行旋转和对折增强处理，旋转为90
°
、180
°
、270
°
；S6：建立睑板腺异常严重程度分级深度学习模型Model_1：对上述数据进行四分类，分类方法采用但不仅限于34层卷积神经网络为基础神经网络；S7：模型训练：计算该模型的accuracy、sensitivity、recallandF1score，当上述指标大于98％则停止训练模型；S8：采用但不仅限于CAM，PermutationImportance，SHAP建立可解释机制，得到可解释评价指标矩阵，设定参数，实现重要像素群分割所得A，参数设定为0.6/1，采用IOU作为可解释性评价指标，主要为采用睑板区域作为ROI，计算ROI和A的交叉面积基座IOU参数；S9：采用步骤S8的可解释性机制对模型最后层进行可解释性评价，作为该模型的可解释性评价，最后层IOU为该模型model_IOU；S10...

【专利技术属性】
技术研发人员：王涵，潘毅，庄金隆，江旭东，邢鲁民，周若愚，周肖树，许精达，刘江帆，
申请(专利权)人：珠海中科先进技术研究院有限公司，
类型：发明
国别省市：