基于二维照片的多模态眼眶病筛查系统技术方案

本发明专利技术公开了一种基于二维照片的多模态眼眶病筛查系统，其特征在于，包括关键点定位模块；眼眶部分提取模块；单目三维图像重建模块；多模态融合模型。获取人脸二维图片后，本发明专利技术利用三维重建技术构建出人脸三维模型，再运用多模态神经网络分别对人脸二维图片和人脸三维模型进行特征提取和判断，避免单一模态模型不够全面的局限性，切实提高眼眶病筛查的成功率，助力提升我国在眼眶病筛查领域的研究水平和核心竞争力。平和核心竞争力。平和核心竞争力。

【技术实现步骤摘要】
基于二维照片的多模态眼眶病筛查系统


[0001]本专利技术涉及一种眼眶病筛查系统。

技术介绍

[0002]眼眶病是常见的眼科疑难杂症，其常见临床症状包括眼球突出、眼睑下垂、眼位异常等，许多患者预后不良，严重者可导致失明、面部畸形等。而提升眼眶病患者生存质量的关键措施之一，就是提高早期筛查的成功率，这也能减轻治疗困难，降低治疗成本。
[0003]常见的现行眼眶病筛查手段主要是通过CT或MRI检查，但我国地域医疗水平发展不平衡，落后地区无法提供相应设备，导致许多潜在患者无法得到及时的筛查和有效治疗。鉴于此，能在我国实现大规模推广的筛查手段应该低成本、高效率，让更多潜在患者能够早筛早诊。
[0004]眼眶病患者的最重要特征之一是面中部的外形改变，可以基于此实现眼眶病的早期筛查。获取人脸面部图象后，利用人工智能神经网络技术进行面中部特征提取和眼眶病判断。当下，此类技术主要是基于单一的二维模型或三维模型。但是，由于眼眶病临床症状多样，不同患者可能差异极大。部分患者可能有眼睑充血等具有较强平面二维特征的临床表现，而部分患者可能表现出明显的空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维照片的多模态眼眶病筛查系统，其特征在于，包括：关键点定位模块，用于根据获得的患者人脸二维图像提取人脸关键点；眼眶部分提取模块，用于依据关键点定位模块得到的人脸关键点中的人脸眼眶轮廓的关键点信息进行眼眶区域定位与分割，从一张人脸二维图像中得到左眼眶区域二维子图以及右眼眶区域二维子图；单目三维图像重建模块，用于根据获得的二维图像重建得到对应的三维网格；多模态融合模型，由训练后的基于二维眼眶图像的眼眶病推理模型以及训练后的三维眼眶网格深度特征提取模型组成；在多模态融合模型中，将眼眶部分提取模块输出的左眼眶区域二维子图以及右眼眶区域二维子图输入眼眶病推理模型，将单目三维图像重建模块基于左眼眶区域二维子图以及右眼眶区域二维子图生成的三维眼眶网格数据输入三维眼眶网格深度特征提取模型，随后将眼眶病推理模型输出的特征向量以及三维眼眶网格深度特征提取模型输出的特征向量进行拼接，形成新的特征向量，多模态融合模型再基于新的特征向量判断患者是否患有眼眶病。2.如权利要求1所述的一种基于二维照片的多模态眼眶病筛查系统，其特征在于，所述单目三维图像重建模块包括：采用深度残差网络ResNet
‑
50实现的编码器，用于把二维照片提取特征得到特征向量；基于LSA
‑
Conv的解码器实现的译码器，用于将深度残差网络ResNet
‑
50得到的特征向量作为输入，译码成三维网格。3.如权利要求1所述的一种基于二维照片的多模态眼眶病筛查系统，其特征在于，所述眼眶病推理模型采用ResNet
‑
34网络，所述三维眼眶网格深度特征提取模型使用基于LSA
...

【专利技术属性】
技术研发人员：雷超宇，孙瀚池，屈明宇，黄靖，陈泽瑜，王骐宇，张可言，谈子铭，宋雪霏，翟广涛，周慧芳，
申请(专利权)人：上海交通大学医学院附属第九人民医院，
类型：发明
国别省市：