基于Transformer的干眼症早筛系统及方法技术方案

本发明专利技术提供一种基于Transformer的干眼症早筛系统及方法，包括单模态编码器模块、模态融合网络模块及识别模块；单模态编码器模块用于获取多种数据源，对数据源执行特征提取，得到多个特征；模态融合网络模块用于将第一特征进行融合，对融合的特征采用基于Transformer构建得到识别模型；识别模块用于通过识别模型对干眼症数据进行识别，得到识别结果。提高了干眼症早筛的准确率，提高了辨识效率。提高了辨识效率。提高了辨识效率。

【技术实现步骤摘要】
基于Transformer的干眼症早筛系统及方法


[0001]本专利技术涉及计算机
，尤其涉及一种基于Transformer的干眼症早筛系统及方法。

技术介绍

[0002]Transformer作为神经网络的基本建模单元，极大的促进了神经网络的发展。Transformer由Self
‑
Attention和位置编码两部分组成。Self
‑
Attention通过计算每一个token之间的注意力分数，以此来考虑不同token之间的相关性，由于Self
‑
Attention模块本身不具备学习位置信息的能力，需要通过位置编码(Positional Encoding)主动将位置信息给模型。Transformer的整个训练建模的关键是通过学习不同token之间的相关性，通过迭代训练使得模型捕获输入的全局信息。
[0003]而现有技术基于Transformer所构建的干眼早筛及预后模型存在识别准确率低及低鲁棒性的问题。

技术实现思路

[0004]本专利技术实施例的主要目的在于提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的干眼症早筛系统，其特征在于，包括单模态编码器模块、模态融合网络模块及识别模块；所述单模态编码器模块用于获取多种数据源，对所述数据源执行特征提取，得到多个特征；所述模态融合网络模块用于将所述第一特征进行融合，对融合的特征采用基于Transformer构建得到识别模型；所述识别模块用于通过识别模型对干眼症数据进行识别，得到识别结果。2.根据权利要求1所述的基于Transformer的干眼症早筛系统，其特征在于，所述单模态编码器模块用于获取多种数据源，对所述数据源执行处理，得到多个特征，包括：所述单模态编码器模块包括图像单模态编码器、语言单模态编码器和结构话数据单模态编码器中的至少一种；通过所述图像单模态编码器、所述语言单模态编码器和所述结构话数据单模态编码器获取对应的图像数据源、语言数据源及结构化数据源采用预训练模型执行特征提取。3.根据权利要求2所述的基于Transformer的干眼症早筛系统，其特征在于，所述模态融合网络模块包括单层前馈网络及多个模态融合层；所述单层前馈网络用于获取所述第一特征，并将所述第一特征投影至所述模态融合层，所述单层前馈网络的维度与模态融合网络的隐藏维度一致；所述模态融合层获取多个所述第一特征的投影，生成第二特征，所述第二特征用于表征多个所述第一特征的多模态集成。4.根据权利要求2所述的基于Transformer的干眼症早筛系统，其特征在于，所述单模态编码器模块的每个模态编码器设置有自注意...

【专利技术属性】
技术研发人员：王涵，邢鲁民，庄金隆，
申请(专利权)人：珠海中科先进技术研究院有限公司，
类型：发明
国别省市：