基于时间敏感自注意力机制的智能决策支持方法及系统技术方案

本发明专利技术提出一种基于时间敏感自注意力机制的智能决策支持方法和系统。以对医生或患者提供患病概率决策支持，使用Transformer网络结构来预测可一次性输入多张图片，提高训练速度，由于Transformer网络本身不能编码不等长时序图像的时间信息，因此本发明专利技术进一步提出了时间敏感的自注意力模块和多头注意力模块，编码时间信息，大大提高了预测的准确率。另外，现有方法在预测时并未给出患病的时刻，针对这一问题，本发明专利技术提出条件预测网络，通过将时刻信息作为条件输入网络，这使得发明专利技术人提出的方案具备预测给定时刻的患病概率的能力。具备预测给定时刻的患病概率的能力。具备预测给定时刻的患病概率的能力。

【技术实现步骤摘要】
基于时间敏感自注意力机制的智能决策支持方法及系统


[0001]本专利技术涉及基于深度学习的图像分类
，并特别设计一种基于时间敏感自注意力机制的智能决策支持方法及系统。

技术介绍

[0002]青光眼是导致失明的三大致盲眼病之一，国内有超过2000万人患有青光眼，致盲人数超过20％。这其中慢性青光眼占半数以上，而慢性青光眼早期多无症状，通常发现时已是晚期，因此越早地发现、干预与治疗慢性青光眼，是防止慢性青光眼致盲最为重要的手段。已有的人工智能方法主要针对青光眼的诊断开展，通常通过自动分割视杯视盘计算杯盘比来诊断是否患有青光眼。而针对青光眼的早期预测问题，即通过输入患者的一段时间内的序列影像，判断患者未来患有青光眼的可能性，鲜有方法研究，已有的方法存在检测精度有限，不能预测患者给定时刻患病的概率等问题。
[0003]现有青光眼预测方法基于LSTM(long short
‑
term memory)循环神经网络设计，将患者拍摄的影像时间间隔输入LSTM网络中，预测未来青光眼患病概率，在SIGF数据集上取得80％的准确率。该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间敏感自注意力机制的智能决策支持方法，其特征在于，包括：步骤1、获取已标记是否具有青光眼类别标签的一组眼底影像作为训练图像，且每张该训练图像具有对应的时间戳；构建由卷积编码网络、时间位置编码模块、编码器和解码器构成的图像分类模型；步骤2、将该训练图像输入该卷积编码网络，得到图像特征向量，并将该图像特征向量、该训练图像的时间戳和序列初始时刻的差值，三者拼接，输入该时间位置编码模块，得到该训练图像的输出特征向量；步骤3、将该输出特征向量输入由多个自注意力模块构成的该编码器，将每个自注意力模块输出的特征拼接后输入该解码器，同时将预测时刻也输入该解码器，得到该训练图像的青光眼患病概率；步骤4、根据该训练图像的该青光眼患病概率和该青光眼类别标签，构建损失函数，以迭代训练该图像分类模型，直到该损失函数收敛或达到预设迭代次数，保存当前图像分类模型作为青光眼患病概率的智能决策支持模型；步骤5、将用户的待预测眼底影像和待预测时间输入该智能决策支持模型，得到该待预测时间时用户的青光眼患病概率。2.如权利要求1所述的基于时间敏感自注意力机制的智能决策支持方法，其特征在于，该步骤1包括：输入一组序列眼底影像x
i
，i∈[1,
…
,n]，每张该训练图像具有对应的时间戳t
i
，以及是否患有青光眼的标签y
i
∈{0,1}；该步骤3包括：该编码器融合了多个自注意力模块，各注意力模块：其中表示输入的特征向量，表示输入的特征向量，表示网络待学习的权重，三项权重与输入的特征向量相乘得到K,Q,V三个矩阵，时间信息矩阵T描述不同影像之间的时间间隔特征：Δt
i,j
＝max(|Δt
i,j
|,δ)/δ式中A和B为待学习的权重，Δt
i,j
表示影像x
i
与x
j
之间的时间间隔；得到每个自注意力模块的结果后，将其拼接后与待学习的权重W
O
相乘，得到每个自注意力模块输出的特征拼接后的结果：该步骤4包括：解码器输入该预测时刻与前一时刻的时间间隔Δt
i+1,i
，输出预测的青光眼患病概率该损失函数为：
3.如权利要求1所述的基于时间敏感自注意力机制的智能决策支持方法，其特征在于，该步骤1包括：对于每张训练图像，做极坐标变换：其中u和v表示影像的像素坐标。4.如权利要求1所述的基于时间敏感自注意力机制的智能决策支持方法，其特征在于，该步骤2包括：该时间位置编码模块将代表时间间隔的该差值编码为偏移量，与该图像特征向量相加，得到该输出特征向量。5.一种基于时间敏感自注意力机制的智能决策支持系统，其特征在于，包括：初始模块，用于获取已标记是否具有青光眼类别标签的一组眼底影像作...

【专利技术属性】
技术研发人员：权利要求书三页说明书八页附图二页，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：