基于多模态图编码的传染病风险评估方法和系统技术方案

本发明专利技术涉及医学影像处理技术，公开了基于多模态图编码的传染病风险评估方法和系统，基于多模态图编码的传染病风险评估方法，应用于PACS系统中，其方法包括：对于输入的影像数据进行影像特征的提取，依据影像特征确定影像样本类别；将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，确定检查样本的类别；聚类后，将各类别当日新增样本数输入至预警模型从而确定其置信度；将获得的置信度与设置的阈值比较，从而确定其风险系数。本发明专利技术采用图神经网络来转换单纯的模式识别特征为图编码，强调了相似样本间的联系，使得kmeans聚类的效果更准确，进而对风险的评估也更敏感。感。感。

【技术实现步骤摘要】
基于多模态图编码的传染病风险评估方法和系统


[0001]本专利技术涉及医学影像处理技术，尤其涉及了应用于NUMA架构中的基于多模态图编码的传染病风险评估方法和系统。

技术介绍

[0002]医院现有PACS系统主要保存影像和报告，由于医院的阅片主要依靠放射科医生。当呼吸道传染病出现时，如肺炎疫情爆发时，会出现医疗资源挤兑，积压影像无多余医生资源阅片撰写报告，无法及时评估传染病的风险。
[0003]如专利申请号：CN202011497563.8的现有技术对于传染病的风险评估一般都是基于单个样本进行评估，其未评估样本间关联性，未利用传染病样本间具有相似特征的优势，因为评估结果缺乏足够的传染病证据。

技术实现思路

[0004]本专利技术针对现有技术对于传染病的风险评估一般都是基于单个样本进行评估，其评估的关联性差，结果不准确的问题，提供了基于多模态图编码的传染病风险评估方法和系统。
[0005]为了解决上述技术问题，本专利技术通过下述技术方案得以解决：
[0006]基于多模态图编码的传染病风险评估方法，应用于PACS系统中，其方法包括：
[0007]影像样本类别的确定，对于输入的影像数据进行影像特征的确定，依据影像特征确定影像样本类别；
[0008]检查样本类别的确定，对于输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；
[0009]新增样本置信度的确定，对于确定的各类别当日新增样本数输入至预警模型从而确定其置信度；
[0010]风险评估，将获得的置信度与设置的阈值比较，从而确定其风险系数。
[0011]作为优选，还包括kmeans聚类模型的更新，将新增的样本拼接图编码输入至kmeans聚类模型进行迭代，并更新kmeans聚类。
[0012]作为优选，影像样本类别的确定方法包括：
[0013]影像特征的获取，将获取的影像数据，输入影像模式识别模型，输出影像特征；
[0014]特征向量的降维，将影像特征输入影像特征PCA模型进行降维；
[0015]编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到编码特征；
[0016]影像样本类别的确定，编码特征与三个聚类中心为c
i,i∈{1,2,3}
的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。
[0017]作为优选，检查样本类别的确定方法包括：
[0018]文本特征向量的获取，将影像报告文本输入至语义分析模型获取文本特征向量；
[0019]特征向量的拼接，将影像特征向量与文本特征向量进行拼接，从而得到拼接后的特征向量；
[0020]特征向量的降维，将拼接后的特征向量输入至文本拼接PCA模型进行降维；
[0021]拼接图编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到拼接图编码特征；
[0022]影像样本类别的确定，拼接图编码特征与三个聚类中心为c
i，i∈{1，2，3}
的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。
[0023]作为优选，输出编码特征的两层图神经网络通过无监督聚类方式训练。
[0024]作为优选，无监督聚类方式训练的方法包括：
[0025]步骤1，输入两个特征向量，分别为v
i
和v
j
，输出两个样本特征的相似系数c
ij
；以两个样本特征v
i
和v
j
是否均为验证的样本特征为标签，若均为验证的标本，则为1；否则为0，采用梯度下降法训练；
[0026]步骤2，基于样本间的相似系数c
ij
，设定相似阈值θ，当c
ij
＞θ时，连接两个样本，构建无向图；
[0027]步骤3，构建图拓扑矩阵A和h阶相似矩阵M，
[0028]M＝(B+B2+
…
+B
h
)/h
ꢀꢀ
公式1
[0029]其中，B为训练集样本的转移矩阵，若样本特征v
i
和v
j
间存在边，则A
ij
＝1，B
ij
＝1/d
i
，d
i
为样本v
i
的度；否则，A
ij
＝0，B
ij
＝0；
[0030]步骤4，对于目标样本v
i
及其邻居节点v
j
∈N
r
，其中N
r
为v
j
邻居节点集合，计算其注意力系数α
ij
；
[0031][0032]步骤5.构建两层图神经网络W0和W1，以节点v
i
为例，通过两层图神经网络编码为x
i
，可以表示为
[0033][0034][0035]其中，x
′
i
为中间转换结果，σ是非线性函数，利用两层神经网络，基于每个节点v
i
的邻居节点重构图关系；
[0036]步骤6，基于编码特征x
i
，构建解码拓扑矩阵A
′
，
[0037][0038]构建损失函数L
r
，
[0039][0040]步骤5中的两层图神经网络的W0和W1以最小化损失L
r
为目标，采用梯度下降法训练。
[0041]为了解决上述技术问题，本专利技术还提供了基于多模态图编码的传染病风险评估系统，应用于PACS系统中，其包括：影像样本类别确定模块、检查样本类别确定模块、新增样本
置信度确定模块和风险评估模块
[0042]影像样本类别确定模块，影像样本类别确定模块对输入的影像数据进行影像特征的确定，依据影像特征确定影像样本类别；
[0043]检查样本类别确定模块，检查样本类别确定模块对输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；
[0044]新增样本置信度确定模块，新增样本置信度确定模块对确定的各类别当日新增样本数输入至预警模型从而确定其置信度；
[0045]风险评估模块，风险评估模块将获得的置信度与设置的阈值比较，从而确定其风险系数。
[0046]作为优选，还包括kmeans聚类更新模块，kmeans聚类更新模块将新增的样本拼接图编码输入至kmeans聚类进行迭代，并更新kmeans聚类。
[0047]为了解决上述技术问题，本专利技术还提供了一种电子设备，其包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态图编码的传染病风险评估方法，应用于PACS系统中，其特征在于，方法包括：影像样本类别的确定，对于输入的影像数据进行影像特征的提取，依据影像特征确定影像样本类别；检查样本类别的确定，对于输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；新增样本置信度的确定，对于确定的各类别当日新增样本数输入至预警模型从而确定其置信度；风险评估，将获得的置信度与设置的阈值比较，从而确定其风险系数。2.根据权利要求1所述的基于多模态图编码的传染病风险评估方法，其特征在于，还包括kmeans聚类模型的更新，将新增的样本拼接图编码输入至kmeans聚类模型进行迭代，并更新kmeans聚类。3.根据权利要求1所述的基于多模态图编码的传染病风险评估方法，其特征在于，影像样本类别的确定方法包括：影像特征的获取，将获取的影像数据，输入影像模式识别模型，输出影像特征；特征向量的降维，将影像特征输入影像特征PCA模型进行降维；编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到编码特征；影像样本类别的确定，编码特征与三个聚类中心为c
i，i∈{1，2，3}
的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。4.根据权利要求1所述的基于多模态图编码的传染病风险评估方法，其特征在于，检查样本类别的确定方法包括：文本特征向量的获取，将影像报告文本输入至语义分析模型获取文本特征向量；特征向量的拼接，将影像特征向量与文本特征向量进行拼接，从而得到拼接后的特征向量；特征向量的降维，将拼接后的特征向量输入至文本拼接PCA模型进行降维；拼接图编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到拼接图编码特征；影像样本类别的确定，拼接图编码特征与三个聚类中心为c
i，i∈{1，2，3}
的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。5.根据权利要求3或4任一所述的基于多模态图编码的传染病风险评估方法，其特征在于，输出编码特征的两层图神经网络通过无监督聚类方式训练。6.根据权利要求5所述的基于多模态图编码的传染病风险评估方法，其特征在于，无监督聚类方式训练的方法包括：步骤1，输入两个特征向量，分别为v
i
和v
j
，输出两个样本特征的相似系数c
ij
；以两个样本特征v
i
和v
j
是否均为验证的样本特征为标签，若均为验证的标本，则为1；否则为0，采用梯度下降法训练；步骤2，基于样本间的相似系数c
ij
，设定相似阈值θ，当c
ij
＞θ时，连接两个样本，构建无
向图；步骤3，构建图拓扑矩阵A和h阶相似矩阵M，M＝(B+B2+
…
...

【专利技术属性】
技术研发人员：胡利荣，尤堃，张跃华，
申请(专利权)人：浙江飞图影像科技有限公司，
类型：发明
国别省市：