【技术实现步骤摘要】
本专利技术涉及病症识别，尤其涉及一种基于多模态信息的神经内科病症识别方法及系统。
技术介绍
1、目前神经内科是关于神经方面的二级学科，不属于内科概念，主要收治脑血管疾病、脑部炎症性疾病、脊髓炎、癫痫、痴呆等。随着人工智能、机器学习技术的发展，病症识别在神经内科领域具有广阔的应用前景，脑部医学影像以及体液标志物不但能够反映大脑组织的各种神经活动及功能状态，而且影像及体液数据具有客观性强的特点。
2、cn201780085804.8，公开了一种用于确定脑组织是否指示诸如神经变性病症等病症的方法和系统。该方法和系统通常利用数据处理技术来评估从磁共振成像(mri)数据获得的测量参数与从脑组织的计算建模获得的模拟参数之间的一致性水平。
3、综上所述，现有技术中，神经内科诊断准确率受个体影响较大，检测不准确，同时，对医学影像的识别也不准确，影响对神经内科病症的识别，本专利技术的应用能够解决现有技术的问题。
技术实现思路
1、本专利技术实施例提供一种基于多模态信息的神经内科病症识别方法及系统，能够解决现有技术中的问题。
2、本专利技术实施例的第一方面，
3、提供基于多模态信息的神经内科病症识别方法，包括：
4、采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图；
5、对所述融合特征图进行分路并行处理，确定每个
6、将所述关键特征输入预先训练的病症分类模型，确定所述关键特征对应的病症类别，完成神经内科病症识别，其中，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症分类。
7、在一种可选的实施例中，
8、采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图包括：
9、基于所述多模态数据，设置第一融合调节因子，确定单个模态内部的内部相似度，设置第二融合调节因子，确定模态之间的外部相似度；
10、基于所述内部相似度和所述外部相似度，构建相似度矩阵，经过拉普拉斯变换，确定结构矩阵，基于所述结构矩阵，确定正则化项，构建融合损失函数，建立特征融合模型；
11、迭代更新所述第一融合调节因子和所述第二融合调节因子，使所述融合损失函数最小，完成所述特征融合模型训练。
12、在一种可选的实施例中，
13、还包括：
14、构建所述相似度矩阵，其公式如下：
15、;
16、其中，s表示相似度矩阵，γ表示第一融合调节因子，χ表示第二融合调节因子， m表示模态总数量，s(1,1)、s(2,2)、s( m,m)表示内部相似度，s(1,2)、s(2,1)、s(1, m)、s(2, m)、s( m,1)、s( m,2)表示两个模态之间的外部相似度；
17、所述相似度矩阵，经过拉普拉斯变换，确定结构矩阵l，基于所述结构矩阵，确定正则化项，其公式如下：
18、;
19、其中， ψ(w,γ,χ)表示正则化项,基于权重向量w、第一融合调节因子γ和第二融合调节因子χ确定，x(1)表示模态1对应的数据集，x(2)表示模态2对应的数据集，x( m)表示模态 m对应的数据集，w(1)表示模态1的权重向量，w(2)表示模态2的权重向量，w( m)表示模态 m的权重向量，l表示结构矩阵；
20、所述融合损失函数，其公式如下：
21、;
22、其中， h(w)表示融合损失函数结果， m表示模态序号，y表示标签，x( m)表示模态 m对应的数据集，w( m)表示模态 m的权重向量， λ m表示模态 m的l1正则化系数。
23、在一种可选的实施例中，
24、对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征包括：
25、基于预设的分路数量，将所述融合特征图切分成对应数量的分路；
26、基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量，其中，所述特征向量包括查询向量、键向量和值向量；
27、基于所述查询向量和所述键向量，结合缩放因子，计算相似度得分，对所述相似度得分进行归一化处理，结合所述值向量，确定特征权重分配，通过连接每个所述分路，输出注意力结果；
28、基于所述注意力结果，确定特征重要性，获得关键特征。
29、在一种可选的实施例中，
30、基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量还包括：
31、所述特征向量，其公式如下：
32、;
33、其中， q i表示第 i分路的查询向量， f表示输入的融合特征图， w i q表示第 i分路的查询向量对应的权重矩阵， k i表示第 i分路的键向量， w i k表示第 i分路的键向量对应的权重矩阵， v i表示本文档来自技高网...
【技术保护点】
1.基于多模态信息的神经内科病症识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征包括：
5.根据权利要求4所述的方法，其特征在于，基于每个所述分路，确定所述分路中对应向量的权重矩阵，基于所述融合特征图以及所述权重矩阵，计算特征向量还包括：
6.根据权利要求1所述的方法，其特征在于，所述病症分类模型基于病症类别对应的类别中心点，通过计算类内关系以及类间关系，确定基准类别，通过递归更新所述类别中心点，以及重新分配，完成病症
7.基于多模态信息的神经内科病症识别系统，用于实现前述权利要求1-6中任一项所述的基于多模态信息的神经内科病症识别方法，其特征在于，包括：
8.一种电子设备，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
...【技术特征摘要】
1.基于多模态信息的神经内科病症识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，采集包含被试者的脑部医学影像信息，以及体液标志物信息的多模态数据，基于所述多模态数据，通过构建融合损失函数，建立特征融合模型，通过最小化所述融合损失函数，确定融合特征图包括：
3.根据权利要求2所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，对所述融合特征图进行分路并行处理，确定每个分路的权重矩阵，进行线性变换，基于所述线性变换得到的特征向量，通过计算所述特征向量的相似度得分，确定特征权重分配，得到每个所述分路的注意力结果，基于所述注意力结果，确定关键特征包括：
5.根据权利要求4所述的方法，其...
【专利技术属性】
技术研发人员：于慧敏，陈磊，谢明宏，刘付轩聪，郝广山，罗佳佳，郝少才，
申请(专利权)人：东莞市东南部中心医院东莞市东南部中医医疗服务中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。