一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及系统技术方案

本发明专利技术公开了一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及装置，涉及医学大数据、知识图谱、人工智能领域。针对中医重传承、重实践、复杂系统，大量隐性知识存在于个案验案的特点，本发明专利技术结合异质网络嵌入、图神经网络推理、深度学习可解释性技术，实现了中医药知识图谱构建与表示学习下的中医四诊多模态数据采集、信息提取、校正过滤、信息融合决策的一体化框架。具有小样本学习、可解释性强等优越性，在支持人机协同的专科/专病/名医个性化知识图谱构建，促进中医诊疗知识发现向诊疗辅助决策转化等方面有较好的应用前景。诊疗辅助决策转化等方面有较好的应用前景。诊疗辅助决策转化等方面有较好的应用前景。

【技术实现步骤摘要】
一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及系统


[0001]本专利技术涉及医学人工智能、知识图谱
，尤其涉及基于中医药知识图谱对多模态信息进行处理、融合后进行中医辅助决策的方法及系统。

技术介绍

[0002]中医药有上下五千年的悠久历史，其以整体观、辨证论治为核心的科学思维和个性化诊疗的技术方法经过长期实践，有着临床疗效确切、用药相对安全、治疗方式灵活、费用相对低廉的优点。然而在临床实际工作中往往需要根据病人个体差异和病情特点进行中药搭配的修正和剂量加减，以达到切合病人体质、减毒增效的作用，缺乏经验的年青中医生较难把握。一方面中医诊疗依赖专家个人望闻问切信息采集、加工和思维转换，另一方面大量经验知识存在于古今文献、名老中医头脑中尚待挖掘，因此中医个性化遣方用药还难以为计算机所理解和还原。
[0003]如何有效利用中医四诊、检验检查、病程记录、诊断和治疗方案信息和中医理法方药知识库，提升诊疗决策的准确性和可靠性，实现名医个性化知识图谱构建和迁移学习是解决问题的关键。

技术实现思路

[0004]针对现有技术的不足，本专利技术提出一种结合临床知识图谱与多模态信息融合的中医辅助决策方法及系统，使传统中医诊断决策黑箱过程建立在可解释的名医个体和循证医学诊疗知识图谱之上，在实现名医个性化知识图谱构建和迁移学习同时，提升了诊疗决策的准确性和可靠性。
[0005]本专利技术的技术方案是这样实现的：
[0006]一种结合临床知识图谱与多模态信息融合的中医辅助决策方法，包括以下步骤：
[0007]通过中医临床知识图谱表示学习，提取患者中医四诊、检验检查、病程记录、诊断和治疗方案关键特征信息；
[0008]基于知识关联规则模块，将关键特征信息变换为样本知识关联网络图，并输入协同知识图谱嵌入层；
[0009]通过多模态嵌入注意力传播层在多模态知识图中捕获和联合单级模态信息和多级模态信息和特征；基于消息传递图神经网络，对患者样本知识关联网络图，诊断、辨证中药知识嵌入向量以及病人多模态信息特征进行三方信息融合；
[0010]通过特征表示层和目标表示层交互计算，前向传播和逻辑输出，实现中医疾病诊断和辨证分型多标记模型预测、核心方和随症加减的知识推荐和中药剂量回归预测。
[0011]进一步地实施方式，基于中医古籍构建的方剂、中药、药理、不良反应知识库以及名医验案，构建所述中医临床知识图谱，所述中医临床知识图谱包括中医疾病、辨证、症状、理法方药以及三元组的信息。
[0012]进一步地实施方式，所述样本知识关联网络图的形式为患者
→
疾病
→
病机
→
症状
→
方剂
→
中药加减信息。
[0013]进一步地实施方式，通过信息抽取、概念规范化、实体对齐的方法，从患者中医四诊、检验检查、病程记录、诊断和治疗方案中获得关键特征信息。
[0014]进一步地实施方式，通过多模态嵌入注意力传播层在多模态知识图中捕获和联合单级模态信息和多级模态信息和特征中，包括以下步骤：
[0015]单级模态注意力嵌入：设计单级模态注意力机制层，输入元路径集，得到所述单级模态注意力嵌入；
[0016]多级模态注意力嵌入融合：通过多级模态注意力融合层理解不同元路径的重要性，并将所述原路径融合在一起。
[0017]进一步地实施方式，在将有效信息变换为样本知识关联网络图的过程中；对某一患者的个人特征信息，通过知识图嵌入学习将患者高维稀疏信息进行低维空间向量转换，主要通过Node2vec、LINE、Deepwalk模型对大规模图、带权图的进行无监督嵌入学习。
[0018]进一步地实施方式，对大规模图、带权图的进行无监督嵌入学习的过程中，采用网络社群聚类的方法，将不同社群的患者进行区分，选取分布集中的类簇，通过阈值调整和人工筛选对离群点进行选择或剔除。
[0019]本专利技术还提出了一种中医辅助决策系统，其特征在于，包括：基于中医临床知识图谱的网络构造模块，其用于动态构建专科专病的个性化可视化知识图谱；多模态特征学习模块；多模态特征融合模块；中医可解释辅助决策模块，其用于疾病诊断和辨证多标记分类预测、核心方和随症加减以及中药剂量回归预测；中医诊疗辅助决策诠释模块。
[0020]与现有技术相比，本专利技术具有以下优点。
[0021]本专利技术利用知识图谱表示学习和多模态知识图注意力嵌入实现中医四诊、检验检查、病程记录、诊断和治疗方案单模态信息抽取和基于知识图的多模态信息融合提升了诊疗决策的准确性和可靠性，基于名医个性化知识图谱构建和迁移学习优化中医理法方药潜在因果关系的学习过程，在小样本学习场景也能较好的提升准确率，并使传统中医诊断决策黑箱过程建立在可解释的名医诊疗经验和医学循证证据之上。
附图说明
[0022]为了更清楚地说明本专利技术实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术中中医诊疗辅助决策诠释模块的示意图；
[0024]图2为本专利技术中基于中医临床知识图谱的网络构造模块的示意图；
[0025]图3为本专利技术中临床知识图谱与多模态信息融合的中医辅助决策框架示意图；
[0026]图4为本专利技术中多模态注意力嵌入下的中医疾病诊断和辨证分型多标记模型预测的流程示意图；
[0027]图5为本专利技术中多模态知识注意力嵌入下的核心方和随症加减的知识推荐和中药剂量回归预测的流程示意图；
[0028]图6为本专利技术中通过高血压知识图谱模型可视化病机症状关联关系的示意图；
[0029]图7为本专利技术中中医辅助决策方法的流程示意图。
具体实施方式
[0030]下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0031]中医自古以来有“同病异治、异病同治”“中药剂量是”是中医特有的辨证论治特点。中医医家对中医辨证诊断、治则治法、中药剂量加减都有自己的见解和认识，除了医学指南、诊疗规范、药典明确定义的显性知识外、大量隐性知识存在于名医专家头脑中尚待挖掘，难以复现。
[0032]参见图1至图7，本专利技术实施方式公开了一种结合临床知识图谱与多模态信息融合的中医辅助决策方法，包括以下步骤。
[0033]S01、专科专病个性化中医诊疗知识图谱构建，基于前期1100部中医古籍构建的方剂、中药、药理、不良反应知识库以及10万余份名医验案，建立含中医疾病、辨证、症状、理法方药5万，11本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于，包括以下步骤：通过中医临床知识图谱表示学习，提取患者中医四诊、检验检查、病程记录、诊断和治疗方案关键特征信息；基于知识关联规则模块，将关键特征信息变换为样本知识关联网络图，并输入协同知识图谱嵌入层；通过多模态嵌入注意力传播层在多模态知识图中捕获和联合单级模态信息和多级模态信息和特征；基于消息传递图神经网络，对患者样本知识关联网络图，诊断、辨证中药知识嵌入向量以及病人多模态信息特征进行三方信息融合；通过特征表示层和目标表示层交互计算，前向传播和逻辑输出，实现中医疾病诊断和辨证分型多标记模型预测、核心方和随症加减的知识推荐和中药剂量回归预测。2.根据权利要求1所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：基于中医古籍构建的方剂、中药、药理、不良反应知识库以及名医验案，构建所述中医临床知识图谱，所述中医临床知识图谱包括中医疾病、辨证、症状、理法方药以及三元组的信息。3.根据权利要求1所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：所述样本知识关联网络图的形式为患者
→
疾病
→
病机
→
症状
→
方剂
→
中药加减信息。4.根据权利要求1所述的结合临床知识图谱与多模态信息融合的中医辅助决策方法，其特征在于：通过信息抽取、概念规范化、实体对齐的方法，从患者中医四诊、...

【专利技术属性】
技术研发人员：翁衡，老膺荣，楚晓丽，
申请(专利权)人：广东省中医院广州中医药大学第二附属医院，广州中医药大学第二临床医学院，广东省中医药科学院，
类型：发明
国别省市：