一种基于跨模态深度学习的围术期危重事件预测方法技术

本发明专利技术涉及一种基于跨模态深度学习的围术期危重事件预测方法，属于人工智能与医疗应用领域。该方法包括步骤1.构建多模态医疗监护数据集；2.患者监护数据与个性化数据双模态融合特征学习；3.跨模态协同学习特征提取；4.构建多模态危重事件(死亡风险)预测模型；5.模型反馈验证。本发明专利技术作为一种危重症不良事件预测预警工具，是实现术后主要重症事件的实时追踪、早期诊断和预警的一种有效方法。

【技术实现步骤摘要】
一种基于跨模态深度学习的围术期危重事件预测方法
本专利技术属于人工智能和医疗应用领域，涉及一种基于跨模态深度学习的围术期危重事件预测方法。
技术介绍
目前国内围手术期发生各种危重症不良事件高至12％，导致住院患者病死率最高达到1.1％。在简单的“先兆评分”危重事件预警体系下面，经常不能及时捕捉危重不良事件先兆，导致危重不良事件一旦发生即病情较重或为病程晚期，处治难度较大，干预效果有限。积极开展研究危重不良事件追踪预警和干预提示等研究，有助于早期发现、预警、诊断和干预提示，有重要的科学意义和社会价值。一些国内外机构针对术中直接监护数据经时序数据预处理分析及数据挖掘后是否具备危重不良事件早期诊断和预警价值进行了前沿探索；虽然在监测指标与警戒阈值选择上面做了大量工作，系统的预警干预启动指标还是孤立的阈值触发，也未融合同时开始普及的HIS/PACS/EMR临床数据，必要动态综合判断依赖于个别医务人员的经验判断和分析。在临床数据积累融合基础上，有条件通过大数据手段发现综合、动态的危重事件先兆规律，并通过人工智能技术及时对具体病人提供个性化的危重度判断支持医务人员的干预决策。在此背景下，本项目拟在前期研究基础上采集手术中医护人员视频数据操作数据、监护患者体征数据，融合HIS、PACS、EMR临床病例数据，基于跨模态学习、自监督学习、深度学习构建危重症不良事件预测预警模型，实现术后主要重症事件的实时追踪、早期诊断和预警。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于跨模态深度学习的围术期危重事件预测方法。为达到上述目的，本专利技术提供如下技术方案：一种基于跨模态深度学习的围术期危重事件预测方法，包括以下步骤：S1：构建多模态医疗监护数据集；S2：患者监护数据与个性化数据双模态融合特征学习；S3：跨模态协同学习特征提取；S4：构建多模态危重事件预测模型；S5：模型反馈验证。进一步，在步骤S1中，通过开展多模态数据时序同步技术、数据预处理技术及数据脱敏技术研究，构建多模态医疗监护数据集，为研究奠定数据基础。进一步，在步骤S1中，患者医疗数据包括类型：(1)检查手段产生的测量数值；(2)仪器记录的信号；(3)文本形式呈现的报告结果；(4)叙述性的数据；(5)手术操作的视频数；(6)人口统计数据。进一步，在步骤S1中，不同类型的医学数据来自不同的渠道，拥有完整且独立的语义；并能够相互印证相互补充，都从特定的角度表达医学信息的内容和特点，构成多样且互补的数据集合；构建多模态患者医疗数据集的具体方法包括：高分辨率多变量的监护数据的时序同步、患者个性化数据的归一化和手术视频数据的预处理。进一步，在步骤S2中，通过融合生命体征数据和电子病历EMR中的患者个性化数据进行双模态特征提取，进行危重不良事件预测，为跨模态协同学习提供教师网络；构建的医疗多模态数据包括3类数据：手术视频数据、患者监护数据和患者相关的个性化数据；监护数据和个性化数据包含患者的主要个体信息；双模态融合学习具体方法为：通过时序卷积网络学习时序监护特征数据，得到时序监护体征特征，然后结合患者个性化数据信息进行全连接层网络学习。进一步，步骤S3中，研究跨模态协同学习将手术视频操作模态数据、患者监护数据和个性化数据映射到同一个隐性语义空间，根据多模态数据的自然同时性提取监督信息，然后用无监督的方式进行跨模态特征学习；手术视频包含手术信息数据，体现医生的操作流程，高水平的外科操作能给患者带来更好的预后；使用手术视频和监护数据中有价值的信息源，即手术视频与患者的监护数据流之间的对应关系；它们同时出现在同一患者的手术中，一个模态的信息来自于患者自身的信息，一个模态的信息来自于外科手术医生操作即手术信息。进一步，在步骤S4中，为更好的预测多模态危重事件，跨模态特征研究融合多模态医疗数据来进行危重事件的预测；手术流程理解网络检测手术过程中外科医生手术操作，为实现预测网络根据反馈信息网络必须提取医生手术过程中解剖器官的清晰度，患者的流血量、手术操作的条理性。进一步，在步骤S4中，时序监护理解网络即为时序卷积网络，用于自动发现患者时间序列数据中的预测多变量动态模式特征。进一步，在步骤S4中，患者的个性化数据通过归一化处理直接如何模型的特征融合层，进行直接分类预测。进一步，在步骤S4中，将手术流程理解网络提取的视频特征，时序监护理解网络提取的时序特征，和个性化数据的个性特征进行特征融合，即能够进行危重事件的预测。本专利技术的有益效果在于：通过本专利技术的基于跨模态深度学习的围术期危重事件预测方法，实现监护期间主要重症事件的实时追踪和早期预警，减少患者术后并发症，提高危重不良事件的早期诊断效率。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为本专利技术实施例所述研究方案图；图2为本专利技术实施例所述双模态融合学习结构图；图3为本专利技术实施例所述跨模态协同特征学习结构图；图4为本专利技术实施例所述多模态危重不良事件预测结构图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利技术的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。如图1所示，一种基于跨模态深度学习的围术期危重事件预测方法，包括以下步骤：100：构建多模态医疗监护数据集；200：患者监护数据与个性化数据双模态融合特征学习；300：跨模态协同学习特征提取；400：构建多模态危重事件(死亡风险)预测模型。500：模型反馈验证。步骤100中，患者医疗数据包括多种类型：(1)检查手段产生的测量数值；(2)仪器记录的信号；(3)文本形式呈现的报告结果；(4)叙述性的数据；(5)手术操作的视频数；(6)人口统计数据。图2为本专利技术实施例所述双模态融合学习结构图。图3为本专利技术实施例所述跨模态协同特征学本文档来自技高网...

【技术保护点】
1.一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：该方法包括以下步骤：S1：构建多模态医疗监护数据集；S2：患者监护数据与个性化数据双模态融合特征学习；S3：跨模态协同学习特征提取；S4：构建多模态危重事件预测模型；S5：模型反馈验证。

【技术特征摘要】
1.一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：该方法包括以下步骤：S1：构建多模态医疗监护数据集；S2：患者监护数据与个性化数据双模态融合特征学习；S3：跨模态协同学习特征提取；S4：构建多模态危重事件预测模型；S5：模型反馈验证。2.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：在步骤S1中，通过开展多模态数据时序同步技术、数据预处理技术及数据脱敏技术研究，构建多模态医疗监护数据集，为研究奠定数据基础。3.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：在步骤S1中，患者医疗数据包括类型：(1)检查手段产生的测量数值；(2)仪器记录的信号；(3)文本形式呈现的报告结果；(4)叙述性的数据；(5)手术操作的视频数；(6)人口统计数据。4.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：在步骤S1中，不同类型的医学数据来自不同的渠道，拥有完整且独立的语义；并能够相互印证相互补充，都从特定的角度表达医学信息的内容和特点，构成多样且互补的数据集合；构建多模态患者医疗数据集的具体方法包括：高分辨率多变量的监护数据的时序同步、患者个性化数据的归一化和手术视频数据的预处理。5.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：在步骤S2中，通过融合生命体征数据和电子病历EMR中的患者个性化数据进行双模态特征提取，进行危重不良事件预测，为跨模态协同学习提供教师网络；构建的医疗多模态数据包括3类数据：手术视频数据、患者监护数据和患者相关的个性化数据；监护数据和个性化数据包含患者的主要个体信息；双模态融合学习具体方法为：通过时序卷积网络学习时序监护特征数据，得到时序监护体征...

【专利技术属性】
技术研发人员：陈芋文，鲁开智，张矩，钟坤华，祁宝莲，孙启龙，李亚晴，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，中国人民解放军陆军军医大学第一附属医院，
类型：发明
国别省市：重庆,50