一种通用心电基座大模型框架构建方法及系统技术方案

技术编号:43431444 阅读:17 留言:0更新日期:2024-11-27 12:41
本发明专利技术公开了一种通用心电基座大模型框架构建方法及系统,本方案提出增强VQ‑VAE模型,改进后的增强VQ‑VAE模型可以适用于不同长度、不同噪声等级和多种导联情况的心电信号,提出掩码ECG建模模型,该模型是一种针对1D心电信号的自监督预训练框架,现有的掩码建模大多是基于语言或图像开发的,无法直接用于心电任务。本方案针对心电信号设计了合理的掩码建模ECG分块参数和ECG编码器的嵌入层维度,通过构建上述心电自监督预训练任务,能够有效降低数据标注成本,并且模型并不依赖于特定任务,是一种通用的ECG框架,广泛适用于不同的ECG任务。

【技术实现步骤摘要】

本专利技术属于心电大模型,具体涉及一种通用心电基座大模型框架构建方法及系统


技术介绍

1、现有的心电图(electrocardiogram,ecg)分析模型多基于传统的深度学习架构,如基于监督学习的多尺度cnn,lstm,transformer等。这些模型的训练依赖于大量带标签的心电信号数据,且仅适用于特定的心电任务,而标注大量的心电信号依赖于专业医师,标注过程费时费力,临床心电样本标签获取困难,从而限制了人工智能在心电领域的发展。与之相比,无监督预训练大模型不依赖于数据标签,并且能够广泛适用于多种心电分析任务。

2、无监督预训练大模型可以大体分类为以下两种思路:一是基于对比学习的思想,生成增强数据,并在训练过程中约束正负样本之间的距离实现模型训练,如simclr、dino等。另一种是基于掩码建模的方法,通过对掩码的数据进行恢复实现训练任务,如bert,beit等模型。然而,上述模型是为语言或图像设计的,未能充分考虑心电信号的导联特性,因此不能有效地提取心电数据中的信息。这导致了现有无监督预训练大模型无法直接应用于处理心电数据。

...

【技术保护点】

1.一种通用心电基座大模型框架构建方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的方法,其特征在于:所述获取原始ECG信号作为模型输入并基于三种增强策略进行数据增强训练,得到全体增强数据,包括:

3.根据权利要求2所述的方法,其特征在于:所述通过对所述全体增强数据进行数据重构训练增强VQ-VAE模型,得到分词器和码本的参数,进而获得原始ECG信号的离散表示,包括:

4.根据权利要求3所述的方法,其特征在于:还包括在所述增强VQ-VAE模型中损失函数的基础上,增加样本内部距离损失:

5.根据权利要求4所述的方法,其特征在于:所述根据...

【技术特征摘要】

1.一种通用心电基座大模型框架构建方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的方法,其特征在于:所述获取原始ecg信号作为模型输入并基于三种增强策略进行数据增强训练,得到全体增强数据,包括:

3.根据权利要求2所述的方法,其特征在于:所述通过对所述全体增强数据进行数据重构训练增强vq-vae模型,得到分词器和码本的参数,进而获得原始ecg信号的离散表示,包括:

4.根据权利要求3所述的方法,其特征在于:还包括在所述增强vq-vae模型中损失函数的基础上,增加样本内部距离损失:

5.根据权利要求4所述的方法,其特征在于:所述根据原始ecg信号的离散表示构建掩码心电建模任务,根据所述掩码心电建模任务对ecg编码器进行训练,得到心电基座大模型,包括:

6.根据权利要求5所述的方法,其特征在于:所述调用下游任务对所述心电基座...

【专利技术属性】
技术研发人员:孙美琪许娟高剑伟谭巧史文钊
申请(专利权)人:神州医疗科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1