基于自监督学习与多模态生物医疗信号处理方法、系统及终端技术方案

技术编号:43872537 阅读:33 留言:0更新日期:2024-12-31 18:56
本发明专利技术公开了基于自监督学习与多模态生物医疗信号处理方法、系统及终端,属于生物医学工程和信息技术领域,包括:采用无监督学习的自编码器提取多模态数据的特征表示;以源域数据的特征表示作为输入、目标域数据的特征表示作为输出,基于最大似然估计对基于Transformer架构的大语言模型进行训练。通过自编码器学习多模态数据之间的关联性和共同特征,并将自编码器提取的特征表示应用于大语言模型的预训练,使大语言模型学习到更加抽象和高级的特征表示,以此提高对多模态数据的处理能力以及泛化性能;同时,由于采用的是无监督学习的方法,可以利用大量的未标记数据对大语言模型进行预训练,从而更好地利用数据资源。

【技术实现步骤摘要】

本专利技术涉及生物医学工程和信息,尤其涉及基于自监督学习与多模态生物医疗信号处理和应用系统及终端。


技术介绍

1、传统医疗监测手段通常局限于单一或有限几种生理信号的采集与分析,难以全面了解个体的生理状态和变化,限制了对患者全面健康状况的了解和干预能力。而现代医疗需求更倾向于全面监测患者的多个生理参数,并能够及时响应不同参数变化,以提供个性化的服务。

2、传统生物医疗信号处理主要依赖于手工设计的特征提取方法,这限制了系统对个体差异和生理变化的适应性。然而,由于单一模态数据通常无法提供足够的信息,研究重心逐渐转向运动想象识别的多模态数据融合。多模态数据包含不同的数据类型,例如图像、文本、语音等,多模态数据采集技术能够同时获取多种类型的数据,如运动数据、生理数据、图像数据等,从而为各种评估提供更全面、准确的信息。尽管多模态数据在生物医学工程和信息
领域具有潜力,传统神经网络模型存在对多模态数据特征表示不足的问题,无法充分挖掘不同模态之间的相关信息。此外,各领域中主要利用有监督的数据或半监督的多模态数据进行特征学习,需要对多模态数据进行标记处理,本文档来自技高网...

【技术保护点】

1.基于自监督学习与多模态生物医疗信号处理方法,其特征在于:其包括训练步骤:

2.根据权利要求1所述的基于自监督学习与多模态生物医疗信号处理方法,其特征在于:所述自编码器提取多模态数据的特征表示包括:

3.根据权利要求1所述的基于自监督学习与多模态生物医疗信号处理方法,其特征在于:对大语言模型进行训练时,采用交叉熵损失函数衡量模型预测的概率分布与真实概率分布之间的差异;交叉熵损失函数的表达式为:

4.根据权利要求1所述的基于自监督学习与多模态生物医疗信号处理方法,其特征在于:所述方法还包括生成对抗对齐步骤:

5.根据权利要求1所述的基于自监...

【技术特征摘要】

1.基于自监督学习与多模态生物医疗信号处理方法,其特征在于:其包括训练步骤:

2.根据权利要求1所述的基于自监督学习与多模态生物医疗信号处理方法,其特征在于:所述自编码器提取多模态数据的特征表示包括:

3.根据权利要求1所述的基于自监督学习与多模态生物医疗信号处理方法,其特征在于:对大语言模型进行训练时,采用交叉熵损失函数衡量模型预测的概率分布与真实概率分布之间的差异;交叉熵损失函数的表达式为:

4.根据权利要求1所述的基于自监督学习与多模态生物医疗信号处理方法,其特征在于:所述方法还包括生成对抗对齐步骤:

5.根据权利要求1所述的基于自监督学习与多模态生物医疗信号处理方法,其特征在于:所述对齐损失lmmd的表达式为:

6.根据权利要求4所述的基于自监督学习与多模态生物医疗信号处理方法,其特征在于:所述方法还包括多模态数据融合步骤:

7.根据权利要求6所述...

【专利技术属性】
技术研发人员:冯宝黄子君陆森良
申请(专利权)人:桂林航天工业学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1