心脏消融手术视频智能字幕生成方法、系统、装置及介质制造方法及图纸

技术编号:43628166 阅读:18 留言:0更新日期:2024-12-11 15:07
本发明专利技术公开了一种心脏消融手术视频智能字幕生成方法、系统、装置及介质。所述方法包括如下步骤:构建心脏消融手术知识图谱,所述知识图谱包括心脏解剖结构、心脏消融手术设计的器械、心脏消融手术的操作步骤;对心脏消融手术视频进行预处理,以提取视频特征数据,所述视频特征数据包括关键帧、手术器械、解剖结构、音频和文本信息;基于所述心脏消融手术知识图谱,对所述视频特征数据进行处理,生成字幕文本。本发明专利技术通过引入心脏消融手术专业知识图谱和双流Transformer架构,能同时利用外部知识和内部视频信息,提高对手术过程的整体理解,提高了心脏消融手术视频智能字幕生成的专业性和准确性。

【技术实现步骤摘要】

本专利技术涉及医疗影像处理和人工智能,具体涉及一种基于知识图谱增强的心脏消融手术视频智能字幕生成方法、系统、装置及计算机可读存储介质。


技术介绍

1、心脏消融手术是一种治疗心律失常的重要方法,通过对心脏内部异常电信号的定位和消融,达到恢复正常心律的目的。为了提高手术教学和培训效果,通常需要为心脏消融手术视频添加专业、准确的字幕解释。

2、传统技术中,采用人工进行字幕制作,这种方法不仅耗时耗力,且容易出现专业性不足、描述不准确等问题。

3、后来,出现了自动字幕生成技术。现有的自动字幕生成技术主要依赖于语音识别和自然语言处理技术。尽管这些技术在日常对话和通用视频中取得了显著进展,但在面对复杂的医疗术语和专业术语时,仍然存在较大的挑战。例如,心脏消融手术中涉及的专业术语如“房室结”、“冠状静脉窦”等,常常难以被准确识别和翻译。此外,手术过程中的上下文信息对于理解和描述手术步骤至关重要,但现有技术在处理上下文信息方面仍然存在不足。

4、综上所述,现有的自动视频字幕生成技术在处理心脏消融手术类专业医疗视频时,往往存在专业术语识别不本文档来自技高网...

【技术保护点】

1.一种心脏消融手术视频智能字幕生成方法,其特征在于,包括如下步骤:

2.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述构建心脏消融手术知识图谱,具体包括:

3.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述对心脏消融手术视频进行预处理,以提取视频特征数据,具体包括:

4.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于:所述基于所述心脏消融手术知识图谱,对所述视频特征数据进行处理,生成字幕文本,具体包括:

5.如权利要求4所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述交叉...

【技术特征摘要】

1.一种心脏消融手术视频智能字幕生成方法,其特征在于,包括如下步骤:

2.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述构建心脏消融手术知识图谱,具体包括:

3.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述对心脏消融手术视频进行预处理,以提取视频特征数据,具体包括:

4.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于:所述基于所述心脏消融手术知识图谱,对所述视频特征数据进行处理,生成字幕文本,具体包括:

5.如权利要求4所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述交叉注意力机制具体为:首先计算外部知识流输出与内部视频流输出之间的注意力权重,然后根据所述注意力权重更新外部知识流和内部视频流...

【专利技术属性】
技术研发人员:丁娣姚天亮
申请(专利权)人:复旦大学附属中山医院青浦分院上海市青浦区中心医院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1