【技术实现步骤摘要】
本专利技术涉及医疗影像处理和人工智能,具体涉及一种基于知识图谱增强的心脏消融手术视频智能字幕生成方法、系统、装置及计算机可读存储介质。
技术介绍
1、心脏消融手术是一种治疗心律失常的重要方法,通过对心脏内部异常电信号的定位和消融,达到恢复正常心律的目的。为了提高手术教学和培训效果,通常需要为心脏消融手术视频添加专业、准确的字幕解释。
2、传统技术中,采用人工进行字幕制作,这种方法不仅耗时耗力,且容易出现专业性不足、描述不准确等问题。
3、后来,出现了自动字幕生成技术。现有的自动字幕生成技术主要依赖于语音识别和自然语言处理技术。尽管这些技术在日常对话和通用视频中取得了显著进展,但在面对复杂的医疗术语和专业术语时,仍然存在较大的挑战。例如,心脏消融手术中涉及的专业术语如“房室结”、“冠状静脉窦”等,常常难以被准确识别和翻译。此外,手术过程中的上下文信息对于理解和描述手术步骤至关重要,但现有技术在处理上下文信息方面仍然存在不足。
4、综上所述,现有的自动视频字幕生成技术在处理心脏消融手术类专业医疗视频时,往
...【技术保护点】
1.一种心脏消融手术视频智能字幕生成方法,其特征在于,包括如下步骤:
2.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述构建心脏消融手术知识图谱,具体包括:
3.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述对心脏消融手术视频进行预处理,以提取视频特征数据,具体包括:
4.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于:所述基于所述心脏消融手术知识图谱,对所述视频特征数据进行处理,生成字幕文本,具体包括:
5.如权利要求4所述的心脏消融手术视频智能字幕生成方法,
...【技术特征摘要】
1.一种心脏消融手术视频智能字幕生成方法,其特征在于,包括如下步骤:
2.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述构建心脏消融手术知识图谱,具体包括:
3.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述对心脏消融手术视频进行预处理,以提取视频特征数据,具体包括:
4.如权利要求1所述的心脏消融手术视频智能字幕生成方法,其特征在于:所述基于所述心脏消融手术知识图谱,对所述视频特征数据进行处理,生成字幕文本,具体包括:
5.如权利要求4所述的心脏消融手术视频智能字幕生成方法,其特征在于,所述交叉注意力机制具体为:首先计算外部知识流输出与内部视频流输出之间的注意力权重,然后根据所述注意力权重更新外部知识流和内部视频流...
【专利技术属性】
技术研发人员:丁娣,姚天亮,
申请(专利权)人:复旦大学附属中山医院青浦分院上海市青浦区中心医院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。