基于密集视频描述的手术记录自动生成方法及系统技术方案

本发明专利技术公开了一种基于密集视频描述的手术记录自动生成方法及系统，主要解决现有方法对变化的手术场景适应性欠佳，生成字幕冗余和生成过程不稳定的问题。其实现方案是：获取手术视频，将其划分为训练集、验证集和测试集；构建包括特征提取模块、匹配增强编解码模块，去冗余输出模块的手术记录自动生成网络，并将现有的三种损失函数组合成该网络的总损失函数；利用训练集和验证集对该手术记录自动生成网络进行迭代训练和验证，选择验证集上指标最好的参数作为训练好的手术记录自动生成网络：将测试集视频输入到训练好的网络得到手术视频对应的字幕和时间戳。本发明专利技术能降低生成字幕的冗余，提高字幕生成过程中的匹配稳定性和生成结果的准确性，可用于复杂场景下的密集视频字幕生成任务。

【技术实现步骤摘要】

本专利技术属于计算机视觉和自然语言处理，尤其涉及一种手术记录自动生成方法，可用于复杂场景下的密集视频字幕生成任务。

技术介绍

1、在当今医疗领域，手术记录占据着关键地位。它作为手术病例记录的核心组成部分，横跨医学实践、法律争端、医学教育以及病例研讨等多个重要领域。从医学实践层面看，手术记录为后续治疗方案的制定与调整提供了详实依据，医生可依此精准把握手术效果及患者康复态势，进而做出科学合理的医疗决策。于法律争端情境而言，手术记录为公正的裁判，其准确无误地呈现手术全过程细节，有力确保医患双方合法权益在法律天平上得以平衡，成为医疗纠纷裁决的核心证据支撑。在病例研讨层面，手术记录可为医疗团队成员提供方向，使其能够精准剖析手术得失、深度挖掘优化空间，推动医疗技术不断精进、持续前行。

2、然而，传统手工撰写手术记录的方式有很多弊端。一方面，其效率极其低下，医生在完成复杂手术的高强度操作后，身心俱疲之际仍需耗费大量时间精力去详尽记录手术细节，这无疑极大地加重了医生的工作负担，致使工作效率大打折扣。另一方面，手工记录深受主观因素干扰，极易出现疏漏与偏差。手术过本文档来自技高网...

【技术保护点】

1.一种基于密集视频描述的手术记录自动生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述手术器械引导的特征提取模块，包括：

3.根据权利要求2所述的方法，其特征在于，所述特征融合模块对视觉特征fv和文本特征ft进行特征融合以获得增强的全局视觉特征f，其实现包括：

4.根据权利要求1所述的方法，其特征在于，所述匹配增强编解码模块，包括：

5.根据权利要求4所述的方法，其特征在于，所述去噪重建模块对真实的事件时间标签注入随机噪声，将其转化成加噪的事件查询，其实现包括：

6.根据权利要求1所述的方法，其特征在...

【技术特征摘要】

1.一种基于密集视频描述的手术记录自动生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述手术器械引导的特征提取模块，包括：

3.根据权利要求2所述的方法，其特征在于，所述特征融合模块对视觉特征fv和文本特征ft进行特征融合以获得增强的全局视觉特征f，其实现包括：

4.根据权利要求1所述的方法，其特征在于，所述匹配增强编解码模块，包括：

5.根据权利要求4所述的方法，其特征在于，所述去噪重建模块对真实的事件时间标签注入随机噪声，将其转化成加噪的事件查询，其实现包括：

6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：张祥，黄伟红，李睿敏，刘浩敏，缑水平，王博，陈冬冬，王晨锦，崔小文，
申请(专利权)人：陕西医标智联数字科技有限公司，
类型：发明
国别省市：