一种基于人工智能检索和提取手术视频片段的方法及系统技术方案

本发明专利技术涉及一种基于人工智能检索和提取手术视频片段的方法及系统，包括将视频进行划分并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中进行识别；根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索和视频提取系统中；加载视频检索和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示。本发明专利技术通过对手术视频中关于手术阶段和手术事件进行识别，并将其对应的时间点在播放的时间轴的进度条上进行显示，让医护人员在观看手术视频时能够快速定位到自己需要关注的手术阶段或者手术事件，极大地节省了时间，提高了学习效率。提高了学习效率。提高了学习效率。

【技术实现步骤摘要】
一种基于人工智能检索和提取手术视频片段的方法及系统


[0001]本专利技术涉及人工智能
，尤其涉及一种基于人工智能检索和提取手术视频片段的方法及系统。

技术介绍

[0002]根据我国统计年报可以看到有6171.58、6930.44万人次进行各项手术。随着人民日益增长的医疗质量需求，对手术技能人员的需求也在日益扩大。一方面，需要医学生尽快的能学习到手术技能、手术中突发事件的处理方法；其次为了提高手术质量，外科手术医生也会反复查看自己或他人曾经的手术视频，以此帮助提升自己的手术技能。
[0003]但是长时间的手术视频观看会花费医生大量时间，长时间观看手术视频会降低医生和学生的注意力，因此可能会错过部分重要步骤或感兴趣的手术时间。尤其是持续时间超长的手术视频（例如腹腔镜胰十二指肠切除术手术，一般长达6
‑
8小时），这样回看视频时对医生来说是巨大的负担，学习的效率极低。无法快速定位到某一具体手术过程、定位到手术中发生的某一起或者某一类手术事件，即无法对视频进行快速检索，从而快速找到感兴趣的时间进行重点浏览。另外根据管理需要或者业务应用需要，医院或者行政管理机构需要将手术过程中的关键信息提取，即通过自动化的方法提取手术过程中关键的视频片段或者图片，以用于对手术过程进行学习研究、知识库构建、安全行为评估样本和主刀技术能力评估样本选取，然而，现有的技术却无法实现该需求。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点，提供了一种基于人工智能检索和提取手术视频片段的方法及系统，解决了目前医护人员在观看手术视频时存在的问题。
[0005]本专利技术的目的通过以下技术方案来实现：一种基于人工智能检索和提取手术视频片段的方法，所述方法包括：将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件；根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索系统和视频提取系统中；加载视频检索系统和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示，并标记出手术阶段和手术事件出现的时间段。
[0006]所述方法还包括根据视频中手术事件和手术阶段的出现时间，抽取出对应视频或者图片制作成手术知识库，让医生或专家快速浏览进行安全性评估和主刀技能评估。
[0007]所述将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件包括：
将视频划分为多个视频片段，等间距抽取视频片段的n张图片，将每张图片存储为（N，C，H，W）格式的四维张量，N表示每个视频片段的抽帧数，C表示每张图片的通道数，H为图片的宽度，W表示图片的长度；将四维张量表示的图片放入由多个2D卷积、ReLU激活层、批归一化层和一个全连接层组成的ResNet网络中提取图像特征，并将图像特征的格式存储为（M，S），M表示输入图片数，S表示预设特征向量长度；将格式为（M，S）的图像特征向量分M次输入到LSTM网络中，进行连续视频帧的手术阶段和手术事件识别。
[0008]所述视频检索系统和视频提取系统的构建方法包括：采用手术阶段识别模型和手术事件识别模型对输入的图片进行基于深度学习的推理，得到手术阶段信息和手术事件信息；通过定制化的视频播放软件为用户输出手术阶段和手术事件出现时间段在进度条上展示，实现视频检索系统的构建；通过手术阶段识别模型和手术事件识别模型识别到的关键手术过程的起止时间点，根据定制化的抽取软件将视频中相应的视频片段进行抽取或者将视频按照一定的帧率抽取为静态图片，实现视频抽取系统的构建。
[0009]所述方法还包括将视频进行划分之前实现对手术阶段识别模型和手术事件识别模型构建的步骤；所述手术阶段识别模型和手术事件识别模型构建步骤包括：根据专家经验、指南、论著建立手术阶段理论模型和手术事件理论模型，并对收集的手术视频根据手术阶段理论模型和手术事件理论模型对手术阶段和手术事件进行边界划分；将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件时间段的标注。
[0010]将完成标注的手术阶段数据和手术事件数据分布按照相应比例随机分配进入训练集、验证集和测试集，并通过ResNet网络和LSTM网络对训练集、验证集和测试集图片进行训练、验证和测试，完成手术阶段识别模型和手术事件识别模型的构建。
[0011]所述将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件时间段的标注包括：按照每个手术视频分辨率不低于预设值且每秒不低于预设帧的要求收集手术视频数据，并以图片的形式保存；对收集完成的图片通过ffmpeg软件统一转码为相同的格式，并通过标注软件Anvil完成对手术阶段时间段和手术事件时间段的初步标注；通过专业人员对完成初步标注的视频数据再进行人工标注，并将初步标注不合格的图片进行修改得到标注合格的图片。
[0012]所述通过ResNet网络和LSTM网络对训练集、验证集和测试集图片进行训练、验证和测试，完成手术阶段识别模型和手术事件识别模型的构建包括：将训练集、验证集和测试集的图片存储为（N，C，H，W）格式的四维张量，N表示每个视频片段的抽帧数，C表示每张图片的通道数，H为图片的宽度，W表示图片的长度；将四维张量表示的图片放入由多个2D卷积、ReLU激活层、批归一化层和一个全连
接层组成的ResNet网络中提取图像特征，并将图像特征的格式存储为（M，S）；将格式为（M，S）的图像特征向量分M次输入到LSTM网络中，进行连续视频帧的手术阶段和手术事件识别并记录起止时间；将识别结果放入交叉熵损失函数中进行计算得到损失，并使用梯度下降的方式更新模型参数，以此构造手术阶段识别模型和手术事件识别模型。
[0013]一种基于人工智能检索和提取手术视频片段的系统，它包括识别模块、视频检索与提取模块以及视频播放模块；所述识别模块用于将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件；所述视频检索与提取模块用于根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索和提取单元中；所述视频播放模块用于加载视频检索系统和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示，并标记出手术阶段和手术事件出现的时间段。
[0014]还包括构建模块，所述构建模块用于构建视频检索与提取单元、手术阶段识别模型以及手术事件识别模型。
[0015]还包括视频收集与标注模块，所述视频收集与标注模块用于将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述方法包括：将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件；根据视频片段的起止时间输出手术阶段和手术事件的识别结果对应到完整视频的起止时间后，将识别结果的对应时间存储在视频检索系统和视频提取系统中；加载视频检索系统和视频提取系统中的识别结果和对应时间数据在视频播放系统的进度条中显示，并标记出手术阶段和手术事件出现的时间段。2.根据权利要求1所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述方法还包括根据视频中手术事件和手术阶段的出现时间，抽取出对应视频或者图片制作成手术知识库，让医生或专家快速浏览进行安全性评估和主刀技能评估。3.根据权利要求1所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述将视频划分为多个视频片段并等间距抽取视频片段的多张图片输入到手术阶段识别模型和手术事件识别模型中，在进行图像特征提取后分别识别出图片中的手术阶段和手术事件包括：将视频划分为多个视频片段，等间距抽取视频片段的n张图片，将每张图片存储为（N，C，H，W）格式的四维张量，N表示每个视频片段的抽帧数，C表示每张图片的通道数，H为图片的宽度，W表示图片的长度；将四维张量表示的图片放入由多个2D卷积、ReLU激活层、批归一化层和一个全连接层组成的ResNet网络中提取图像特征，并将图像特征的格式存储为（M，S），M表示输入图片数，S表示预设特征向量长度；将格式为（M，S）的图像特征向量分M次输入到LSTM网络中，进行连续视频帧的手术阶段和手术事件识别。4.根据权利要求1所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述视频检索系统和视频提取系统的构建方法包括：采用手术阶段识别模型和手术事件识别模型对输入的图片进行基于深度学习的推理，得到手术阶段信息和手术事件信息；通过定制化的视频播放软件为用户输出手术阶段和手术事件出现时间段在进度条上展示，实现视频检索系统的构建；通过手术阶段识别模型和手术事件识别模型识别到的关键手术过程的起止时间点，根据定制化的抽取软件将视频中相应的视频片段进行抽取或者将视频按照一定的帧率抽取为静态图片，实现视频抽取系统的构建。5.根据权利要求1所述的一种基于人工智能检索和提取手术视频片段的方法，其特征在于：所述方法还包括将视频进行划分之前实现对手术阶段识别模型和手术事件识别模型构建的步骤；所述手术阶段识别模型和手术事件识别模型构建步骤包括：根据专家经验、指南、论著建立手术阶段理论模型和手术事件理论模型，并对收集的手术视频根据手术阶段理论模型和手术事件理论模型对手术阶段和手术事件进行边界划分；将大量视频数据按照分辨率的要求进行收集成图片，并对收集完成的图片进行手术阶段时间段和手术事件时间段的标注；
将完成标注的手术阶段数据和手术事件数据分布按照相应比例随机分配...

【专利技术属性】
技术研发人员：刘杰，王玉贤，刘润文，吴少南，沈小江，王昕，
申请(专利权)人：成都与睿创新科技有限公司，
类型：发明
国别省市：