一种分辨体腔内外不同场景的方法及系统技术方案

本发明专利技术涉及一种分辨体腔内外不同场景的方法及系统，涉及人工智能技术领域，包括：S1、构建用于训练识别体腔内外视野的分类模型的数据库和构建识别体腔内外视野的分类模型；S2、通过体腔内外视野识别模型访问并分析手术视频图片中的不同手术场景，得到不同类别手术场景的分类数据，并输出分类数据结果；S3、统计手术镜头在体腔内外的状态，以及手术过程中镜头放置或者移出体腔的次数、分类变化的时刻点、时长和占据的手术总时长的比例。本发明专利技术将体腔外的状态及其时长从无效时长中进行区分，有助于在手术质控中区分影响手术效率的非技术因素；进一步提高手术视频不同场景分辨的准确率，使之达到临床可用的水准。使之达到临床可用的水准。使之达到临床可用的水准。

【技术实现步骤摘要】
一种分辨体腔内外不同场景的方法及系统


[0001]本专利技术涉及人工智能
，特别涉及一种分辨体腔内外不同场景的方法及系统。

技术介绍

[0002]人工智能在腔镜微创手术中的研究日益增多，从器械识别到阶段、解剖区域、手术动作、解剖处理的评估以及手术时长的初步预测，目前均有相关的研究；但是，对体腔内外的场景检测方面却很少有人涉及，同时，在传统意义上来讲腔镜微创手术中体腔内外的不同场景和没有解剖、器官以及手术动作的视频片段一样都属于无效时长的范围；然而，与无动作片段不同，体腔外的场景不仅与体腔内之间存在明显的区别，而且在临床实践中亦和体腔内无动作片段不同，过长和过度频繁出现的体腔外场景分别意味着手术团队安排的欠合理和手术镜头防雾效果的欠佳，而不一定是手术团队技术上的欠纯熟。
[0003]对于腔镜微创手术中体腔内外不同场景而言，由于手术过程中体腔内外场景切换的状态和频率是评估手术的流畅度、技能的熟练度、手术片段的分布及有效性的标准之一，并在一定程度上与手术本身的实施难度之间具有相关性，对体腔内外不同状态的检测为以上功能的自动实施提供了保障，同时，使用传统的计算机视觉算法将体腔内外场景与体腔内外的无效阶段同时进行学习不仅会消耗大量的数据集，而且准确率提升有限，不能满足临床工作的需求。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点，提供了一种分辨体腔内外不同场景的方法及系统，填补了人工智能在腔镜微创手术应用中的空缺，提高了体腔内外不同场景识别的准确率。
[0005]本专利技术的目的通过以下技术方案来实现：一种分辨体腔内外不同场景的方法，所述方法包括：S1、构建用于训练识别体腔内外视野的分类模型的数据库和构建识别体腔内外视野的分类模型；S2、通过体腔内外视野识别模型访问并分析手术视频图片中的不同手术场景，得到不同类别手术场景的分类数据，并输出分类数据结果；S3、统计手术镜头在体腔内外的状态，以及手术过程中镜头放置或者移出体腔的次数、分类变化的时刻点、时长和占据的手术总时长的比例。
[0006]所述构建用于训练识别体腔内外视野的分类模型的数据库包括：A1、将所有手术视频通过视频转码软件转码为统一格式；A2、通过标注软件对视频中体腔内外出现的时间段进行标注，并根据临床经验审核初步标注的视频数据，并将初步标注不合格的内容进行修改得到标注合格的视频。
[0007]所述构建识别体腔内外视野的分类模型包括：
B1、通过访问路径访问视频图片，调整图片大小，并计算图片RGB三个通道色彩直方图；B2、将直方图中像素值作为一维向量的索引，对应像素值出现的数量作为向量索引的值，得到各通道色彩直方图向量；B3、将RGB三通道直方图转换为一维向量：按照RGB通道顺序拼接为长度为255
×
3的一维向量；B4、将一维向量输入三层全连接分类模型中，分类模型中每层包含一个线性计算层、ReLU激活函数以及批归一化层，根据分类模型的计算结果得到视频图片体腔内外的分类结果；B5、根据分类结果和实际结果的差距通过均方差公式计算损失，进而优化识别体腔内外视野的分类模型；B6、重复步骤B1
‑
B5直到损失不再降低，最终构建得到识别体腔内外视野的分类模型。
[0008]所述通过体腔内外视野识别模型访问并分析手术视频图片中的不同手术场景，得到不同类别手术场景的分类数据包括：实时捕捉当前手术场景并将捕捉的手术视频图片信息输入到识别体腔内外视野的分类模型中；重复步骤B1
‑
B4对视频图片进行分析，识别体腔内外视野的分类模型，将只出现1秒的体腔外数据修改为体腔内数据，并通过窗口大小为5秒的滑动窗口去除噪点。
[0009]一种分辨体腔内外不同场景的系统，它包括构建模块、手术视频图片获取模块、体腔内外部不同场景分析模块、手术视频剪辑拼接模块、视频片段输出模块和统计分析模块；所述构建模块用于构建用于训练识别体腔内外视野的分类模型的数据库和构建识别体腔内外视野的分类模型；所述手术视频图片获取模块用于手术过程中实时获取镜头视野下的连续图片，并将其传输至体腔内外不同场景分析模块中；所述体腔内外不同场景分析模块用于通过识别体腔内外视野的分类模型访问并分析手术视频图片中的不同手术场景，得到不同类别手术场景的分类数据；所述手术视频剪辑拼接模块用于对不存在体腔外操作的手术，根据所述体腔内外不同场景分析模块的识别分析结果，对体腔外视频图片序列进行删除并按时间序列拼接其他视频片段；对存在体腔外操作的手术根据所述体腔内外不同场景分析模块的识别分析结果，剪辑和拼接手术视野的切换内容，得到更连续流畅的手术流程；所述视频片段输出模块用于输出由拼接完成的视频图片序列组成的视频文件；所述统计分析模块用于统计手术镜头在体腔内外的状态，以及手术过程中镜头放置或者移出体腔的次数、分类变化的时刻点、时长和占据的手术总时长的比例。
[0010]所述体腔内外不同场景分析模块用于通过识别体腔内外视野的分类模型访问并分析手术视频图片中的不同手术场景，得到不同类别手术场景的分类数据，具体包括：实时捕捉当前手术场景并将捕捉的手术视频图片信息输入到识别体腔内外视野的分类模型中，调整图片大小，并计算图片RGB三个通道色彩直方图；将直方图中像素值作为一维向量的索引，对应像素值出现的数量作为向量索引的
值，得到各通道色彩直方图向量；将RGB三通道直方图转换为一维向量：按照RGB通道顺序拼接为长度为255
×
3的一维向量；将一维向量输入三层全连接分类模型中，分类模型中每层包含一个线性计算层、ReLU激活函数以及批归一化层，根据分类模型的计算结果得到图片腔体内外分类结果；识别体腔内外视野的分类模型：将只出现1秒的体腔外数据修改为体腔内数据，并通过窗口大小为5秒的滑动窗口去除噪点。
[0011]本专利技术具有以下优点：一种分辨体腔内外不同场景的方法及系统，通过自动识别体腔内外场景，并统计体腔内外场景的分布及其时长比例，由此填补了当前人工智能在腔镜手术中应用的空白。同时，将体腔外的状态及其时长从“无效时长”中进行区分，有助于在手术质控中区分影响手术效率的非技术因素，如设备、团队安排等；进一步提高手术视频不同场景分辨的准确率，使之达到临床可用的水准，并为手术视频内容分析准确性的进一步提高提供了技术启发。同时，该技术为手术的流畅度、主刀及助手的技能熟练度提供了更全面的量化的数据并间接反映手术的难度，为手术时间的预测及其更高级的功能起到了强力的辅助作用。
附图说明
[0012]图1 为本专利技术方法的流程示意图。
具体实施方式
[0013]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分辨体腔内外不同场景的方法，其特征在于：所述方法包括：S1、构建用于训练识别体腔内外视野的分类模型的数据库和构建识别体腔内外视野的分类模型；S2、通过体腔内外视野识别模型访问并分析手术视频图片中的不同手术场景，得到不同类别手术场景的分类数据，并输出分类数据结果；S3、统计手术镜头在体腔内外的状态，以及手术过程中镜头放置或者移出体腔的次数、分类变化的时刻点、时长和占据的手术总时长的比例。2.根据权利要求1所述的一种分辨体腔内外不同场景的方法，其特征在于：所述构建用于训练识别体腔内外视野的分类模型的数据库包括：A1、将所有手术视频通过视频转码软件转码为统一格式；A2、通过标准软件对视频中体腔内外出现的时间段进行标注，并根据临床经验审核初步标注的视频数据，并将初步标注不合格的内容进行修改得到标注合格的图片。3.根据权利要求1所述的一种分辨体腔内外不同场景的方法，其特征在于：所述构建识别体腔内外视野的分类模型包括：B1、通过访问路径访问视频图片，调整图片大小，并计算图片RGB三个通道色彩直方图；B2、将直方图中像素值作为一维向量的索引，对应像素值出现的数量作为向量索引的值，得到各通道色彩直方图向量；B3、将RGB三通道直方图转换为一维向量：按照RGB通道顺序拼接为长度为255
×
3的一维向量；B4、将一维向量输入三层全连接分类模型中，分类模型中每层包含一个线性计算层、ReLU激活函数以及批归一化层，根据分类模型的计算结果得到视频图片体腔内外分类结果；B5、根据分类结果和实际结果的差距通过均方差公式计算损失，进而优化识别体腔内外视野的分类模型；B6、重复步骤B1
‑
B5直到损失不再降低，最终构建得到识别体腔内外视野的分类模型。4.根据权利要求3所述的一种分辨体腔内外不同场景的方法，其特征在于：所述通过体腔内外视野识别模型访问并分析手术视频图片中的不同手术场景，得到不同类别手术场景的分类数据，包括：实时捕捉当前手术场景并将捕捉的手术视频图片信息输入到识别体腔内外视野的分类模型中；重复步骤B1
‑
B4对视频图片进行分析，识别体腔内外视野的分类模型：将只出现1秒的体腔外数据修改为体腔内数...

【专利技术属性】
技术研发人员：刘杰，刘润文，王玉贤，
申请(专利权)人：成都与睿创新科技有限公司，
类型：发明
国别省市：