用于腹腔镜结直肠癌手术的神经智能辅助识别系统技术方案

本申请公开了一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统，涉及人工智能领域。神经智能辅助识别系统与腹腔镜系统连接，包括：视频信号转换模块，用于将腹腔镜系统形成的电信号转换为视频信号；视频图像帧抽取模块，用于从视频信号获得图像帧，并将当前图像帧与缓存内的前序N张图像帧组成图像序列；识别模型计算处理模块，用于利用识别模型根据图像序列得到当前图像帧中的相关神经的检测框表示；以及显示模块，用于显示图像帧，并将识别模型输出的结果显示在当前显示的图像帧上。从而，达到了提高医生在手术过程中对于神经的注意力程度，以期降低术中神经损伤的发生风险的技术效果。技术效果。技术效果。

【技术实现步骤摘要】
用于腹腔镜结直肠癌手术的神经智能辅助识别系统


[0001]本申请涉及人工智能
，特别是涉及一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统。

技术介绍

[0002]结直肠癌是一种常见的恶性消化道肿瘤。该肿瘤在多数发达国家高发，在社会老龄化、生活习惯改变等诸多因素的影响下，我国结直肠癌发病率呈现逐年上升的趋势。根据2020年最新发布的数据，我国结直肠癌估算新发病例数为55.5万，死亡病例数为28.6万，分别位于第二和第五位，严重危害国民健康。尽管放化疗在结直肠癌治疗中广泛应用，以手术为主的综合治疗仍然是治疗结直肠癌的主要手段。与传统的开放结直肠手术对比，腹腔镜手术具有创伤更小，患者术后的应激和炎症反应更低，术后恢复更快等诸多优势。腹腔镜下直肠癌根治手术与开腹手术可以获得相同的近、远期临床疗效，已经成为治疗结直肠癌的重要手术方式。
[0003]任何手术过程中，操作者都有可能对相关神经造成损伤。由腹盆腔自主神经系统损害引起的排尿及生殖功能障碍是结直肠癌手术最常见的并发症，据文献报道，结直肠癌手术后排尿和性功能障碍率分别为5%~35%和10%~60%，严重影响患者的生存质量，且一旦发生自主神经系统损伤，缺乏有效的治疗手段。已有大量研究表明，在结直肠手术中对盆腔自主神经的识别和保护对于降低排尿及生殖功能障碍的发生风险具有重要作用。随着直肠癌早期发现率的增加和临床疗效的提高，外科医生也逐渐关注到对结直肠癌患者的远期功能保护，从而提高患者术后生活质量。直肠癌根治手术中自主神经系统损伤的预防越发得到重视。
[0004]根据医生经验，自主神经损伤常发生于：1）清扫肠系膜下动脉根部淋巴结时可能损伤上腹下神经丛；2）分离直肠系膜时可能损伤骶骨前方的左、右两支腹下神经，以及支配直肠、泌尿、生殖器官的副交感盆神经丛等。
[0005]近年来，基于人工智能的计算机视觉技术迅猛发展，在某些领域已经达到了与人类认知相当的程度。该技术能够给予计算机理解和感知图像信息的能力，从而实现自动化任务，在医疗领域中的早期筛查、病灶勾画、辅助诊断方面已开展了广泛的应用研究工作。腹腔镜本身可为术者提供高清、放大的操作视野，增加狭窄盆腔内环境可视性、使得解剖结构层次更清晰显示，具有丰富的可挖掘信息；此外，腹腔镜系统天然具有的数据采集及保存的特点，为基于手术视频开展视觉识别任务提供了丰富的数据来源。
[0006]参考文件1：一种新生儿坏死性小肠结肠炎手术干预时机辅助识别系统。公开号为（CN114898863A）。其主要公开了一种新生儿坏死性小肠结肠炎手术干预时机辅助识别系统，采用手术干预时机辅助识别模型，利用该模型的具体工作过程如下：将新生儿坏死性小肠结肠炎患者的影像数据和临床数据输入数据预处理模块分别进行预处理；将预处理后的影像数据和临床数据输入特征提取模块进行特征提取；然后加入超图约束，选取不同特征之间相关联的高阶特征；最后加入两种数据特征的邻接矩阵作为网络正则化约束，得到最
终特征矩阵；根据临床指征选取模块选择的临床指征，将最终特征矩阵中的临床指征输入预测分类模块进行分类，得到是否需要手术的二分类结果。本专利技术可以对新生儿坏死性小肠结肠炎外科手术干预时机进行判断，提高患儿的诊治效率。
[0007]参考文件2：一种内镜下辅助识别粘膜下血管的方法及系统。公开号为（CN112842285A）。其主要公开了一种内镜下辅助识别粘膜下血管的方法及系统，属于血管识别
，对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下血管覆盖区域。本专利技术能够在内窥镜操作过程中，在不借助额外设备且不延长操作时间的前提下，实时准确提取消化道血流信息，准确识别粘膜下血管，保证了手术安全。
[0008]综上所述，本公开的具体实施方式采用基于人工智能的计算机视觉技术，通过在腹腔镜手术环境中嵌入智能识别装置，实现对上述与术后不良预后相关神经的检测框的突出显示，提高医生在手术过程中对于神经的注意力程度，以期降低术中神经损伤的发生风险。此外，通过对已有的腹腔镜手术视频展开回顾性分析，提供自动化的相关神经检测，可以为外科医师技能培训提供基于视频的学习路径，帮助提高对手术过程中潜在神经损伤机制的认识，提高医师手术技能。

技术实现思路

[0009]本公开的实施例提供了一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统，采用基于人工智能的计算机视觉技术，构建腹腔镜结直肠癌手术术中神经智能识别模型，对手术过程中视野内的神经进行实时检测框的突出显示。
[0010]根据本公开实施例的一个方面，提供了一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统，神经智能辅助识别系统与腹腔镜系统连接，包括：视频信号转换模块，用于将腹腔镜系统形成的电信号转换为视频信号；视频图像帧抽取模块，用于从视频信号获得图像帧，并将当前图像帧与缓存内的前序N张图像帧组成图像序列；识别模型计算处理模块，用于利用识别模型根据图像序列得到当前图像帧中相关神经的检测框表示；以及显示模块，用于显示图像帧，并将识别模型输出的结果显示在当前显示的图像帧上。
[0011]其中神经智能识别模型所涉技术包括：面向手术阶段特点的目标检测算法、视频目标检测修正算法。基于以上系统流程及算法设计，本公开的技术方案可实现对腹腔镜结直肠癌手术术中神经的准确、稳定和实时识别要求。
[0012]并且，本公开的技术方案能够解决复杂场景下腹腔镜术中神经准确识别的问题。患者的肥胖程度与腹腔内的脂肪组织分布相关，过多的脂肪组织将隐匿神经、血管等重要组织结构，增加识别难度。手术全程涉及各类复杂操作包括固定、牵拉、分离以及止血等，手术器械、纱布以及出血情况将影响相关组织结构的可视程度。由此可见术中神经识别任务非常困难，本专利需采取针对性设计，使得识别模型可适用于各类场景，具有稳健的效果。
[0013]此外，从考虑医生使用体验的角度，本公开的技术方案还能够解决腹腔镜视频识别结果稳定性及实时性需求。实时识别即将处理的手术视频，通过监视器显示后无人眼可
感知的掉帧、闪烁情况，对处理速度有所要求；稳定识别则意味着突出显示的位置框在帧间的连续性，在目标位置无明显变化时，定位框的尺寸和位置也无明显变化，减少闪烁和抖动。
附图说明
[0014]此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：图1是根据本公开具体实施方式所述的神经智能辅助识别系统的示意图；图2A~图2C是根据本公开具体实施方式所述的神经智能辅助识别系统的识别模型的三种不同形式的结构示意图；以及图3是根据本公开具体实施方式对识别模型中的目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统，所述神经智能辅助识别系统与腹腔镜系统连接，包括：视频信号转换模块，用于将所述腹腔镜系统形成的电信号转换为视频信号；视频图像帧抽取模块，用于从所述视频信号获得图像帧，并将当前图像帧与缓存内的前序N张图像帧组成图像序列；识别模型计算处理模块，用于利用识别模型根据所述图像序列得到当前图像帧中的相关神经的检测框的检测框表示；以及显示模块，用于显示图像帧，并将所述识别模型输出的结果显示在当前显示的图像帧上。2.如权利要求1所述的系统，其特征在于，还包括：交互触发模块，用于选择是否触发所述神经智能辅助识别系统。3.如权利要求1所述的系统，其特征在于：所述识别模型包括手术阶段识别模型和目标检测模型，其中所述手术阶段识别模型用于识别当前图像帧所属的手术阶段，所述目标检测模型用于根据所述手术阶段识别模型的识别结果自适应选择针对所述的手术阶段的目标检测子模型得到所述检测框表示。4.如权利要求3所述的系统，其特征在于：所述手术阶段包括从剪开腹膜至解剖肠系膜下血管前、从解剖肠系膜下血管至游离直肠之前和游离直肠这三个手术阶段，并且其中所述目标检测模型基于YOLOv5模型，并且包括采用不同手术阶段的数据训练得到的对应于所述三个手术阶段的目标检测子模型，并且其中所述手术阶段识别模型包括：图像特征提取单元、识别分类单元和后处理单元。5.如权利要求4所述的系统，其特征在于：所述图像特征提取单元的网络参数与所述目标检测模型中的特征提取单元保持一致，训练时不进行反向梯度传播，并且所述当前图像帧经所述图像特征提取单元提取后表示为多个特征图，作为所述识别分类单元的输入；所述识别分类单元采用LSTM序列处理模型或树模型根据多维特征向量确定所述当前图像帧所属的手术阶段；并且所述后处理单元采用以下方法进行后处理，并将后处理的分类结果作为所述当前图像帧最终的手术阶段识别结果：在未识别出所述当前图像帧的手术阶段的情况下，将所述当前图像帧前序的图像帧的手术阶段识别结果作为所述当前图像帧的手术阶段识别结果；以及采用滑动窗口消除所述图像序列中各个图像帧的手术阶段识别结果的波动，并根据实际情况调整所述滑动窗口的大小。6.如权利要求3所述的系统，其特征在于，所述目标检测模型配置用于：根据所述手术阶段识别结果，自适应选择相应的目标检测子模型，从而获得所述当前图像帧上相关神经的检测框表示，所述识别模型的表达式如下所示：
其中是与手术阶段i对应的目标检测子模型i的函数，当输入图片x时，用于表示所述当前图像帧中相关神经的检测框坐标，为与不同的手术阶段对应的阶段系数，当识别图像所属的手术阶段为第i个手术阶段时，。7.如权利要求1所述的系统，其特征在于：所述识别模型计算处理模块还配置用于利用所述图像序列中目标的连续性变化特点，对所述当前图像帧的目标检测的结果进行修正，并且其中，所述修正的修正算法包括：建立链接：针对所述图像序列的各个图像帧中的检测框建立链接，其中所述链接包含所述各个图像帧中与指定图像帧中的检测框最佳匹配的检...

【专利技术属性】
技术研发人员：吴斌，吴及，高键东，吴韵阳，徐楷文，王培培，
申请(专利权)人：清华大学，
类型：发明
国别省市：