带目标定位和腔镜视像增强处理功能的智能边缘计算系统技术方案

本发明专利技术提供一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，该计算系统包括一体化腔镜系统和处理系统，一体化腔镜系统包括多个功能模块和控制多个功能模块工作的中央控制单元；多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，处理系统用于进行动态目标定位以及对视频进行处理得到清晰视频。本发明专利技术可以为手术提供实时清晰的腔镜视频，有效改善“噪声”敏感问题。

Intelligent Edge Computing System with Target Location and Cavity Mirror Image Enhancement Processing Function

The invention provides an intelligent edge computing system with target location and image enhancement processing function of a cavity mirror. The computing system includes an integrated cavity mirror system and a processing system. The integrated cavity mirror system includes multiple functional modules and a central control unit that controls the operation of multiple functional modules. The multiple functional modules include a pneumoperitoneum for inflating the cavity, a human-computer interaction screen and a cold light source. And the camera, the processing system is used for dynamic target location and video processing to get clear video. The invention can provide real-time and clear video of endoscopy for operation and effectively improve the problem of \noise\ sensitivity.

【技术实现步骤摘要】
带目标定位和腔镜视像增强处理功能的智能边缘计算系统
本专利技术涉及腔镜系统
，具体涉及一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统。
技术介绍
目前，外科手术腔镜化已经越来越深入人心，微创手术已经成为外科医生和患者的共识。腔镜系统能够提供高清放大的手术画面，能清楚显示体内组织的细微结构，与传统开放手术相比，视野更清晰，因此手术更加准确、精细，有效避免了手术部位以外脏器受到不必要的干扰，且术中出血少，手术更安全。但是目前的腔镜系统存在以下缺点：(1)在腔镜手术过程中，由于移动救治中腔镜抖动带来的微创手术视野的噪声特性，对于目标的定位和对目标特征的挖掘产生一定的影响；(2)由于医生操作的问题，有可能导致腔镜镜头的大幅度晃动，进而出现了一些模糊帧，手术产生一定的影响。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：本专利技术提供一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，所述计算系统包括一体化腔镜系统和处理系统，其中：所述一体化腔镜系统包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示；其中：所述处理系统用于执行：S’100、获取所述摄像机转换得到的视频；S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示；所述处理系统还用于执行：S100、根据所述视频或所述清晰视频中各帧图像的时间和颜色，从所述视频或所述清晰视频中选取出关键帧图像；S200、将各张关键帧图像输入预设训练的YOLO目标检测模型，得到多张带有目标定位框和目标类别标识的图像；S300、将所述多张带有目标定位框和目标类别标识的图像进行合成，得到目标定位视频，并将所述目标定位视频进行显示；其中，所述YOLO目标检测模型的训练过程至少包括：采用K-centers聚类方法对训练样本数据集进行聚类。(三)有益效果本专利技术实施例提供了一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，具有以下效果：(1)处理系统通过生成对抗网络对腔镜系统采集到的视频中的模糊图像进行去模糊处理，然后将原始清晰图像和去模糊处理后得到的清晰图像按照时间顺序进行合成得到清晰视频，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题，为手术或检查过程提供实时且清晰的腔镜视频，提高目标定位的准确性，减轻医生的诊断或手术负担；(2)处理系统首先提取出上述视频或清晰视频中的关键帧图像，然后采用预先训练的YOLO目标检测模型对关键帧图像中的目标进行定位并确定目标类型，再将带有目标定位框和目标类别标识的图像进行合成，得到动态的目标定位视频。由于预先训练的YOLO目标检测模型的训练过程中包括采用K-centers聚类方法对训练样本数据集进行聚类，而采用K-centers聚类的方式可以有效改善“噪声”敏感问题，从而可以提高目标定位视频的画面质量。同时本专利技术由于采用目标检测模型进行目标定位和目标类型的识别，其处理效率高、处理速度快，能够做到实时的目标定位和目标类型识别。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术一实施例中带目标定位和腔镜视像增强处理功能的智能边缘计算系统的结构示意图；图2示出了本专利技术一实施例中模糊处理的流程示意图；图3示出了本专利技术一实施例中生成对抗网络的训练过程示意图；具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，如图1所示，该计算系统包括一体化腔镜系统和处理系统，其中：所述一体化腔镜系统包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示。处理系统用于进行目标定位和进行图像处理以获得清晰视频。下面对计算系统中的各部分进行详细说明：(1)针对各个功能模块以及中央控制单元对各功能模块的控制(1.1)针对中央控制单元上述中央控制单元可以称为CCU，可以采用32位单片机，适用自创性通讯规范，中央控制单元作为主机，各功能模块作为从机，中央控制单元可以通过485接口、485集线器与气腹仪、冷光源、摄像机和人机交互屏通信，中央控制单元具体可以将气腹仪、冷光源、内窥镜等功能模块的运行状态信息进行整合和打包，发送给人机交互屏，并显示在人机交互屏，中央控制单元还可以通过DVI通信接口将相关信息(例如，视频)发送给PC端(例如，示教室、会议室)。其中，通信规范即通信协议，采用RTU模式，数据帧结构为：帧头(1个字节)、地址(1个字节)、数据长度(1个字节)、指令(1个字节)、数据(N个字节)、CRC校验(2个字节)组成(指令都以十六进制发送)，规定了主机的各种命令格式、从机的应答格式、从机的地址、主机的广播格式。中央控制单元具体可以采用多任务协调方法对各个任务进行处理，具体为：中央控制单元需要处理的主要任务类型包括：外界控制信息(例如，冷光源的控制信息、气腹仪的控制信息等)以及警报信息、内部控制信息(例如，气腹仪的自动调节信息和反馈等)、信息上传任务和显示任务。为了更合理的处理好每个任务，我们使用优先级调度算法，将上述任务分级，按优先级决定先处理的任务，优先级由高到低为：外界控制信息以及警报信息、内部自身控制信息、信息上传任务和显示任务；以上每个类型的任务中又包含一些小任务，因此在同一级的任务中我们采取时间片轮转算法对其进行处理。(1.2)针对上述气腹仪所述气腹仪包括比例控制阀、开关电磁阀、泄气阀、气流量传感器和气压传感器，其中：所述比例本文档来自技高网...

【技术保护点】
1.一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，其特征在于，所述计算系统包括一体化腔镜系统和处理系统，其中：所述一体化腔镜系统包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示；其中：所述处理系统用于执行：S’100、获取所述摄像机转换得到的视频；S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示；所述处理系统还用于执行：S100、根据所述视频或所述清晰视频中各帧图像的时间和颜色，从所述视频或所述清晰视频中选取出关键帧图像；S200、将各张关键帧图像输入预设训练的YOLO目标检测模型，得到多张带有目标定位框和目标类别标识的图像；S300、将所述多张带有目标定位框和目标类别标识的图像进行合成，得到目标定位视频，并将所述目标定位视频进行显示；其中，所述YOLO目标检测模型的训练过程至少包括：采用K‑centers聚类方法对训练样本数据集进行聚类。...

【技术特征摘要】
1.一种带目标定位和腔镜视像增强处理功能的智能边缘计算系统，其特征在于，所述计算系统包括一体化腔镜系统和处理系统，其中：所述一体化腔镜系统包括多个功能模块和控制所述多个功能模块工作的中央控制单元；所述多个功能模块包括用于对腔体充气的气腹仪、人机交互屏、冷光源和摄像机，所述气腹仪、所述人机交互屏、所述冷光源和所述摄像机均连接至所述中央控制单元；所述冷光源和所述摄像机均连接光学内窥镜；所述冷光源为所述光学内窥镜提供光源；所述摄像机将所述光学内窥镜采集到的光信号转换为视频，并将所述视频发送至所述人机交互屏进行腔镜视像展示；其中：所述处理系统用于执行：S’100、获取所述摄像机转换得到的视频；S’200、确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类得到所述腔体内的不同部位所对应的清晰图像和模糊图像；S’300、采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理得到对应的去模糊图像；S’400、将各帧清晰图像和去模糊图像按照时间顺序进行合成得到所述腔体的清晰视频，并将所述清晰视频进行显示；所述处理系统还用于执行：S100、根据所述视频或所述清晰视频中各帧图像的时间和颜色，从所述视频或所述清晰视频中选取出关键帧图像；S200、将各张关键帧图像输入预设训练的YOLO目标检测模型，得到多张带有目标定位框和目标类别标识的图像；S300、将所述多张带有目标定位框和目标类别标识的图像进行合成，得到目标定位视频，并将所述目标定位视频进行显示；其中，所述YOLO目标检测模型的训练过程至少包括：采用K-centers聚类方法对训练样本数据集进行聚类。2.根据权利要求1所述的计算系统，其特征在于，所述冷光源包括：光源模组、恒流板和散热器，其中：所述光源模组包括LED灯泡、聚光筒和导光束；所述恒流板和所述散热器均连接至所述中央控制单元，所述中央控制单元用于采用PID算法控制所述恒流板对所述光源模组的输出电流进行偏差调整，并实时监控所述光源模组的光源温度，并在光源温度升高到一定值时驱动所述散热器进行散热。3.根据权利要求1所述的计算系统，其特征在于，所述摄像机包括CCD摄像头和摄像主板，其中：所述CCD摄像头用于将所述光学内窥镜所采集到的光信号转换为电信号，所述摄像主板用于将所述电信号转换为视频，并将所述视频发送至所述人机交互屏和所述处理系统。4.根据权利要求1所述的计算系统，其特征在于，所述一体化腔镜系统还包括：存储单元，连接所述中央控制单元，用于存储多个年龄段各自对应的数据集；对应的，所述人机交互屏上显示多个年龄段选项，且所述人机交互屏还用于在检测到所述多个年龄段选项中的任一选项被选择时，向所述中央控制单元发送触发信号；所述中央控制单元还用于在接收到所述触发信号时，根据被选择的选项对应的年龄段所对应的数据集，确定针对该年龄段的气压推荐值和气流量推荐值，并将所述气压推荐值和所述气流量推荐值显示在所述人机交互屏上。5.根据权利要求4所述的计算系统，其特征在于，所述气腹仪包括：温度传感器，设置在所述供气管路上，与所述中央控制单元连接，用于检测供气管路中的气体温度；所述存储单元中存储的各个年龄段各自对应的数据集包括多条记录内容，每条记录内容包括气压、气流量、在该气压和气流量设置下的使用次数、腹腔气压充气至指定气压阈值范围内时的气体平均温度、腹腔气压充气至指定气压阈值范围内的平均所用时间和该条记录内容的时间戳；对应的，所述中央控制单元用于采用以下步骤确定所述气压推荐值和所述气流量推荐值：采用第一公式计算每条记录内容的适合评分值，所述第一公式包括：式中，g为适合评分值，a1、a2和a3为权重值，tsmax为所述多条记录内容中使用次数最大的值，tmax为所述多条记录内容中平均所用时间最大的值，c为在该条记录内容中腹腔气压充气至指定气压阈值范围内时的气体平均温度，t为在该条记录内容中腹腔气压充气至指定气压阈值范围内的平均所用时间，t...

【专利技术属性】
技术研发人员：丁帅，杨善林，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34