The invention provides a real-time video enhancement processing method and a system and a storage medium for a cavity mirror. The method includes: acquiring video captured by the cavity mirror system in the cavity; determining the corresponding cavity parts of each frame image in the video and classifying the frame images according to the clarity, obtaining clear images and blurred images corresponding to different parts of the cavity; The pre-trained generation antagonism network is used to deblur the blurred image corresponding to each part, and the corresponding deblurred image is obtained. The clear image and deblurred image of each frame are synthesized in time order to obtain the clear video of the cavity. The invention can effectively solve the image blurring problem caused by equipment jitter in harsh environment.
【技术实现步骤摘要】
实时腔镜视像增强处理方法和系统、存储介质
本专利技术涉及图像处理
，具体涉及一种实时腔镜视像增强处理方法和系统、存储介质。
技术介绍
在腔镜手术过程中，特别是在恶劣环境下，由于医生操作的问题，有可能导致腔镜镜头的大幅度晃动，进而出现了一些模糊帧，对临床医生的诊断或者手术产生一定的影响。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种实时腔镜视像增强处理方法和系统、存储介质，可以有效解决恶劣环境下由于设备抖动造成的图像模糊问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：第一方面，本专利技术提供一种实时腔镜视像增强处理方法，包括：获取腔镜系统在腔体内拍摄到的视频；确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。第二方面，本专利技术提供一种实时腔镜视像增强处理系统，包括：至少一个存...
【技术保护点】
1.一种实时腔镜视像增强处理方法，其特征在于，该方法由电子设备执行，该方法包括：获取腔镜系统在腔体内拍摄到的视频；确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。
【技术特征摘要】
1.一种实时腔镜视像增强处理方法，其特征在于，该方法由电子设备执行，该方法包括：获取腔镜系统在腔体内拍摄到的视频；确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，得到所述腔体内的不同部位所对应的清晰图像和模糊图像；采用预先训练的生成对抗网络对每一部位对应的模糊图像进行去模糊处理，得到对应的去模糊图像；将各帧清晰图像和去模糊图像按照时间顺序进行合成，得到所述腔体的清晰视频。2.根据权利要求1所述的方法，其特征在于，所述确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，包括：采用预设的部位分类模型将所述视频中的各帧图像与预设标签库中不同腔体部位的图像进行对比，以确定所述视频中各帧图像各自对应的腔体部位；采用预设的清晰度二分类器确定所述视频中每一腔体部位对应的每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像。3.根据权利要求1所述的方法，其特征在于，所述确定所述视频中各帧图像各自对应的腔体部位以及将所述各帧图像按照清晰程度分类，包括：采用预设的清晰度二分类器确定所述视频中每一帧图像为清晰图像的概率；若所述概率大于预设值，则确定该帧图像为清晰图像，否则确定该帧图像为模糊图像；采用预设的部位分类模型将每一帧清晰图像和每一帧模糊图像分别与预设标签库中不同腔体部位的图像进行对比，以确定每一帧清晰图像和每一帧模糊图像分别对应的腔体部位。4.根据权利要求1～3任一项所述的方法，其特征在于，还包括：预先训练得到所述生成对抗网络；其中，所述生成对抗网络的训练过程具体包括：A1、将预设的训练样本集中的第一训练样本分别输入至少两个不同的卷积神经网络中进行去模糊处理，得到至少两帧去模糊图像；其中，所述第一训练样本为模糊图像；A2、对所述至少两帧去模糊图像进行融合处理，得到所述第一训练样本对应的去模糊图像；A3、计算所述第一训练样本对应的去模糊图像为清晰图像的概率，并根据该概率判断所述第一训练样本对应的去模糊图像是否为清晰图像：若是，则所述生成对抗网络的训练过程结束；否则，将所述第一训练样本对应的去模糊图像和所述训练样本集中的第二训练样本进行对比训练，得到所述第一训练样本对应的去模糊图像相对于所述第二训练样本的总损失值，根据所述总损失值对所述至少两个不同的卷积神经网络的去模糊参数和/或所述融合处理所采用的融合参数进行调整，并返回步骤A1；其中，所述第二训练样本为清晰图像且所述第二训练样本和所述第一训练样本对应所述腔体内的相同部位。5.根据权利要求4所述的方法，其特征在于，所述至少两个不同的卷积神经网络包括超分辨率卷积神...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。