模型训练方法、图像处理方法、内窥镜装置和存储介质制造方法及图纸

本申请提供一种模型训练方法、图像处理方法、内窥镜装置和存储介质，涉及医疗信息技术领域。模型训练方法包括获取内窥镜中偏振相机采集的多组第一样本图像以及第一样本图像对应的第二样本图像，将第一样本图像中的多个维度的样本偏振图像进行合成，生成样本合成图像；分别将各组中的样本合成图像与对应的第二样本图像匹配为数据对，将匹配后的多组数据对组成偏振数据集；采用偏振数据集进行模型训练，得到图像清晰化模型。本申请可保证内窥镜提供清晰的、高质量偏振图像，尽可能减少环境干扰因素对图像的影响。干扰因素对图像的影响。干扰因素对图像的影响。

【技术实现步骤摘要】
模型训练方法、图像处理方法、内窥镜装置和存储介质


[0001]本申请涉及医疗信息
，具体而言，涉及一种模型训练方法、图像处理方法、内窥镜装置和存储介质。

技术介绍

[0002]内窥镜用于经人体的天然孔道或者是经手术微创创口进入人体体腔和脏器内，提供清晰、稳定的高质量画面为检查或手术等医用操作提供辅助。
[0003]在检查或手术过程中，若处于雾气、浑浊血水以及组织小屑末等的环境，将导致医用内窥镜拍摄得到的图像质量受到严重影响，难以分辨图像中实际人体组织的轮廓、形状及色彩细节，这给医用操作带来极大的困扰，从而严重影响医用操作的执行效率。虽然，对于普通环境中的图像清晰化处理的手段比较常见，但是针对内窥镜这一需要工作在特殊环境的医用电子设备，采集的图像如何进行清晰化处理，目前的解决方案较少，且，效果大多不尽人意。
[0004]因此，针对内窥镜采集的图像，亟需一种图像清晰化处理方法，以保证内窥镜可提供清晰的，高质量图像，尽可能减少环境干扰因素对图像的影响，从而减少对医用操作的干扰。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种模型训练方法、图像处理方法、内窥镜装置和存储介质，以对内窥镜得到的偏振图像进行清晰化处理，保证内窥镜提供清晰的、高质量偏振图像，尽可能减少环境干扰因素对图像的影响，从而减少对医用操作的干扰，保证医用操作的执行效率。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请实施例提供了一种模型训练方法，包括：
[0008]获取内窥镜中偏振相机采集的多组第一样本图像以及所述第一样本图像对应的第二样本图像，其中，所述第一样本图像包括多个维度的样本偏振图像，所述第一样本图像为所述偏振相机在预设工作环境的模拟环境中采集的图像，所述第二样本图像为所述偏振相机在清晰模拟环境中采集的图像；
[0009]将所述第一样本图像中的所述多个维度的样本偏振图像进行合成，生成样本合成图像；
[0010]分别将各组中的所述样本合成图像与对应的所述第二样本图像匹配为数据对，将匹配后的多组所述数据对组成偏振数据集；
[0011]采用所述偏振数据集进行模型训练，得到图像清晰化模型。
[0012]在一种可能实现方式中，所述将所述第一样本图像中的所述多个维度的样本偏振图像进行合成，生成样本合成图像，包括：
[0013]对所述第一样本图像中的所述多个维度的样本偏振图像进行偏振信息解算，得到
多个像素位置的偏振参量，每个像素位置的偏振参量用于表征所述每个像素位置接收到的光束的偏振信息；
[0014]根据所述多个像素位置的偏振参量，生成所述样本合成图像。
[0015]在另一种可能实现方式中，所述多个维度的样本偏振图像为多个偏振角度的样本偏振图像，所述偏振参量包括偏振度；
[0016]所述对所述第一样本图像中的所述多个维度的样本偏振图像进行偏振信息解算，得到多个像素位置的偏振参量，包括：
[0017]对所述多个偏振角度的样本偏振图像进行偏振信息解算，得到所述多个像素位置的斯托克斯矢量；
[0018]根据所述多个像素位置的斯托克斯矢量，分别计算所述多个像素位置的偏振度。
[0019]在又一种可能实现方式中，所述偏振相机为具有所述多个偏振角度的偏振光相机，所述多个偏振角度包括：0
°
,45
°
,90
°
,135
°
。
[0020]在再一种可能实现方式中，所述采用所述偏振数据集进行模型训练，得到图像清晰化模型之前，所述方法还包括：
[0021]采用预设的去雾数据集对初始图像清晰化模型进行预训练，得到预训练图像清晰化模型；
[0022]所述采用所述偏振数据集进行模型训练，得到图像清晰化模型，包括：
[0023]采用所述偏振数据集对所述预训练图像清晰化模型进行微调训练，得到所述图像清晰化模型。
[0024]在再一种可能实现方式中，所述图像清晰化模型为具有深度可分离卷积网络的端到端卷积神经网络模型。
[0025]在再一种可能实现方式中，所述偏振数据集包括：训练数据集和测试数据集；所述采用所述偏振数据集进行模型训练，得到图像清晰化模型，包括：
[0026]采用所述训练数据集进行模型训练，得到所述图像清晰化模型；
[0027]所述方法还包括：
[0028]采用所述图像清晰化模型，对所述测试数据集中的样本合成图像进行处理，得到恢复清晰图像；
[0029]根据所述恢复清晰图像和对应的原始清晰图像，计算所述图像清晰化模型的评价指标，其中，所述原始清晰图像为所述测试数据集中样本合成图像对应的第二样本图像。
[0030]第二方面，本申请实施例提供了图像处理方法，包括：
[0031]获取内窥镜中偏振相机在预设工作环境中采集的多个维度的偏振图像；
[0032]将所述多个维度的偏振图像进行合成，生成合成图像；
[0033]采用预先训练的图像清晰化模型，对所述合成图像进行清晰化处理，得到目标偏振图像，其中，所述图像清晰化模型为采用第一方面中任一所述的模型训练方法得到的模型。
[0034]第三方面，本申请实施例提供了一种内窥镜装置，包括：偏振相机和所述偏振相机通信连接到的图像处理器，所述图像处理器用于执行第二方面所述的图像处理方法。
[0035]第四方面，本申请实施例还提供一种非易失性存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面所提供的任一模型训练
方法或者第二方面所述的图像处理方法。
[0036]本申请的有益效果是：
[0037]本申请所提供的模型训练方法、图像处理方法、内窥镜装置和存储介质中，可通过将内窥镜中偏振相机采用的第一样本图像中多个维度的样本偏振图像进行合成，生成对应的样本合成图像，并将样本合成对象和对应的第二样本图像进行配对，形成偏振数据集中的数据对，使得模型训练所采用的偏振数据集的各数据对可体现样本图像的光线偏振特性，那么基于偏振数据集进行模型训练便可实现深度学习和光线偏振特性的结合，从而使得训练得到的图像清晰化模型能够有效加强对预设生物体的内部组织如轮廓、形状以及色彩等细节的体现，继而使得采用图像清晰化模型处理得到的目标偏振图像中可以更清晰准确的展示预设生物体的内部组织的细节信息，提高了目标偏振图像的目标辨识度，从而保证内窥镜提供清晰的、高质量偏振图像，尽可能减少环境干扰因素对图像的影响，减少了干扰因素对医用操作的干扰，保证医用操作的执行效率。
附图说明
[0038]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取内窥镜中偏振相机采集的多组第一样本图像以及所述第一样本图像对应的第二样本图像，其中，所述第一样本图像包括多个维度的样本偏振图像，所述第一样本图像为所述偏振相机在预设工作环境的模拟环境中采集的图像，所述第二样本图像为所述偏振相机在清晰模拟环境中采集的图像；将所述第一样本图像中的所述多个维度的样本偏振图像进行合成，生成样本合成图像；分别将各组中的所述样本合成图像与对应的所述第二样本图像匹配为数据对，将匹配后的多组所述数据对组成偏振数据集；采用所述偏振数据集进行模型训练，得到图像清晰化模型。2.根据权利要求1所述的方法，其特征在于，所述将所述第一样本图像中的所述多个维度的样本偏振图像进行合成，生成样本合成图像，包括：对所述第一样本图像中的所述多个维度的样本偏振图像进行偏振信息解算，得到多个像素位置的偏振参量，每个像素位置的偏振参量用于表征所述每个像素位置接收到的光束的偏振信息；根据所述多个像素位置的偏振参量，生成所述样本合成图像。3.根据权利要求2所述的方法，其特征在于，所述多个维度的样本偏振图像为多个偏振角度的样本偏振图像，所述偏振参量包括偏振度；所述对所述第一样本图像中的所述多个维度的样本偏振图像进行偏振信息解算，得到多个像素位置的偏振参量，包括：对所述多个偏振角度的样本偏振图像进行偏振信息解算，得到所述多个像素位置的斯托克斯矢量；根据所述多个像素位置的斯托克斯矢量，分别计算所述多个像素位置的偏振度。4.根据权利要求3所述的方法，其特征在于，所述偏振相机为具有所述多个偏振角度的偏振光相机，所述多个偏振角度包括：0
°
，45
°
，90
°
，135
°
。5.根据权利要求1所述的方法，其特征在于，所述采用所述偏振数据集进行模型训练，得到图像清...

【专利技术属性】
技术研发人员：郭毅军，陈竹，严崇源，唐豪，黄潇峰，
申请(专利权)人：重庆西山科技股份有限公司，
类型：发明
国别省市：