基于内窥镜成像的视频图像生成方法和装置及内窥镜系统制造方法及图纸

本申请涉及基于内窥镜成像的视频图像生成方法和装置及内窥镜系统。基于本申请，可以对基于内窥镜成像的内窥镜视野图像进行图像优化，若内窥镜视野图像中除了包括内窥镜的视野范围内的视野场景特征之外，还包括引发视野场景特征的模糊化的悬浮杂质特征，则，对内窥镜视野图像的图像优化通过对视野场景特征和悬浮杂质特征的差异化处理，可以在对视野场景特征保真的基础上虚化悬浮杂质特征，从而使得视野场景特征在图像优化后得到的视频图像中的清晰度高于在内窥镜视野图像中的清晰度，进而，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，以降低手术过程中误伤人体组织、甚至发生手术事故的风险。甚至发生手术事故的风险。甚至发生手术事故的风险。

【技术实现步骤摘要】
基于内窥镜成像的视频图像生成方法和装置及内窥镜系统


[0001]本申请涉及医学影像技术，特别涉及一种基于内窥镜成像的视频图像生成方法、一种基于内窥镜成像的视频图像生成装置、以及一种内窥镜系统。

技术介绍

[0002]内窥镜常用于诸如微创手术等手术过程中，将内窥镜穿过人体腔道而探入至人体的体内病变处，可以实时采集手术工具在体内病变处的受控操作过程。
[0003]对于体内病变处存在诸如结石等硬质增生物的情况，手术工具在病变处的受控操作过程包括粉碎硬质增生物，例如，手术工具可以包括激光光纤头，以利用激光光纤头产生的钬激光粉碎硬质增生物。
[0004]然而，人体的体内会存在影响人眼观测的悬浮杂质(例如体液内的碎屑或飞沫，再例如体内的水汽，还例如体内病变处诸如结石等硬质增生物被激光光纤头的钬激光粉碎后产生的碎屑等等)。无论影响人眼观测的悬浮杂质是何种物质，若这些悬浮杂质出现在内窥镜的视野范围内，则，包含内窥镜视野图像的视频流将会模糊化呈现被施术者关注的视野场景特征(例如人体组织、以及诸如激光光纤头等手术工具)，以至于施术者难以准确了解手术工具在体内病变处的受控操作过程，进而引发手术风险(例如偏离于硬质增生物的激光光纤头产生的钬激光对人体组织产生诸如热损伤等操作误伤)。
[0005]可见，如何降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，成为现有技术中有待解决的技术问题。

技术实现思路

[0006]本申请的实施例提供了一种基于内窥镜成像的视频图像生成方法、一种基于内窥镜成像的视频图像生成装置、以及一种内窥镜系统，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰。
[0007]在本申请的一个实施例中，一种基于内窥镜成像的视频图像生成方法包括：
[0008]获取基于内窥镜成像的内窥镜视野图像，其中，所述内窥镜视野图像中包括所述内窥镜的视野范围内的视野场景特征；
[0009]基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，所述图像优化用于在所述内窥镜视野图像中还包括引发所述视野场景特征的模糊化的悬浮杂质特征时，在对所述视野场景特征保真的基础上虚化所述悬浮杂质特征。
[0010]在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像；基于对所述清晰化图像的视野场景增强处理，生成所述视频图像；其中，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息。
[0011]在一些示例中，可选地，还包括：基于获取到的人机交互指令，确定在预先设定的
至少两个清晰化等级中为所述清晰化处理当前选定的清晰化等级、以及在预先设定的至少两个增强等级中为所述视野场景增强处理当前选定的增强等级。
[0012]在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像，包括：对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像。
[0013]在一些示例中，可选地，所述对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像，包括：将所述内窥镜视野图像输入至预先训练的神经网络，其中，所述神经网络的训练样本中包括具有所述悬浮杂质特征的特征形态的雾化样本特征，并且，所述清晰化图像包括所述神经网络的输出图像。
[0014]在一些示例中，可选地，所述对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像，包括：对所述内窥镜视野图像进行光线性增强处理，基于预先设定的去雾算法对所述光线性增强处理得到的光线性增强图像进行去雾处理，以及，将所述去雾处理后得到的去雾图像进行所述光线性增强处理的逆向处理，得到所述清晰化图像。
[0015]在一些示例中，可选地，所述基于对所述清晰化图像的视野场景增强处理，生成所述视频图像，包括：对所述清晰化图像进行全局细节增强处理，得到全局细节增强图像；确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息；基于对所述全局细节增强图像中的所述匹配特征信息的凸显化处理，得到所述局部细节增强图像；基于所述清晰化图像和所述局部细节增强图像，生成所述视频图像。
[0016]在一些示例中，可选地，还包括：基于所述清晰化图像生成以所述视野场景特征为突显对象的显著图，和/或，获取所述视野场景特征在所述清晰化图像中的特征识别信息；所述确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息，包括：以所述显著图和/或所述特征识别信息为指示信息，确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息。
[0017]在一些示例中，可选地，所述基于所述清晰化图像，生成以所述视野场景特征为突显对象的显著图，包括：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，确定所述清晰化图像在各尺度下的局部对比度；基于对所述清晰化图像在各尺度下的局部对比度的加权融合，得到所述显著图。
[0018]在一些示例中，可选地，所述基于所述清晰化图像和所述目标细节增强图像，生成所述视频图像，包括：对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像；基于所述亮度均衡图像和所述局部细节增强图像的图像融合，生成所述视频图像。
[0019]在一些示例中，可选地，所述对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像，包括：对所述清晰化图像进行光照估计；基于所述光照估计得到的光照估计数据，确定所述清晰化图像中以亮度阈值为界限划分的高亮度区域和低亮度区域；通过对所述清晰化图像的高亮度区域实施亮度抑制、以及对所述清晰化图像的低亮度区域实施亮度补偿，得到所述亮度均衡图像。
[0020]在一些示例中，可选地，所述对所述清晰化图像进行光照估计，包括：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，生成对所述清晰化图像的光照估计数据。
[0021]在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：将所述内窥镜视野图像输入基于深度学习的端到端神经网络；其中，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。
[0022]在一些示例中，可选地，还包括：利用图像样本集训练所述端到端神经网络，其中：所述图像样本集包括多组图像样本对，每一组所述图像样本对中的第一图像样本和第二图样样本中包括相同的悬浮杂质样本特征，所述悬浮杂质样本特征在所述第一图像样本中被呈现为高于预设辨识度阈值的显现状态，并且，所述悬浮杂质样本特征在所述第二图像样本中被呈现为低于所述预设辨识度阈值的虚化状态；所述端到端神经网络的训练目标被设定为：对每一组所述图像样本中的所述第一图像样本到所述第二图像样本的转换损失低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内窥镜成像的视频图像生成方法，其特征在于，包括：获取基于内窥镜成像的内窥镜视野图像，其中，所述内窥镜视野图像中包括所述内窥镜的视野范围内的视野场景特征；基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，所述图像优化用于在所述内窥镜视野图像中还包括引发所述视野场景特征的模糊化的悬浮杂质特征时，在对所述视野场景特征保真的基础上虚化所述悬浮杂质特征。2.根据权利要求1所述的视频图像生成方法，其特征在于，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像；基于对所述清晰化图像的视野场景增强处理，生成所述视频图像；其中，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息。3.根据权利要求2所述的视频图像生成方法，其特征在于，还包括：基于获取到的人机交互指令，确定在预先设定的至少两个清晰化等级中为所述清晰化处理当前选定的清晰化等级、以及在预先设定的至少两个增强等级中为所述视野场景增强处理当前选定的增强等级。4.根据权利要求2所述的视频图像生成方法，其特征在于，所述基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像，包括：对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像。5.根据权利要求2所述的视频图像生成方法，其特征在于，所述基于对所述清晰化图像的视野场景增强处理，生成所述视频图像，包括：对所述清晰化图像进行全局细节增强处理，得到全局细节增强图像；确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息；基于对所述全局细节增强图像中的所述匹配特征信息的凸显化处理，得到所述局部细节增强图像；基于所述清晰化图像和所述局部细节增强图像，生成所述视频图像。6.根据权利要求5所述的视频图像生成方法，其特征在于，还包括：基于所述清晰化图像生成以所述视野场景特征为突显对象的显著图，和/或，获取所述视野场景特征在所述清晰化图像中的特征识别信息；所述确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息，包括：以所述显著图和/或所述特征识别信息为指示信息，确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息。7.根据权利要求5所述的视频图像生成方法，其特征在于，所述基于所述清晰化图像和所述目标细节增强图像，生成所述视频图像，包括：对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像；基于所述亮度均衡图像和所述局部细节增强图像的图像融合，生成所述视频图像。8.根据权利要求7所述的视频图像生成方法，其特征在于，所述对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像，包括：
对所述清晰化图像进行光照估计；基于所述光照估计得到的光照估计数据，确定所述清晰化图像中以亮度阈值为界限划分的高亮度区域和低亮度区域；通过对所述清晰化图像的高亮度区域实施亮度抑制、以及对所述清晰化图像的低亮度区域实施亮度补偿，得到所述亮度均衡图像。9.根据权利要求1所述的视频图像生成方法，其特征在于，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：将所述内窥镜视野图像输入基于深度学习的端到端神经网络；其中，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。10.根据权利要求9所述的视频图像生成方法，其特征在于，还包括：利用图像样本集训练所述端到端神经网络，其中：所述图像样本集包括多组图像样本对，每一组所述图像样本对中的第一图像样本和第二图样样本中包括相同的悬浮杂质样本特征，所述悬浮杂质样本特征在所述第一图像样本中被呈现为高于预设辨识度阈值的显现状态，并且，所述悬浮杂质样本特征在所述第二图像样本中被呈现为低于所述预设辨识度阈值的虚化状态；所述端到端神经网络的训练目标被设定为：对每一组所述图像样本中的所述第一图像样本到所述第二图像样本的转换损失低于目标损失。11.根据权利要求10所述的视频图像生成方法，其特征在于，所述端到端神经网络为循环生成式对抗网络，其中：...

【专利技术属性】
技术研发人员：王金铭，刘恩毅，廖宇豪，杨宇辉，
申请(专利权)人：杭州海康慧影科技有限公司，
类型：发明
国别省市：