内窥镜成像方法和内窥镜系统技术方案

一种内窥镜成像方法和内窥镜系统，该方法包括：通过内窥镜系统的图像传感器采集待观察部位的图像信号；将所述图像信号发送至所述内窥镜系统的图像信号处理模块，通过所述图像信号处理模块对所述图像信号进行信号处理；当所述信号处理得到部分帧图像时，实时将所述部分帧图像发送至所述内窥镜系统的人工智能处理模块，通过所述人工智能处理模块对所述部分帧图像进行智能图像处理，以得到部分帧图像处理结果；根据至少两个部分帧图像处理结果显示内窥镜图像。本发明专利技术的内窥镜成像方法和内窥镜系统能够降低数据在图像信号处理模块和人工智能处理模块间交互产生的延时。能处理模块间交互产生的延时。能处理模块间交互产生的延时。

【技术实现步骤摘要】
内窥镜成像方法和内窥镜系统


[0001]本专利技术涉及医疗设备领域，更具体地涉及一种内窥镜成像方法和内窥镜系统。

技术介绍

[0002]随着人工智能在计算机视觉领域的兴起，内窥镜系统在应用传统的ISP(Image Signal Processing，图像信号处理)算法的基础上逐渐衍生出了部署AI(Artificial Intelligence，人工智能)算法的需求，为此成像平台演变成包含ISP模块、AI模块在内的异构平台架构。在这种异构平台的处理链路中，图像数据需要在不同模块间交互，以不同形式进行计算，这个过程通常以帧为单位进行传输，会造成固定的缓存延时。然而，在医疗内窥镜系统中，实时性是评估系统优劣的重要指标之一，微创手术场景下实时性差会造成手部操作和视觉感知的割裂，影响医生的体验和判断，这要求尽可能降低内窥镜系统存在的一切延时。
[0003]目前绝大部分异构成像系统都默认这一固有延时的存在，系统设计难以兼顾灵活性和实时性。

技术实现思路

[0004]在
技术实现思路
部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本专利技术的
技术实现思路
部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
[0005]本专利技术实施例第一方面提供了一种内窥镜成像方法，包括：
[0006]通过内窥镜系统的图像传感器采集待观察部位的图像信号；
[0007]将所述图像信号发送至所述内窥镜系统的图像信号处理模块，通过所述图像信号处理模块对所述图像信号进行信号处理；
[0008]当所述信号处理得到部分帧图像时，实时将所述部分帧图像发送至所述内窥镜系统的人工智能处理模块，通过所述人工智能处理模块对所述部分帧图像进行智能图像处理，以得到部分帧图像处理结果；
[0009]根据至少两个所述部分帧图像处理结果显示内窥镜图像。
[0010]在一些实施例中，所述根据至少两个所述部分帧图像处理结果显示内窥镜图像，包括：
[0011]所述人工智能处理模块将所述部分帧图像处理结果输出至显示器，以使所述显示器根据至少两个所述部分帧图像处理结果显示内窥镜图像；
[0012]或者，所述人工智能处理模块将所述部分帧图像处理结果输出至所述图像信号处理模块，所述图像信号处理模块对所述部分帧图像处理结果进行处理后输出至显示器，以使所述显示器根据至少两个所述部分帧图像处理结果显示内窥镜图像。
[0013]在一些实施例中，所述图像信号处理模块以所述图像传感器的像素行或像素列输出的图像信号进行所述信号处理，所述部分帧图像由多个所述像素行或像素列输出的图像
信号构成。
[0014]在一些实施例中，所述智能图像处理包括对所述部分帧图像进行卷积神经网络运算，以得到部分帧卷积神经网络运算结果，所述部分帧图像处理结果包括所述部分帧卷积神经网络运算结果。
[0015]在一些实施例中，所述方法还包括：
[0016]在所述部分帧卷积神经网络运算结果中，去除由冗余数据产生的冗余运算结果。
[0017]在一些实施例中，所述冗余数据为相邻两个所述部分帧图像之间的重叠数据。
[0018]在一些实施例中，所述冗余数据为相邻两个所述部分帧图像之间的重叠的像素行或像素列输出的图像信号，所述重叠的像素行或像素列的宽度大于或等于所述卷积神经网络运算的深度。
[0019]在一些实施例中，所述人工智能处理模块对所述部分帧图像进行智能图像处理时，所使用的算子为基于图像局部信息的算子。
[0020]在一些实施例中，所述图像信号处理模块和所述人工智能处理模块为不同的硬件结构。
[0021]在一些实施例中，所述人工智能处理模块对所述部分帧图像进行所述智能图像处理所需的时间不长于所述图像信号处理模块生成所述部分帧图像所需的时间。
[0022]本专利技术实施例另一方面提供一种内窥镜系统，其特征在于，包括：
[0023]光源部，用于向待观察部位提供照明光；
[0024]内窥镜，包括能够靠近所述待观察部位的插入部和至少一个图像传感器，所述图像传感器用于采集所述待观察部位的图像信号；
[0025]图像信号处理模块，用于获取所述图像信号，并对所述图像信号进行信号处理，所述图像信号处理模块还用于在通过所述信号处理得到部分帧图像时，实时将所述部分帧图像发送至所述内窥镜系统的人工智能处理模块；
[0026]所述人工智能处理模块，用于对所述部分帧图像进行智能图像处理，以得到部分帧图像处理结果；
[0027]显示器，用于根据至少两个所述部分帧图像处理结果显示内窥镜图像。
[0028]在一些实施例中，所述人工智能处理模块还用于将所述部分帧图像处理结果输出至所述显示器，以使所述显示器根据至少两个所述部分帧图像处理结果显示内窥镜图像；
[0029]或者，所述人工智能处理模块还用于将所述部分帧图像处理结果输出至所述图像信号处理模块，所述图像信号处理模块还用于对所述部分帧图像处理结果进行处理后输出至所述显示器，以使所述显示器根据至少两个所述部分帧图像处理结果显示内窥镜图像。
[0030]在一些实施例中，所述图像信号处理模块以所述图像传感器的像素行或像素列输出的图像信号进行所述信号处理，所述部分帧图像由多个所述像素行或像素列输出的图像信号构成。
[0031]在一些实施例中，所述智能图像处理包括对所述部分帧图像进行卷积神经网络运算，以得到部分帧卷积神经网络运算结果；所述部分帧图像处理结果包括所述部分帧卷积神经网络运算结果。
[0032]在一些实施例中，所述人工智能处理模块还用于将所述部分帧卷积神经网络运算结果返回至所述图像信号处理模块，所述图像信号处理模块还用于在所述部分帧卷积神经
网络运算结果中，去除由冗余数据产生的冗余运算结果；
[0033]或者，所述内窥镜系统还包括控制模块，所述控制模块还用于在控制所述人工智能处理模块输出所述部分帧卷积运算结果的过程中，去除所述部分帧卷积运算结果中由冗余数据产生的冗余运算结果。
[0034]在一些实施例中，所述冗余数据为相邻两个所述部分帧图像之间的重叠数据。
[0035]在一些实施例中，所述冗余数据为相邻两个所述部分帧图像之间的重叠的像素行或像素列输出的图像信号，所述重叠的像素行或像素列的宽度大于或等于所述卷积神经网络运算的深度。
[0036]在一些实施例中，所述人工智能处理模块对所述部分帧图像进行智能图像处理时，所使用的算子为基于图像局部信息的算子。
[0037]在一些实施例中，所述图像信号处理模块和所述人工智能处理模块为不同的硬件结构。
[0038]在一些实施例中，所述人工智能处理模块对所述部分帧图像进行所述智能图像处理所需的时间不长于所述图像信号处理模块生成所述部分帧图像所需的时间。
[0039]根据本专利技术实施例的内窥镜成像方法和内窥镜系统针对异构平台中数据在图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜成像方法，其特征在于，所述方法包括：通过内窥镜系统的图像传感器采集待观察部位的图像信号；将所述图像信号发送至所述内窥镜系统的图像信号处理模块，通过所述图像信号处理模块对所述图像信号进行信号处理；当所述信号处理得到部分帧图像时，实时将所述部分帧图像发送至所述内窥镜系统的人工智能处理模块，通过所述人工智能处理模块对所述部分帧图像进行智能图像处理，以得到部分帧图像处理结果；根据至少两个所述部分帧图像处理结果显示内窥镜图像。2.如权利要求1所述的方法，其特征在于，所述根据至少两个所述部分帧图像处理结果显示内窥镜图像，包括：所述人工智能处理模块将所述部分帧图像处理结果返回至所述图像信号处理模块，所述图像信号处理模块对所述部分帧图像处理结果进行处理后输出至显示器，以使所述显示器根据至少两个所述部分帧图像处理结果显示内窥镜图像；或者，所述人工智能处理模块将所述部分帧图像处理结果输出至显示器，以使所述显示器根据至少两个所述部分帧图像处理结果显示内窥镜图像。3.如权利要求1所述的方法，其特征在于，所述图像信号处理模块以所述图像传感器的像素行或像素列输出的图像信号进行所述信号处理，所述部分帧图像由多个所述像素行或像素列输出的图像信号构成。4.如权利要求1所述的方法，其特征在于，所述智能图像处理包括对所述部分帧图像进行卷积神经网络运算，以得到部分帧卷积神经网络运算结果，所述部分帧图像处理结果包括所述部分帧卷积神经网络运算结果。5.如权利要求4所述的方法，其特征在于，所述方法还包括：在所述部分帧卷积神经网络运算结果中，去除由冗余数据产生的冗余运算结果。6.如权利要求5所述的方法，其特征在于，所述冗余数据为相邻两个所述部分帧图像之间的重叠数据。7.如权利要求6所述的方法，其特征在于，所述冗余数据为相邻两个所述部分帧图像之间的重叠的像素行或像素列输出的图像信号，所述重叠的像素行或像素列的宽度大于或等于所述卷积神经网络运算的深度。8.如权利要求1所述的方法，其特征在于，所述人工智能处理模块对所述部分帧图像进行智能图像处理时，所使用的算子为基于图像局部信息的算子。9.如权利要求1所述的方法，其特征在于，所述图像信号处理模块和所述人工智能处理模块为不同的硬件结构。10.如权利要求1所述的方法，其特征在于，所述人工智能处理模块对所述部分帧图像进行所述智能图像处理所需的时间不长于所述图像信号处理模块生成所述部分帧图像所需的时间。11.一种内窥镜系统，其特征在于，包括：光源部，用于向待观察部位提供照明光；内窥镜，包括能够靠近所述待观察部位的插入部和至少一个图像传感器，所述图像传感器用于采集所述待观察部位的图像信号；
图像信号处理模块，用...

【专利技术属性】
技术研发人员：李惠川，吴晓华，
申请(专利权)人：深圳迈瑞生物医疗电子股份有限公司，
类型：发明
国别省市：