内窥镜的图像处理方法、装置、存储介质制造方法及图纸

本发明专利技术公开了内窥镜的图像处理方法，包括：获取手术机器人的操作臂的运动信息以及内窥镜的参数信息，计算得到第一虚拟投影图像，进行图像块划分得到多个第一图像块，并确定对应的第一属性；获取图像帧序列进行图像块划分，得到与第一图像块对应的第二图像块以及第二属性；对第二属性为移动状态的第二图像块进行二次划分，得到第三图像块；获取第二图像块和第三图像块的特征值和图像信息，并确定第三图像块的第三属性；根据第二属性和第三属性分别确定未经二次划分的第二图像块和第三图像块在每一帧图像中的加权参数组；根据加权参数组和图像信息，加权平均并合成目标图像帧。本发明专利技术还公开了装置及介质。本发明专利技术可以防止图像产生拖尾的现象。

【技术实现步骤摘要】
内窥镜的图像处理方法、装置、存储介质
本专利技术涉及图像处理
，尤其涉及一种内窥镜的图像处理方法、图像处理装置以及计算机可读存储介质。
技术介绍
内窥镜广泛应用于医疗领域和工业领域。例如，在医疗领域的内窥镜系统中，医生通过内窥镜获取的图像对患者进行内窥镜检查或实施微创手术。在工业领域的内窥镜系统中，观测者通过内窥镜获取的图像，检查各种机器、设备等的内部，而不需要拆卸或破坏被检测物体。内窥镜中使用的图像传感器，由于受各种环境限制以及严格的温度要求，会造成原始图像的信噪比过低。为了解决此问题，现有方案通常采用滤波器对图像进行滤波，但由于噪点在图像中是随机分布的，因此，在对多帧图像进行加权平均时，虽会降低噪点，但当图像中存在移动速度较快的运动物体，则会导致图像产生严重的拖尾现象。
技术实现思路
本专利技术的主要目的在于提供一种内窥镜的图像处理方法、图像处理装置以及计算机可读存储介质，旨在解决现有内窥镜获取的图像中存在移动速度较快的运动物体时，导致图像产生严重拖尾现象的技术问题。为实现上述目的，本专利技术提供一种内窥镜的图像处理方法，所述内窥镜的图像处理方法包括：获取手术机器人的操作臂的运动信息以及所述手术机器人的内窥镜的参数信息；根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的第一虚拟投影图像，所述第一虚拟投影图像包括所述操作臂的投影图像；对所述第一虚拟投影图像进行划分，得到多个第一图像块，并根据所述运动信息确定所述多个第一图像块的第一属性；读取所述内窥镜获取的包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个与所述第一图像块对应的第二图像块，并将所述第一图像块与所述第二图像块进行匹配，得到每一帧图像中所述多个第二图像块与所述第一属性对应的第二属性；对所述第二属性为移动状态的第二图像块进行二次划分，得到多个第三图像块；获取所述每一帧图像的每一第二图像块和每一第三图像块的特征值和图像信息，并根据每一第三图像块的特征值确定每一第三图像块的第三属性；根据所述第二属性和所述第三属性分别确定未经二次划分的每一第二图像块和每一第三图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到对应所述同一位置的目标图像块的目标图像信息；将所述多个图像块的目标图像信息合成目标图像帧。优选地，所述内窥镜的图像处理方法还包括：在得到所述操作臂的投影图像时，对所述操作臂的投影图像进行预设比例的扩大，得到包含扩大后的所述操作臂的投影图像的所述第一虚拟投影图像。优选地，所述对所述投影图像进行预设比例的扩大的步骤包括：获取所述操作臂的投影图像的多个关节特征点，以各个所述关节特征点为原点、以各自对应的预设半径作圆得到多个特征圆，并获取相邻两个特征圆的公切线，将多个所述公切线连接得到扩大后的所述操作臂的投影图像。优选地，所述获取手术机器人的操作臂的运动信息的步骤包括：获取所述操作臂的运动传感器信息，根据所述运动传感器信息得到所述操作臂的运动状态、运动速度、运动加速度和位置信息；获取所述手术机器人的基坐标系，并根据所述位置信息构建所述操作臂相对所述基坐标系的第一运动方程，以及所述内窥镜相对所述基坐标系的第二运动方程；根据所述第一运动方程和所述第二运动方程计算所述操作臂相对所述内窥镜的位姿信息。优选地，所述根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的第一虚拟投影图像的步骤包括：根据所述内窥镜的参数信息构建内窥镜投影模型，得到所述内窥镜的虚拟投影平面；根据所述操作臂的运动信息和所述内窥镜投影模型，得到所述操作臂相对所述虚拟投影平面的可见区域和不可见区域；将所述可见区域投影至所述虚拟投影平面，得到包含所述可见区域的所述第一虚拟投影图像。优选地，所述根据所述第二属性和所述第三属性分别确定未经二次划分的每一第二图像块和每一第三图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组的步骤包括：根据所述多个第二图像块的特征值确定所述图像帧序列中每一帧图像的所述第二图像块的第二属性；赋予所述第三属性为静止状态的所述第三图像块，在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块加权参数得到加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n，Kn(M，N)表示所述第三图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]；赋予所述第三属性为静止状态的所述第三图像块，在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块加权参数得到加权参数组{K’1(M’，N’),K’2(M’，N’)，……，K’n(M’，N’)}，其中，K’1(M’，N’)＝K’2(M’，N’)＝……K’(n-1)(M，N)＝K’n(M，N)＝1/n，K’n(M’，N’)表示所述第三图像块(M’，N’)在第n帧图像中的加权参数，K’n(M’，N’)∈[0，1]；赋予所述第二属性为移动状态的所述第二图像块，在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块加权参数得到加权参数组{K’1(M，N),K’2(M，N)，……，K’n(M，N)}，其中，K’1(M，N)＜K’2(M，N)＜……＜K’n(M，N)，或K’1(M，N)＝K’2(M，N)＝……＝K’(n-1)(M，N)＜K’n(M，N)，K’n(M，N)表示所述第二图像块(M’，N’)在第n帧图像中的加权参数，K’n(M，N)∈[0，1]。优选地，所述K’1(M，N)＝K’2(M，N)＝……＝K’(n-1)(M，N)＜K’n(M，N)中，所述K’1(M，N)＝K’2(M，N)＝……＝K2(n-1)(M，N)＝0，Kn(M，N)＝1。优选地，所述参数信息包括所述内窥镜的视场角、焦距以及偏移量中的至少一种。优选地，所述运动信息包括运动状态、运动速度、运动加速度、位姿信息中的至少一种。优选地，所述根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到对应所述同一位置的目标图像块的目标图像信息的步骤包括：根据所述加权参数组与位于同一位置的未经二次划分的第二图像块和位于同一位置的所述多个第三图像块的图像信息，计算所述同一位置的图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积；将所述每一图像块的所述乘积相加，得到所述多个图像块的目标图像信息。为实现上述目的，本专利技术还提供一种图像处理装置，所述图像处理装置包本文档来自技高网...

【技术保护点】
1.一种内窥镜的图像处理方法，其特征在于，所述内窥镜的图像处理方法包括：/n获取手术机器人的操作臂的运动信息以及所述手术机器人的内窥镜的参数信息；/n根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的第一虚拟投影图像，所述第一虚拟投影图像包括所述操作臂的投影图像；/n对所述第一虚拟投影图像进行划分，得到多个第一图像块，并根据所述运动信息确定所述多个第一图像块的第一属性；/n读取所述内窥镜获取的包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个与所述第一图像块对应的第二图像块，并将所述第一图像块与所述第二图像块进行匹配，得到每一帧图像中所述多个第二图像块与所述第一属性对应的第二属性；/n对所述第二属性为移动状态的第二图像块进行二次划分，得到多个第三图像块；/n获取所述每一帧图像的每一第二图像块和每一第三图像块的特征值和图像信息，并根据每一第三图像块的特征值确定每一第三图像块的第三属性；/n根据所述第二属性和所述第三属性分别确定未经二次划分的每一第二图像块和每一第三图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；/n根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到对应所述同一位置的目标图像块的目标图像信息；/n将所述多个图像块的目标图像信息合成目标图像帧。/n...

【技术特征摘要】
1.一种内窥镜的图像处理方法，其特征在于，所述内窥镜的图像处理方法包括：
获取手术机器人的操作臂的运动信息以及所述手术机器人的内窥镜的参数信息；
根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的第一虚拟投影图像，所述第一虚拟投影图像包括所述操作臂的投影图像；
对所述第一虚拟投影图像进行划分，得到多个第一图像块，并根据所述运动信息确定所述多个第一图像块的第一属性；
读取所述内窥镜获取的包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个与所述第一图像块对应的第二图像块，并将所述第一图像块与所述第二图像块进行匹配，得到每一帧图像中所述多个第二图像块与所述第一属性对应的第二属性；
对所述第二属性为移动状态的第二图像块进行二次划分，得到多个第三图像块；
获取所述每一帧图像的每一第二图像块和每一第三图像块的特征值和图像信息，并根据每一第三图像块的特征值确定每一第三图像块的第三属性；
根据所述第二属性和所述第三属性分别确定未经二次划分的每一第二图像块和每一第三图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到对应所述同一位置的目标图像块的目标图像信息；
将所述多个图像块的目标图像信息合成目标图像帧。


2.如权利要求1所述的内窥镜的图像处理方法，其特征在于，所述内窥镜的图像处理方法还包括：
在得到所述操作臂的投影图像时，对所述操作臂的投影图像进行预设比例的扩大，得到包含扩大后的所述操作臂的投影图像的所述第一虚拟投影图像。


3.如权利要求2所述的内窥镜的图像处理方法，其特征在于，所述对所述投影图像进行预设比例的扩大的步骤包括：
获取所述操作臂的投影图像的多个关节特征点，以各个所述关节特征点为原点、以各自对应的预设半径作圆得到多个特征圆，并获取相邻两个特征圆的公切线，将多个所述公切线连接得到扩大后的所述操作臂的投影图像。


4.如权利要求1所述的内窥镜的图像处理方法，其特征在于，所述获取手术机器人的操作臂的运动信息的步骤包括：
获取所述操作臂的运动传感器信息，根据所述运动传感器信息得到所述操作臂的运动状态、运动速度、运动加速度和位置信息；
获取所述手术机器人的基坐标系，并根据所述位置信息构建所述操作臂相对所述基坐标系的第一运动方程，以及所述内窥镜相对所述基坐标系的第二运动方程；
根据所述第一运动方程和所述第二运动方程计算所述操作臂相对所述内窥镜的位姿信息。


5.如权利要求1所述的内窥镜的图像处理方法，其特征在于，所述根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的第一虚拟投影图像的步骤包括：
根据所述内窥镜的参数信息构建内窥镜投影模型，得到所述内窥镜的虚拟投影平面；
根据所述操作臂的运动信息和所述内窥镜投影模型，得到所述操作臂相对所述虚...

【专利技术属性】
技术研发人员：高元倩，王建辰，姜佑其，
申请(专利权)人：深圳市精锋医疗科技有限公司，
类型：发明
国别省市：广东;44