【技术实现步骤摘要】
本专利技术涉及一种术中内窥镜绝对与相对位姿计算的方法、装置及设备，属于机器视觉与计算机视觉。
技术介绍
1、随着机器人技术的快速发展,将机器人技术与微创手术结合的机器人辅助微创手术(robot-assisted minimal invasive surgery，简称为“rmis”)技术获得了广泛应用。rmis是指利用机器人、内窥镜以及计算机等设备所进行的一种手术，具有创伤小、疼痛轻、恢复快等优势。
2、在rmis此类手术中内窥镜要插入患者体内，操作过程中的血渍飞溅等通常会引起内窥镜镜头区域部分或者全部被遮挡，导致内窥镜所拍摄的图像不清晰。在上述情形下，内窥镜需要立刻抽离手术机器人进行镜头清洁后重新插入患者体内，导致内窥镜坐标系与夹持内窥镜的机器人坐标系的相对位置与姿态（简称为“位姿”）关系产生改变并成为了“未知量”。从安全性角度出发，为了重新精确获得上述位姿关系，一个至关重要的环节是术中内窥镜相对位姿的确定，即确定内窥镜坐标系在夹持内窥镜机械臂的相邻两次运动中的相对旋转与平移矩阵。在工业机器应用场景中，常借助于空间标记物（如棋盘格标定板）等来辅助实现这一目的。
3、然而，在rmis场景中，由于手术的无菌环境要求以及患者狭小体内空间限制，通常无法放置上述标记物，导致rmis场景中的内窥镜位姿确定具有一定的挑战性，因此，需要一种能够有效获取术中内窥镜绝对与相对位姿的技术措施。
技术实现思路
1、为了解决上述问题，本专利技术提出了一种术中内窥镜绝对与相对位姿计算的
2、本专利技术解决其技术问题采取的技术方案是：
3、第一方面，本专利技术实施例提供的一种术中内窥镜绝对与相对位姿计算的方法，包括以下步骤：
4、采集虚拟相机模拟内窥镜动作时数据，构建rmis场景下的虚拟数据集；
5、基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿，采集模拟手术操作带动内窥镜进行运动时的数据，构建rmis场景下的真实世界-模拟数据集；
6、对所述的虚拟数据集和真实世界-模拟数据集进行数据预处理，将预处理后的虚拟数据集划分为第一训练集和第一测试集，将预处理后的真实世界-模拟数据集划分为第二训练集和第二测试集；
7、基于编码器-解码器架构建立单编码器-双解码器的内窥镜位姿估计模型，所述内窥镜位姿估计模型包括编码器、特征跳跃连接器、语义分割解码器和位姿估计解码器；所述编码器用于提取rmis过程中图像数据的各级特征图，所述各级特征图包含图像的不同抽象级别信息；所述特征跳跃连接器用于将编码器所提取的各级特征图送入语义分割解码器；所述语义分割解码器用于学习从特征图中恢复图像细节的能力并为位姿估计解码器提供隐式几何约束；所述位姿估计解码器用于从特征图中回归分析内窥镜的绝对位姿并输出rmis过程中图像对应的内窥镜绝对位姿；
8、采用预处理后的虚拟数据集和真实世界-模拟数据集对所述内窥镜位姿估计模型进行训练和评估，得到训练后的内窥镜位姿估计模型；
9、实时采集rmis过程中内窥镜系统捕获的患者体内图像数据，并输入至训练后的内窥镜位姿估计模型，获得rmis过程中实时图像对应的内窥镜绝对位姿数据；
10、基于rmis过程中实时图像对应的内窥镜绝对位姿数据，计算rmis过程中内窥镜的实时相对位姿。
11、作为本实施例一种可能的实现方式，所述采集虚拟相机模拟内窥镜动作时数据，构建rmis场景下的虚拟数据集，包括：
12、将手术机器人手术器械以及不同生物组织背景的三维模型导入至三维渲染软件中，设置一虚拟相机模拟内窥镜并令其按预设好的轨迹移动且对准手术器械三维模型；
13、按一定帧率持续渲染生成虚拟相机视野下的手术器械及生物组织背景图像，同时采集各帧图像相对应的手术器械分割掩码及虚拟内窥镜绝对位姿标注，形成虚拟数据集。
14、作为本实施例一种可能的实现方式，所述基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿，采集模拟手术操作带动内窥镜进行运动时的数据，构建rmis场景下的真实世界-模拟数据集，包括：
15、在实际手术场景外，将能自动记录本身坐标系相对于世界坐标系位姿的外部传感器固连在内窥镜上，通过外部标定技术，获取固连状态下内窥镜坐标系相对于传感器坐标系的位姿；
16、使用机器人机械臂夹持内窥镜及与内窥镜所固连的传感器，通过模拟手术操作带动内窥镜进行运动，并记录内窥镜采集的rmis现场图像数据与传感器坐标系相对于世界坐标系的位姿数据，利用外部标定得到的固连状态下内窥镜坐标系相对于传感器坐标系的位姿计算得到内窥镜坐标系相对于世界坐标系的位姿；
17、使用标注工具对每张现场图像数据标注出手术器械分割掩码，并将各张现场图像数据与相应的内窥镜坐标系相对于世界坐标系的位姿以及手术器械分割掩码进行合并，构建真实世界-模拟数据集。
18、作为本实施例一种可能的实现方式，所述对所述的虚拟数据集和真实世界-模拟数据集进行数据预处理，将预处理后的虚拟数据集划分为第一训练集和第一测试集，将预处理后的真实世界-模拟数据集划分为第二训练集和第二测试集，包括：
19、首先对虚拟数据集中的数据进行调整图像尺寸和图像归一化处理，然后将虚拟数据集中所有图像样本所对应的虚拟内窥镜位姿标注转换为对偶四元数形式，最后将虚拟数据集划分为第一训练集和第一测试集，所述虚拟数据集中的每个图像都至少对应含有手术器械分割掩码以及拍摄此图像的虚拟内窥镜的坐标系相对于世界坐标系的对偶四元数参数化的位姿真值标注；
20、首先对真实世界-模拟数据集中的数据进行调整图像尺寸和图像归一化处理，然后将所有图像样本所对应的内窥镜位姿标注转换为对偶四元数形式，最后将真实世界-模拟数据集划分为第二训练集和第二测试集，所述真实世界-模拟数据集中的每个图像都至少对应含有手术器械分割掩码以及拍摄此图像的内窥镜的坐标系相对于世界坐标系的使用对偶四元数参数化的位姿真值标注。
21、作为本实施例一种可能的实现方式，所述基于编码器-解码器架构建立单编码器-双解码器的内窥镜位姿估计模型，包括：
22、获取编码器（特征提取网络）的初始模型参数并加载至编码器，并去除编码器的全连接分类层，使之成为一个全卷积网络；
23、将选定数据集的训练集中的若干个图像输入编码器；
24、依据全卷积网络各卷积块的输出尺寸将所有卷积层划分为若干层级，对训练图像进行编码操作，得到各训练图像在各层级卷积层的第一特征图；
25、根据选用的编码器所划分出的层级数，设置数量相同、输出尺寸与编码器各层级一一对应的级联子解码器，由所有子解码器及预测模块构成语义分割解码器，语义分割解码器的最后一级子解码器块的输出尺寸与原始训练图像尺寸相同；
<本文档来自技高网...【技术保护点】
1.一种术中内窥镜绝对与相对位姿计算的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述采集虚拟相机模拟内窥镜动作时数据，构建RMIS场景下的虚拟数据集，包括：
3.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿，采集模拟手术操作带动内窥镜进行运动时的数据，构建RMIS场景下的真实世界-模拟数据集，包括：
4.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述对所述的虚拟数据集和真实世界-模拟数据集进行数据预处理，将预处理后的虚拟数据集划分为第一训练集和第一测试集，将预处理后的真实世界-模拟数据集划分为第二训练集和第二测试集，包括：
5.根据权利要求4所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述基于编码器-解码器架构建立单编码器-双解码器的内窥镜位姿估计模型，包括：
6.根据权利要求1-5任意一项所述的术中内窥镜绝对与相对位姿计算的方法，其特
7.根据权利要求6所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述语义分割解码器的损失函数L1为：
8.一种术中内窥镜绝对与相对位姿计算的装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一所述的术中内窥镜绝对与相对位姿计算的方法的步骤。
10.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-7任一所述的术中内窥镜绝对与相对位姿计算的方法的步骤。
...【技术特征摘要】
1.一种术中内窥镜绝对与相对位姿计算的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述采集虚拟相机模拟内窥镜动作时数据，构建rmis场景下的虚拟数据集，包括：
3.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述基于通过外部标定技术获取内窥镜坐标系相对于传感器坐标系的位姿，采集模拟手术操作带动内窥镜进行运动时的数据，构建rmis场景下的真实世界-模拟数据集，包括：
4.根据权利要求1所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述对所述的虚拟数据集和真实世界-模拟数据集进行数据预处理，将预处理后的虚拟数据集划分为第一训练集和第一测试集，将预处理后的真实世界-模拟数据集划分为第二训练集和第二测试集，包括：
5.根据权利要求4所述的术中内窥镜绝对与相对位姿计算的方法，其特征在于，所述基于编码器-解码器架构建立单编码器-双解码器的内窥镜位姿估计模型...
【专利技术属性】
技术研发人员：宋华建，王越，郭明，张安彩，邱建龙，
申请(专利权)人：临沂大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。