【技术实现步骤摘要】
本专利技术属于医疗机器人，具体涉及一种人机共享控制的气管镜机器人安全插管系统。
技术介绍
1、肺部疾病，如肺癌、慢性阻塞性肺疾病和肺炎，是全球卫生负担的重要组成部分。早期检测和干预对减轻这些疾病的影响、降低发病率并改善患者预后至关重要。气管镜检查作为一种微创诊断和治疗方法，在检测、治疗和管理各种肺部疾病方面已经成为一种重要工具。在气管镜检查过程中，应柔和地插入和操作气管镜，避免突然或过度的运动，以免对气道结构造成不适或损伤。此外，在气管镜检查过程中保持中央位置可以更好地观察气道解剖结构并有助于防止气道黏膜或其他结构的损伤。在穿越狭窄或曲折的气道、狭窄部位或有肿块的区域时，这一点尤为重要。然而，这个过程需要高水平的技能和经验，导致专家和新手医生所提供护理质量存在显著差异。在欠发达地区，气管镜手术的开展主要受限于对更有经验的医生的需求，这阻碍了弱势人群获得良好的健康保障。气管镜手术需要专门的培训和专业知识，进一步加剧了这个问题，因为欠发达地区的卫生保健系统需要额外支持这些技能的发展和维持。因此，这种差距阻碍了在贫困地区建立和扩大气管镜检查服务的进程，从而加剧了医疗资源不平衡的问题。
2、将兼具精确性和灵巧性的机器人系统与专家医生的指导相结合的创新方法可以有助于解决这些临床和技术挑战。近年来，在支气管镜检查领域，机器人平台和设备的发展取得了显著进展，例如monarch平台和ion内腔系统。monarch平台配备了一个直径为4.2毫米的内部支气管镜导管和一个外径为6毫米的护套。它的精细操纵控制和灵活性使其在深入肺部的外围区域
3、目前，人工智能技术在支气管镜检查中的应用进一步拓展了这一新兴领域的前景。通过利用机器学习和计算机视觉技术等先进算法，研究人员正在开发基于图像导航的系统，处理和解释支气管镜图像，实现实时定位、跟踪和术中路径规划，从而实现精确的支气管镜导航。这些软件系统提高了气管镜手术的准确性和效率。此外，通过在整个手术过程中提供自动化的连续干预，图像导航系统可以减轻操作医生的认知负荷，使医生能够专注于手术的其他关键方面。然而，这些系统在支气管镜检查过程中存在安全问题，因为它们依赖于术前ct的支气管镜定位，可能导致配准错误和机器人操作的不安全，原因是视野有限和体内ct之间的视觉差异。人们对并发症风险，如气胸和出血，提出了担忧，强调了对这些平台的持续研究和优化的需求。
技术实现思路
1、针对现有气管镜机器人无法保证插管安全性以及学习曲线陡峭的问题，本专利技术提供了一种人机共享控制的气管镜机器人安全插管系统，包括带有控制器的气管镜机器人、决策模块；
2、所述气管镜机器人用于通过气管镜对气管进行成像生成气管镜图像；
3、所述决策模块用于基于决策网络根据气管镜图像和离散的人类指令预测与人类指令对应的转向动作；
4、所述控制器用于将转向动作转换为控制偏转的肌腱位移，依据肌腱位移控制气管镜维持在气管的中央进行成像。
5、优选地，所述决策网络包括特征提取器和动作头网络，其中特征提取器用于对气管镜图像进行特征提取得到图像特征，动作头网络包括n个动作头分支，每个动作头分支对应一个人类指令，用于根据输入人类指令，开启与输入人类指令对应的动作头分支，并利用开启的动作头分支依据图像特征进行动作预测输出转向动作。
6、优选地，所述决策网络还包括深度解码器，深度解码器用于依据图像特征估计深度，估计的深度用于识别三维气管结构。
7、优选地，所述决策网络被引用之前需要经过参数优化，包括以下步骤：
8、准备第一样本数据，每个第一样本包括基于虚拟支气管环境生成的气管镜图像、人类指令、真值转向动作、以及真值深度；
9、将每个样本输入至策略网络中，依据转向动作预测任务的动作损失优化策略网络参数，或者依据转向动作预测任务的动作损失以及深度估计任务的深度损失联合优化策略网络参数；
10、其中，动作损失为预测的转向动作与真值转向动作之间的差异损失，深度损失为估计深度与真值深度之间的差异损失。
11、优选地，所述动作损失采用l2损失，表示为：
12、
13、其中，ai表示依据输入的气管镜图像和人类指令预测的转向动作，表示转向动作真值，i表示样本搜索引，n表示样本数量，符号表示l2范数平方，表示ai与之间的动作损失；
14、深度损失也采用l2损失，表示为：
15、
16、其中，m表示每个深度的像素数，j表示像素索引，dij表示依据输入的气管镜图像生成的估计深度，表示真值深度，表示估计深度d和真值深度d*之间的深度损失。
17、优选地，所述基于虚拟支气管环境生成的气管镜图像、人类指令、真值转向动作、以及真值深度，包括：
18、基于气管的ct图像进行图像分割并重建生成气道模型；
19、对气道模型进行渲染生成气管的仿真图像和渲染深度，渲染深度作为真值深度，利用域适应模型依据仿真图像生成配对的真实风格图像，其中仿真图像和真实风格图像统称为气管镜图像，在对策略网络参数优化时按照比例输入策略网络；
20、从气道模型中提取中心线，引入人工专家智能体依据中心线和气管镜图像中的仿真图像或真实风格图像生成人类指令和真值转向动作。
21、优选地，所述基于气管的ct图像进行图像分割并重建生成气道模型，包括：
22、首先对气管的ct图像进行图像分割，并对分割气道的冠状面、轴向以及矢状面进行膨胀，随后从膨胀后的三维掩模中减去原始气道掩模，得到空心支气管掩模，最后使用空心支气管掩模进行表面重建，生成空心的气道模型。
23、优选地，所述域适应模型通过以下方式构建得到：
24、准备第二样本数据，每个第二样本数据包括对气道模型渲染生成的仿真图像和渲染深度，从历史临床气管镜视频中截取的非配对真实气管镜图像；
25、构建域适应学习系统，包括生成器、深度估计器以及判别器，其中生成器用于依据仿真图像生成配对的真实风格图像，深度估计器用于基于真实风格图像生成另一估计深度，判别器用于区别判断真实风格图像与真实气管镜图像；
26、构建学习损失，包括由生成器和判别器组成对抗网络的对抗损失，基于另一估计深度与渲染本文档来自技高网...
【技术保护点】
1.一种人机共享控制的气管镜机器人安全插管系统，其特征在于，包括带有控制器的气管镜机器人、决策模块；
2.根据权利要求1所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述决策网络包括特征提取器和动作头网络，其中特征提取器用于对气管镜图像进行特征提取得到图像特征，动作头网络包括N个动作头分支，每个动作头分支对应一个人类指令，用于根据输入人类指令，开启与输入人类指令对应的动作头分支，并利用开启的动作头分支依据图像特征进行动作预测输出转向动作。
3.根据权利要求2所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述决策网络还包括深度解码器，深度解码器用于依据图像特征估计深度，估计的深度用于识别三维气管结构。
4.根据权利要求2或3所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述决策网络被引用之前需要经过参数优化，包括以下步骤：
5.根据权利要求4所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述动作损失采用L2损失，表示为：
6.根据权利要求4所述的人机共享控制的气管镜机器人安全
7.根据权利要求6所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述基于气管的CT图像进行图像分割并重建生成气道模型，包括：
8.根据权利要求6所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述域适应模型通过以下方式构建得到：
9.根据权利要求6所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述引入人工专家智能体依据中心线和气管镜图像中的仿真图像或真实风格图像生成人类指令和真值转向动作，包括：
10.根据权利要求4所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，对决策网络参数优化时，采用预随机化方式增强样本多样性，包括：
...【技术特征摘要】
1.一种人机共享控制的气管镜机器人安全插管系统，其特征在于，包括带有控制器的气管镜机器人、决策模块；
2.根据权利要求1所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述决策网络包括特征提取器和动作头网络，其中特征提取器用于对气管镜图像进行特征提取得到图像特征，动作头网络包括n个动作头分支，每个动作头分支对应一个人类指令，用于根据输入人类指令，开启与输入人类指令对应的动作头分支，并利用开启的动作头分支依据图像特征进行动作预测输出转向动作。
3.根据权利要求2所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述决策网络还包括深度解码器，深度解码器用于依据图像特征估计深度，估计的深度用于识别三维气管结构。
4.根据权利要求2或3所述的人机共享控制的气管镜机器人安全插管系统，其特征在于，所述决策网络被引用之前需要经过参数优化，包括以下步骤：
5.根据权利要求4所述的人机共享控制的气管镜机...
【专利技术属性】
技术研发人员：王越，刘立陆，张敬禹，陆豪健，熊蓉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。