当前位置: 首页 > 专利查询>中北大学专利>正文

一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法技术

技术编号:46630746 阅读:0 留言:0更新日期:2025-10-14 21:29
本发明专利技术涉及计算机视觉与医疗影像处理技术领域,具体是一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其包括以下步骤:输入时序相邻的两帧肠道胶囊机器人的肠镜图像,通过共享参数的双路深度图生成网络分别提取前后两帧肠镜图像的图像特征,并基于图像特征融合视频理解大模型生成的文本语义特征,生成对应的深度图;利用位姿估计网络解算胶囊机器人的六自由度位姿参数;通过非刚性形变场预测网络预测非刚性形变场;通过图像合成模块重构与真实前一帧肠镜图像对齐的合成图像;完成自监督训练;解决了现有肠道胶囊机器人定位技术在动态肠道环境中存在的非刚性形变场建模能力不足,无法有效区分机器人整体位姿与组织局部形变的问题。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与医疗影像处理,具体是一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法


技术介绍

1、现有肠道胶囊机器人定位技术主要基于单目视觉里程计框架,通过相邻图像帧间的运动估计与深度信息融合实现位姿推算。该技术利用图像序列的几何特征匹配及运动解算,为肠道胶囊机器人实时定位与病灶追踪提供基础支持,成为替代传统侵入式肠镜的重要技术方案。

2、然而,现有肠道胶囊机器人定位技术在动态肠道环境中存在显著缺陷:首先,由于肠道组织受蠕动等因素影响持续发生局部非刚性形变,现有技术缺乏有效的非刚性形变场建模能力,无法准确区分胶囊机器人的整体位姿变化与肠道组织的的局部形变;其次,现有技术过度依赖低层次几何特征,缺乏对肠道动态场景的语义级理解,如蠕动方向和形变强度等关键信息,导致位姿估计误差累积,严重影响定位精度与病灶检测可靠性。

3、因此有必要专利技术一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法来解决上述问题。


技术实现思路

1、本专利技术为了解决现有肠道胶囊机器人定位技术在动态肠本文档来自技高网...

【技术保护点】

1.一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述深度图生成网络包括:

3.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述位姿估计网络包括:

4.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述非刚性形变场预测网络通过编码-解码架构实现,包括:

5.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述...

【技术特征摘要】

1.一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述深度图生成网络包括:

3.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述位姿估计网络包括:

4.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述非刚性形变场预测网络通过编码-解码架构实现,包括:

5.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述通过图像合成模块重构与真实前一帧肠镜图像对齐的合成图像具体通过以下步骤实现:

6.根据权利要求1所述的一种基于视频理解大模型的肠道内鲁棒单目位姿估计方法,其特征在于:所述像素级比对损失的函数定义为合成图像与真实...

【专利技术属性】
技术研发人员:李秀源朱忠诺高晋阳单彦虎郭肖亭
申请(专利权)人:中北大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1