基于多模态数据融合的胶囊内镜路径预测方法和装置制造方法及图纸

本发明专利技术提供一种基于多模态数据融合的胶囊内镜路径预测方法和装置，属于医疗设备技术领域，其中方法包括：通过多个惯性测量单元IMU在当前时间段内采集患者的体位时序数据，通过胶囊内镜在当前时间段内采集患者的消化道的时序图像数据；对体位时序数据和时序图像数据进行预处理，得到预处理后的体位时序数据和预处理后的时序图像数据；将预处理后的体位时序数据和预处理后的时序图像数据输入至预先训练的预测模型，得到预测模型输出的胶囊内镜的路径预测结果和患者的体位调整提示。本发明专利技术提高了胶囊内镜路径预测的准确性，能够有效地避免漏检。

【技术实现步骤摘要】

本专利技术涉及医疗设备，尤其涉及一种基于多模态数据融合的胶囊内镜路径预测方法和装置。

技术介绍

1、目前，胶囊内镜技术广泛应用于消化道检查，无动力胶囊内镜通过消化道的自然蠕动和重力作用来推动胶囊前进。然而，由于无动力胶囊内镜在路径上的不可控性，对于部分区域，尤其是复杂的胃部区域，存在较高的漏检风险，如何对胶囊内镜的路径进行准确地预测，是亟待解决的关键问题。目前，现有技术依赖单一的数据源对胶囊内镜的路径进行预测，影响路径预测的准确性，容易造成漏检的风险。

技术实现思路

1、本专利技术提供一种基于多模态数据融合的胶囊内镜路径预测方法和装置，用以解决现有技术中依赖单一的数据源对胶囊内镜的路径进行预测，影响路径预测的准确性，容易造成漏检的风险的缺陷。

2、本专利技术提供一种基于多模态数据融合的胶囊内镜路径预测方法，包括：

3、通过多个惯性测量单元imu在当前时间段内采集患者的体位时序数据，通过胶囊内镜在当前时间段内采集所述患者的消化道的时序图像数据；

4、对所述体位时序数据和所述时本文档来自技高网...

【技术保护点】

1.一种基于多模态数据融合的胶囊内镜路径预测方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态数据融合的胶囊内镜路径预测方法，其特征在于，所述预测模型包括体位特征提取层、图像特征提取层、特征融合层和输出层；

3.根据权利要求2所述的基于多模态数据融合的胶囊内镜路径预测方法，其特征在于，所述体位特征提取层包括基于多头自注意力机制的Transformer层，所述图像特征提取层包括轻量化的卷积神经网络CNN层，所述图像特征包括所述预处理后的时序图像数据的精细化的区域分类结果。

4.根据权利要求1所述的基于多模态数据融合的胶囊内镜路径预测方法，其特征...

【技术特征摘要】

1.一种基于多模态数据融合的胶囊内镜路径预测方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态数据融合的胶囊内镜路径预测方法，其特征在于，所述预测模型包括体位特征提取层、图像特征提取层、特征融合层和输出层；

3.根据权利要求2所述的基于多模态数据融合的胶囊内镜路径预测方法，其特征在于，所述体位特征提取层包括基于多头自注意力机制的transformer层，所述图像特征提取层包括轻量化的卷积神经网络cnn层，所述图像特征包括所述预处理后的时序图像数据的精细化的区域分类结果。

4.根据权利要求1所述的基于多模态数据融合的胶囊内镜路径预测方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的基于多模态数据融合的胶囊内镜路径预测方法，其特征在于，所述在所述患者进行体...

【专利技术属性】
技术研发人员：王羽嗣，周可，王云忠，刘思德，
申请(专利权)人：广州思德医疗科技有限公司，
类型：发明
国别省市：