基于语音交互和多源信息融合的血管关键点识别方法技术

本发明专利技术涉及血管关键点识别技术领域，提供一种基于语音交互和多源信息融合的血管关键点识别方法，包括：基于交互语音内容得到造影体位嵌入文本和血管关键点名称；将血管造影图像、造影体位嵌入文本和血管关键点名称输入至语音增强的血管关键点识别模型，输出关键点预测分数图；模型包括基于特征的检测模块、基于体位的检测模块和基于关键点的检测模块；基于特征的检测模块提取血管造影图像的第一特征图；基于体位的检测模块提取造影体位嵌入文本的投影特征，基于投影特征和第一特征图得到第二特征图；基于关键点的检测模块提取血管关键点名称的关键点投影特征，基于关键点投影特征和第二特征图得到关键点预测分数图，提高血管关键点识别的准确率。

【技术实现步骤摘要】

本专利技术涉及血管关键点识别，尤其涉及一种基于语音交互和多源信息融合的血管关键点识别方法。

技术介绍

1、血管疾病是全球范围内最常见的疾病之一，其中心脑血管疾病的致死率高居第一。由于其创伤小、预后好等优势，血管内介入手术是目前常用的血管疾病治疗方式。在手术中，医生需要参考x光造影图像进行手术。因此，给医生提供手术目标血管的结构信息将会提高手术的安全性和有效性。血管关键点是血管结构的重要组成部分，基于关键点可以实现对血管的分段提取和分析。

2、现有的医学图像分析算法都只基于图像本身进行分析，但图像这种单一模态的输入能提供的特征有限，且无法实现与临床手术场景的灵活交互，降低了血管关键点识别的准确率。

技术实现思路

1、本专利技术提供一种基于语音交互和多源信息融合的血管关键点识别方法，用以解决现有技术中医学图像分析算法都只基于图像本身进行分析，但图像这种单一模态的输入能提供的特征有限，且无法实现与临床手术场景的灵活交互，降低了血管关键点识别的准确率的缺陷。

2、本专利技术提供一种基于语音交互本文档来自技高网...

【技术保护点】

1.一种基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，包括：

2.根据权利要求1所述的基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，所述语音增强的血管关键点识别模型的训练步骤包括：

3.根据权利要求1所述的基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，所述基于关键点的检测模块包括关键点文本编码器、提示编码器、自注意力投影模块和第一融合模块；

4.根据权利要求3所述的基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，所述提示编码器包括Transformer层和线性层；

5.根据权利要求1至4...

【技术特征摘要】

1.一种基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，包括：

2.根据权利要求1所述的基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，所述语音增强的血管关键点识别模型的训练步骤包括：

3.根据权利要求1所述的基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，所述基于关键点的检测模块包括关键点文本编码器、提示编码器、自注意力投影模块和第一融合模块；

4.根据权利要求3所述的基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，所述提示编码器包括transformer层和线性层；

5.根据权利要求1至4中任一项所述的基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，所述基于特征的检测模块包括图像增强模块和堆叠沙漏网络；

6.根据权利要求1至4中任一项所述的基于语音交互和多...

【专利技术属性】
技术研发人员：刘市祺，马西瑶，韩文正，谢晓亮，周小虎，王鸣，曲新凯，侯增广，关韶峰，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：