药品信息的跨模态检索匹配方法及装置制造方法及图纸

技术编号:45868114 阅读:14 留言:0更新日期:2025-07-19 11:23
本发明专利技术公开了一种药品信息的跨模态检索匹配方法及装置,其中,该方法包括:获取待识别的目标药盒图片;利用多模态药品匹配模型对所述目标药盒图片进行特征提取,得到特征表示;基于所述特征表示,利用所述多模态药品匹配模型进行跨模态匹配,以匹配与所述目标药盒相关的药品信息;其中,所述多模态药品匹配模型是通过以下得到的:基于药品领域的图文对训练集,对预训练后的多模态网络模型进行领域适配训练,得到所述多模态药品匹配模型。本发明专利技术解决了现有技术中药品检索不准确的技术问题。

【技术实现步骤摘要】

本专利技术涉及医疗领域,具体而言,涉及一种药品信息的跨模态检索匹配方法及装置


技术介绍

1、目前市场上的药品信息检索匹配方法仍存在显著不足。首先,文本与图像的匹配精度不足。许多药品信息的检索系统依赖于药品包装上的文字和图像信息,但由于药品包装设计复杂、字体细小,系统难以准确识别和提取关键信息。其次,语音交互功能不够智能化。虽然一些系统支持语音检索功能,但其识别准确率和交互体验较差,尤其是在老年人语音模糊或带有口音的情况下,系统往往无法准确理解用户需求。此外,语音检索结果通常以文本形式呈现,缺乏直观的图像或语音反馈,无法满足老年人对简单、直接信息的需求。

2、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本专利技术实施例提供了一种药品信息的跨模态检索匹配方法及装置,以至少解决现有技术中药品检索不准确的技术问题。

2、根据本专利技术实施例的一个方面,提供了一种基于ai的药品信息的跨模态检索匹配方法,包括,获取待识别的目标药盒图片;利用多模态药品匹配模型对所述目标药盒图片进本文档来自技高网...

【技术保护点】

1.一种基于AI的药品信息的跨模态检索匹配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述图文对训练集是通过以下得到的:

3.根据权利要求2所述的方法,其特征在于,基于图文对训练集,对多模态网络模型进行药品领域预训练,得到所述多模态药品匹配模型,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述图文对训练集,对预训练后的所述多模态网络模型进行药品领域预训练,包括:

5.根据权利要求1所述的方法,其特征在于,基于所述特征表示,利用所述多模态药品匹配模型进行跨模态匹配,以匹配与所述目标药盒相关的药品信息,包括:<...

【技术特征摘要】

1.一种基于ai的药品信息的跨模态检索匹配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述图文对训练集是通过以下得到的:

3.根据权利要求2所述的方法,其特征在于,基于图文对训练集,对多模态网络模型进行药品领域预训练,得到所述多模态药品匹配模型,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述图文对训练集,对预训练后的所述多模态网络模型进行药品领域预训练,包括:

5.根据权利要求1所述的方法,其特征在于,基于所述特征表示,利用所述多模态药品匹配模型进行跨模态匹配,以匹配与所述目标药盒相关的药品信息,包括:

<...

【专利技术属性】
技术研发人员:王博
申请(专利权)人:深圳伯德睿捷健康科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1