【技术实现步骤摘要】
本专利技术涉及医疗领域,具体而言,涉及一种药品信息的跨模态检索匹配方法及装置
技术介绍
1、目前市场上的药品信息检索匹配方法仍存在显著不足。首先,文本与图像的匹配精度不足。许多药品信息的检索系统依赖于药品包装上的文字和图像信息,但由于药品包装设计复杂、字体细小,系统难以准确识别和提取关键信息。其次,语音交互功能不够智能化。虽然一些系统支持语音检索功能,但其识别准确率和交互体验较差,尤其是在老年人语音模糊或带有口音的情况下,系统往往无法准确理解用户需求。此外,语音检索结果通常以文本形式呈现,缺乏直观的图像或语音反馈,无法满足老年人对简单、直接信息的需求。
2、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种药品信息的跨模态检索匹配方法及装置,以至少解决现有技术中药品检索不准确的技术问题。
2、根据本专利技术实施例的一个方面,提供了一种基于ai的药品信息的跨模态检索匹配方法,包括,获取待识别的目标药盒图片;利用多模态药品匹配模型
...【技术保护点】
1.一种基于AI的药品信息的跨模态检索匹配方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述图文对训练集是通过以下得到的:
3.根据权利要求2所述的方法,其特征在于,基于图文对训练集,对多模态网络模型进行药品领域预训练,得到所述多模态药品匹配模型,包括:
4.根据权利要求3所述的方法,其特征在于,基于所述图文对训练集,对预训练后的所述多模态网络模型进行药品领域预训练,包括:
5.根据权利要求1所述的方法,其特征在于,基于所述特征表示,利用所述多模态药品匹配模型进行跨模态匹配,以匹配与所述目标药盒相关
...【技术特征摘要】
1.一种基于ai的药品信息的跨模态检索匹配方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述图文对训练集是通过以下得到的:
3.根据权利要求2所述的方法,其特征在于,基于图文对训练集,对多模态网络模型进行药品领域预训练,得到所述多模态药品匹配模型,包括:
4.根据权利要求3所述的方法,其特征在于,基于所述图文对训练集,对预训练后的所述多模态网络模型进行药品领域预训练,包括:
5.根据权利要求1所述的方法,其特征在于,基于所述特征表示,利用所述多模态药品匹配模型进行跨模态匹配,以匹配与所述目标药盒相关的药品信息,包括:
<...【专利技术属性】
技术研发人员:王博,
申请(专利权)人:深圳伯德睿捷健康科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。