【技术实现步骤摘要】
本申请涉及药品计算机视觉，尤其涉及一种基于多模态的图像处理方法和装置、电子设备及存储介质。
技术介绍
1、随着计算机技术的发展，越来越多的技术应用在医疗领域，传统医疗正在逐步向医疗科技转变。其中，运用人工智能技术分析医疗图片，成为一个重要的分支。相关技术中，通常通过模型对计算机视觉模态进行图片分析任务，处理较为单一，影响图片分析的准确性，因此，如何提高图像处理的准确性，成为了亟待解决的技术问题。
技术实现思路
1、本申请实施例的主要目的在于提出一种基于多模态的图像处理方法和装置、电子设备及存储介质，旨在提高图像处理的准确性。
2、为实现上述目的，本申请实施例的第一方面提出了一种基于多模态的图像处理方法，所述方法包括：
3、获取文本信息和图像信息；所述图像信息中包括若干待分类对象，所述文本信息包含用于指示对所述待分类对象进行分类的关联信息；
4、通过预先训练的图像编码器对所述图像信息进行编码，得到图像向量，以及通过预先训练的文本编码器对所述文本信息进行编码
【技术保护点】
1.一种基于多模态的图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述图像向量和所述文本向量分别进行特征提取，并对得到的特征进行均值化处理，得到均值特征；包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述文本拼接特征和所述图像拼接特征进行融合处理，包括：
4.根据权利要求2所述的方法，其特征在于，所述图像向量包括图像部分向量和隐层向量；所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述对融合处理得到的特征进行分类，包括：
6.根据权利要求1至...
【技术特征摘要】
1.一种基于多模态的图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述图像向量和所述文本向量分别进行特征提取，并对得到的特征进行均值化处理，得到均值特征；包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述文本拼接特征和所述图像拼接特征进行融合处理，包括：
4.根据权利要求2所述的方法，其特征在于，所述图像向量包括图像部分向量和隐层向量；所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，所述对融合处理得到的特征进行分类，包括：
6.根据权利要求1至5任一项所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：刘羲，高一飞，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。