【技术实现步骤摘要】
本申请实施例涉及计算机，尤其涉及一种融合多模态大模型的图像识别方法及系统。
技术介绍
1、目前，在许多图像业务场景中，都涉及到图像标签的识别。在识别图像标签类别时，主流方式是基于深度学习的方法，该方法要求从大量的数据中获取所关注的正样本，通过人工标注构建用于监督学习的训练集和本地测试集，进而训练得到标签识别模型，以对图像中预先标注的标签类别进行识别。
2、但是，相关的标签识别模型在应用到大规模的审核数据上时往往需要数十万或者数万累积量的正样本，然而在一些训练数据中未曾明确定义的类别识别上，难以通过人工收集标注这一类数据，并同时进一步训练一个单独的视觉识别模型，通过该种方式实现对新类别的有效识别。整个过程相对繁琐复杂，且标签识别模型对少样本的标签识别存在误差，其识别精度和泛化能力不足。
技术实现思路
1、本申请实施例提供一种融合多模态大模型的图像识别方法及系统，能够提升标签识别模型的识别精度和泛化能力，解决标签识别模型对少样本的标签识别误差偏大的技术问题。
2、在第一...
【技术保护点】
1.一种融合多模态大模型的图像识别方法，其特征在于，包括：
2.根据权利要求1所述的融合多模态大模型的图像识别方法，其特征在于，所述训练样本包括训练图像和对应的文本描述信息，所述融合模型的训练过程包括：
3.根据权利要求2所述的融合多模态大模型的图像识别方法，其特征在于，所述将所述训练图像分别输入所述指定标签模型和所述多模态大模型，得到所述第一图像特征，包括：
4.根据权利要求3所述的融合多模态大模型的图像识别方法，其特征在于，所述第一子特征、所述第二子特征和所述第一图像特征为维度相同的特征向量。
5.根据权利要求3所述...
【技术特征摘要】
1.一种融合多模态大模型的图像识别方法，其特征在于，包括：
2.根据权利要求1所述的融合多模态大模型的图像识别方法，其特征在于，所述训练样本包括训练图像和对应的文本描述信息，所述融合模型的训练过程包括：
3.根据权利要求2所述的融合多模态大模型的图像识别方法，其特征在于，所述将所述训练图像分别输入所述指定标签模型和所述多模态大模型，得到所述第一图像特征，包括：
4.根据权利要求3所述的融合多模态大模型的图像识别方法，其特征在于，所述第一子特征、所述第二子特征和所述第一图像特征为维度相同的特征向量。
5.根据权利要求3所述的融合多模态大模型的图像识别方法，其特征在于，将所述第一子特征和所述第二子特征融合生成所述第一图像特征，包括：
【专利技术属性】
技术研发人员：陈祥，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。