图片分类方法、装置、电子设备制造方法及图纸

本申请公开了一种图片分类方法，属于计算机技术领域，有助于对上传至网络平台的图片进行准确分类。本申请实施例公开的图片分类方法包括：获取目标图片，以及所述目标图片的标签文本和描述文本；基于空间注意力机制确定所述目标图片的图片内容的向量表示，以及，分别确定所述标签文本和所述描述文本的向量表示；基于所述图片内容的向量表示、所述标签文本和所述描述文本的所述向量表示，对所述目标图片进行分类处理。本方法通过结合图片内容和标签文本、描述文本对图片进行自动分类，可以提升图片分类的速度和准确度；通过基于空间注意力机制学习图像中重要的区域，对输入的图片数据进行增强处理，然后用于图片分类，进一步提升了图片分类准确率。

【技术实现步骤摘要】
图片分类方法、装置、电子设备
本申请实施例涉及计算机
，特别是涉及一种图片分类方法、装置、电子设备及计算机可读存储介质。
技术介绍
在评论或在线购物等应用中，商家和用户上传了海量的图片用于展示商品或评论。而这些评论中蕴含着大量对于商家或用户有用的信息。例如，平台通过分析用户上传的关于某一商家的图片，搜集商家的用户满意度、商家环境、地理位置等信息，从而获得更多的商家数据。再例如，平台通过分析用户上传的关于某一商家的图片，向搜索端展示更加丰富的商家信息。但是，现有技术中，网络平台中用户或商家上述图片没有被分类存储、管理或运用，导致例如图片被杂乱地进行展示，对用户的参考价值不大。平台也无法从上述图片中获取到准确的商家信息。可见，现有技术中需要一种对上传至网络平台的图片的分类方法。
技术实现思路
本申请实施例提供一种图片分类方法，能够实现图片准确分类，从而提升图片的信息利用率。为了解决上述问题，第一方面，本申请实施例提供了一种图片分类方法，包括：获取目标图片，以及所述目标图片的标签文本和描述文本；基于空本文档来自技高网...

【技术保护点】
1.一种图片分类方法，其特征在于，包括：/n获取目标图片，以及所述目标图片的标签文本和描述文本；/n基于空间注意力机制确定所述目标图片的图片内容的向量表示，以及，分别确定所述标签文本和所述描述文本的向量表示；/n基于所述图片内容的向量表示、所述标签文本和所述描述文本的所述向量表示，对所述目标图片进行分类处理。/n

【技术特征摘要】
1.一种图片分类方法，其特征在于，包括：
获取目标图片，以及所述目标图片的标签文本和描述文本；
基于空间注意力机制确定所述目标图片的图片内容的向量表示，以及，分别确定所述标签文本和所述描述文本的向量表示；
基于所述图片内容的向量表示、所述标签文本和所述描述文本的所述向量表示，对所述目标图片进行分类处理。


2.根据权利要求1所述的方法，其特征在于，所述基于空间注意力机制确定所述目标图片的图片内容的向量表示，以及，分别确定所述标签文本和所述描述文本的向量表示的步骤，包括：
将所述目标图片、所述标签文本和所述描述文本，分别输入至预先训练的图片分类模型中相应的编码网络，其中，所述相应的编码网络包括：第一编码网络、第二编码网络和第三编码网络；
通过所述第一编码网络基于空间注意力机制对所述目标图片的图片内容进行特征编码，确定所述目标图片的第一向量表示；通过所述第二编码网络对所述标签文本进行编码映射，确定所述目标图片的第二向量表示；以及，通过所述第三编码网络对所述描述文本进行编码映射，确定所述目标图片的第三向量表示。


3.根据权利要求2所述的方法，其特征在于，所述通过所述第一编码网络基于空间注意力机制对所述目标图片的图片内容进行特征编码，确定所述目标图片的第一向量表示的步骤，包括：
通过所述第一编码网络的卷积网络从输入的所述目标图片的图片内容中提取图像特征；
对提取的所述图像特征进行卷积运算，生成以不同权重关注所述目标图片中不同区域的图片内容的注意力图；
对提取的所述图像特征和所述注意力图进行双线性注意力池化，生成特征向量矩阵，作为所述目标图片的第一向量表示。


4.根据权利要求3所述的方法，其特征在于，所述第三编码网络基于BERT模型网络和循环神经网络进行级联构建，所述通过所述第三编码网络对所述描述文本进行编码映射，确定所述目标图片的第三向量表示的步骤，包括：
通过所述BERT模型网络对所述描述文本的语义信息进行特征提取，得到所述描述文本中各字符的字向量表示；
通过所述循环神经网络根据所述字符之间的关联关系，对所述描述文本中各字符的所述字向量表示进行特征映射，得到所述目标图片的第三向量表示。


...

【专利技术属性】
技术研发人员：李楠，宋祺，张睿，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11