【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种图像分类方法和设备。
技术介绍
1、随着图像处理技术的不断发展，图像处理技术被广泛用来解决各种问题，例如，通过图像处理技术实现图像分类。
2、现有技术中，可以图像本身进行分类处理，以得到图像的类别。
3、但上述方式中，仅通过对图像本身进行处理，以得到图像的类别，这样的方式由于所获取到的信息不足，导致分类结果并不准确；进而，导致图像类别判断错误，进而影响图像分类的准确性。
技术实现思路
1、本申请提供一种图像分类方法和设备，用以解决的问题。
2、第一方面，本申请提供一种图像分类方法，所述方法包括：
3、获取待分类图像和所述待分类图像的至少一个图像信息；其中，所述图像信息中包括描述文本，所述描述文本表征对图像的描述的文本内容；
4、根据所述待分类图像和所述至少一个图像信息，确定所述待分类图像的特征描述向量，其中，所述特征描述向量中包括至少一个细节描述信息，所述细节描述信息表征待分类图像的细节内容；
5、根据所述待分类图像和所述特征描述向量，确定并输出所述待分类图像的图像类别。
6、一个示例中，根据所述待分类图像和所述至少一个图像信息，确定所述待分类图像的特征描述向量，包括：
7、根据所述待分类图像和所述图像信息，生成与所述图像信息对应的扩展描述信息集合；其中，所述扩展描述信息集合包括至少一个扩展描述文本，所述扩展描述文本表征针对图像信息所描述的文本内容的细节属
8、根据各所述扩展描述信息集合，确定所述特征描述向量。
9、一个示例中，根据各所述扩展描述信息集合，确定所述特征描述向量，包括：
10、对所述扩展描述信息集合进行编码处理，得到所述扩展描述信息集合对应的特征矩阵集合；其中，所述特征矩阵集合中包括与扩展描述信息集合中的每一扩展描述文本对应的描述特征矩阵，所述描述特征矩阵用于表征扩展描述文本；
11、根据各所述特征矩阵集合，确定所述特征描述向量。
12、一个示例中，根据各所述特征矩阵集合，确定所述特征描述向量，包括：
13、基于预设的自注意力模型，对所述特征矩阵集合进行拟合处理，得到与所述特征矩阵集合对应的自注意力矩阵；其中，所述自注意力矩阵表征针对图像信息所描述的文本内容的细节属性；
14、根据所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵，确定所述特征描述向量中与特征矩阵集合对应的细节描述信息。
15、一个示例中，根据所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵，确定所述特征描述向量中与特征矩阵集合对应的细节描述信息，包括：
16、根据预设超参数，对所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵进行处理，得到与所述特征矩阵集合对应的拟合矩阵集合；其中，所述拟合矩阵集合包括与特征矩阵集合中的描述特征矩阵对应的拟合矩阵；所述拟合矩阵表征针对图像信息所描述的文本内容的细节属性；
17、对与所述特征矩阵集合对应的拟合矩阵集合中的各拟合矩阵进行均值计算处理，得到所述特征描述向量中与特征矩阵集合对应的细节描述信息。
18、一个示例中，所述拟合矩阵集合中第i个拟合矩阵为mi＝β·n+(1-β)ki；其中，β为所述预设超参数，ki为所述特征矩阵集合中的第i个描述特征矩阵，n为与特征矩阵集合对应的自注意力矩阵；i为大于或者等于1的正整数。
19、一个示例中，根据各所述特征矩阵集合，确定所述特征描述向量，包括：
20、对所述特征矩阵集合进行聚类处理，以剔除所述特征矩阵集合中的离散的描述特征矩阵，得到处理之后的特征矩阵集合；
21、基于预设的自注意力模型，对所述处理之后的特征矩阵集合进行拟合处理，得到所述特征描述向量中与特征矩阵集合对应的细节描述信息。
22、一个示例中，所述图像信息中还包括至少一个问题信息，所述问题信息表征针对图像信息中的描述文本的问题；
23、根据所述待分类图像和所述图像信息，生成与所述图像信息对应的扩展描述信息集合，包括：
24、基于预设模型对所述待分类图像进行识别，得到图像识别信息；其中，所述图像识别信息表征待分类图像的特征；
25、基于预设模型对图像识别信息对所述图像信息中的问题信息进行处理，得到与所述图像信息中的问题信息对应的回复文本；
26、基于所述问题信息中的描述文本和各所述回复文本，生成与所述图像信息对应的扩展描述信息集合。
27、一个示例中，根据所述待分类图像和所述图像信息，生成与所述图像信息对应的扩展描述信息集合，包括：
28、对所述图像信息中的描述文本进行特征提取处理，得到与所述图像信息对应的关键特征信息；其中，所述关键特征信息表征描述文本的关键词；
29、对与所述图像信息对应的关键特征信息进行文本拓展处理，得到与所述图像信息对应的扩展描述信息集合。
30、一个示例中，对与所述图像信息对应的关键特征信息进行文本拓展处理，得到与所述图像信息对应的扩展描述信息集合，包括：
31、从预设数据库中提取与所述图像信息对应的关键特征信息所匹配的文本；其中，所述预设数据库中包括多个文本；
32、根据所述图像信息中的描述文本和所匹配到的文本，生成与所述图像信息对应的扩展描述信息集合。
33、一个示例中，根据所述待分类图像和所述特征描述向量，确定并输出所述待分类图像的图像类别，包括：
34、对所述待分类图像进行特征提取处理，得到图像特征向量；
35、根据所述图像特征向量和所述特征描述向量，确定并输出所述待分类图像的图像类别。
36、一个示例中，根据所述图像特征向量和所述特征描述向量，确定并输出所述待分类图像的图像类别，包括：
37、针对所述特征描述向量中的每一细节描述信息，对所述图像特征向量和该细节描述信息进行相似度计算处理，得到与该细节描述信息对应的相似度信息；所述相似度信息表征图像特征向量与细节描述信息之间的相似度；
38、根据各所述相似度信息，确定并输出所述待分类图像的图像类别。
39、一个示例中，所述细节描述信息具有类别标签；根据各所述相似度信息，确定并输出所述待分类图像的图像类别，包括：
40、对各所述相似度信息进行归一化处理，得到各归一化后的相似度信息；
41、确定各归一化后的相似度信息中的最大值，并确定该最大值对应的细节描述信息所归属的类别标签，为所述待分类图像的图像类别；并输出所述待分类图像的图像类别。
42、第二方面，本申请提供一种装置，所述装置包括：
43、获取单元，用于获取待分类图像和所述待分类图像的至少一个图像信息；其中，所述图像信息中包括描述文本，所述描述文本表征对图像的描述的文本内容；
44、确本文档来自技高网...
【技术保护点】
1.一种图像分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据所述待分类图像和所述至少一个图像信息，确定所述待分类图像的特征描述向量，包括：
3.根据权利要求2所述的方法，其特征在于，根据各所述扩展描述信息集合，确定所述特征描述向量，包括：
4.根据权利要求3所述的方法，其特征在于，根据各所述特征矩阵集合，确定所述特征描述向量，包括：
5.根据权利要求4所述的方法，其特征在于，根据所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵，确定所述特征描述向量中与特征矩阵集合对应的细节描述信息，包括：
6.根据权利要求3所述的方法，其特征在于，根据各所述特征矩阵集合，确定所述特征描述向量，包括：
7.根据权利要求1-6中任一项所述的方法，其特征在于，根据所述待分类图像和所述特征描述向量，确定并输出所述待分类图像的图像类别，包括：
8.根据权利要求7所述的方法，其特征在于，根据所述图像特征向量和所述特征描述向量，确定并输出所述待分类图像的图像类别，包括：
9.
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
...【技术特征摘要】
1.一种图像分类方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据所述待分类图像和所述至少一个图像信息，确定所述待分类图像的特征描述向量，包括：
3.根据权利要求2所述的方法，其特征在于，根据各所述扩展描述信息集合，确定所述特征描述向量，包括：
4.根据权利要求3所述的方法，其特征在于，根据各所述特征矩阵集合，确定所述特征描述向量，包括：
5.根据权利要求4所述的方法，其特征在于，根据所述特征矩阵集合和所述特征矩阵集合对应的自注意力矩阵，确定所述特征描述向量中与特征矩阵集合对应的细节描述信息，包括：
6.根据权利要...
【专利技术属性】
技术研发人员：周叶江，莫琪，
申请(专利权)人：阿维塔科技重庆有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。