分类、模型训练、信息搜索方法、系统及设备技术方案

本申请实施例提供一种分类、模型训练、信息搜索方法、系统及设备。其中，方法包括：将待分类图像作为神经网络模型的输入，得到分类结果；该模型用于根据待分类图像与多个类别的描述信息，确定分类结果；该模型还用于分别对多个类别对应的样本图像进行特征提取，得到多个类别对应的样本特征；综合多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在多个语义集群中心周围的分布信息，确定第一类别的描述信息。本申请实施例提供的技术方案基于多个类别共同的多个语义集群中心对各类别进行描述，能对各类别进行全局泛化地描述，有助于提高预测准确率。有助于提高预测准确率。有助于提高预测准确率。

【技术实现步骤摘要】
分类、模型训练、信息搜索方法、系统及设备


[0001]本申请涉及计算机
，尤其涉及一种分类、模型训练、信息搜索方法、系统及设备。

技术介绍

[0002]目前，很多神经网络模型已经广泛应用于各个领域，解决各类问题，例如图像分类问题。
[0003]一些神经网络模型需要对多个需识别的类别进行描述，后续根据多个需识别的类别的描述信息对待分类图像进行分类。
[0004]但是，现有技术中，这些神经网络模型的预测准确率较差，尤其在训练样本极度匮乏的小样本场景下。

技术实现思路

[0005]鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的分类、模型训练、信息搜索方法、系统及设备。
[0006]于是，在本申请的一个实施例中，提供了一种图像分类方法。该方法包括：
[0007]获取待分类图像；
[0008]将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；
[0009]其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；
[0010]所述神经网络模型还用于对所述多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；综合所述多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述多个类别中包括所述第一类别。
[0011]在本申请的另一实施例中，提供了一种模型训练方法。该方法，包括：
[0012]将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；
[0013]根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；
[0014]其中，所述神经网络模型用于根据所述待分类样本图像及多个样本类别的描述信息，确定所述分类预测结果；
[0015]所述神经网络模型还用于对所述多个样本类别对应的样本图像进行特征提取，得到所述多个样本类别对应的样本特征；综合所述多个样本类别对应的样本特征，确定多个语义集群中心；根据第二样本类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第二样本类别的描述信息；所述多个样本类别中包括所述第二样本类别。
[0016]在本申请的另一实施例中，提供了一种图像分类方法。该方法，包括：
[0017]获取待分类图像；
[0018]将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；
[0019]其中，所述神经网络模型用于对所述待分类图像进行特征提取，得到图像特征；将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果。
[0020]在本申请的另一实施例中，提供了一种模型训练方法。该方法，包括：
[0021]将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；
[0022]根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；
[0023]其中，所述神经网络模型用于对所述待分类样本图像进行特征提取，得到图像特征；将所述图像特征分别与多个样本类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果。
[0024]在本申请的另一实施例中，提供了一种神经网络系统。该系统，包括：至少一个第一神经网络层、至少一个第二神经网络层和计算模块；其中，
[0025]所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；还用于分别对多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；
[0026]所述至少一个第二神经网络层，用于综合所述多个类别对应的样本特征，确定多个语义集群中心；还用于根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述第一类别为所述多个类别中的一个；
[0027]所述计算模块，用于根据所述图像特征与所述多个类别的描述信息，确定所述分类结果。
[0028]在本申请的另一实施例中，提供了一种神经网络系统。该系统，包括：至少一个第一神经网络层和至少一个第三神经网络层；其中，
[0029]所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；
[0030]所述至少一个第三神经网络层，用于将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及训练好的网络参数，得到分类结果。
[0031]在本申请的另一实施例中，提供了一种神经网络系统。该系统，包括：至少一个第一神经网络层、至少一个第三神经网络层和计算模块；其中，
[0032]所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；
[0033]所述至少一个第三神经网络层，用于将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；根据所述多个融合特征及训练好的网络参数，得到第一分类结果；
[0034]所述计算模块，用于分别计算所述图像特征与所述多个类别的描述信息的距离；根据所述距离，确定第二分类结果；综合所述第一分类结果及所述第二分类结果，确定最终
的分类结果。
[0035]在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
[0036]所述存储器，用于存储程序；
[0037]所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
[0038]获取待分类图像；
[0039]将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；
[0040]其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；
[0041]所述神经网络模型还用于对所述多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；综合所述多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述多个类别中包括所述第一类别。
[0042]在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，
[0043]所述存储器，用于存储程序；
[0044]所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
[0045]将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；
[0046]根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：获取待分类图像；将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；所述神经网络模型还用于对所述多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；综合所述多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述多个类别中包括所述第一类别。2.根据权利要求1所述的方法，其特征在于，根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息，包括：根据第一类别对应的样本特征在第一语义集群中心周围的分布信息，确定基于所述第一语义集群中心对所述第一类别的子描述信息；其中，所述多个语义集群中心中包括所述第一语义集群中心；综合基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息，确定所述第一类别的描述信息。3.根据权利要求2所述的方法，其特征在于，所述神经网络模型，还用于：计算所述第一类别对应的样本特征中各样本特征与所述第一语义聚类中心的残差；所述第一类别对应的样本特征在第一语义集群中心周围的分布信息中包括所述第一类别对应的样本特征中各样本特征与所述第一语义集群中心的残差。4.根据权利要求3所述的方法，其特征在于，根据第一类别对应的样本特征在第一语义集群中心周围的分布信息，确定基于所述第一语义集群中心对所述第一类别的子描述信息，包括：根据所述第一类别对应的样本特征中各样本特征与所述第一语义集群中心的距离，计算所述各样本特征对应的分配权重；根据所述分配权重及所述第一类别对应的样本特征中各样本特征与所述第一语义集群中心的残差，聚合得到基于所述第一语义集群中心对所述第一类别的子描述信息。5.根据权利要求2至4中任一项所述的方法，其特征在于，综合基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息，确定所述第一类别的描述信息，包括：将基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息按通道组合，得到组合子描述信息；对所述组合子描述信息进行降维处理，得到所述第一类别的描述信息。6.根据权利要1至4中任一项所述的方法，其特征在于，综合所述多个类别对应的样本特征，确定多个语义集群中心，包括：分别计算所述多个类别中各类别对应的样本特征的均值特征；将所述多个类别中各类别对应的均值特征按通道组合，得到组合均值特征；对所述组合均值特征进行卷积处理，得到所述多个类别共同的多个语义集群中心。
7.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述待分类图像和多个类别的描述信息，确定所述分类结果，包括：对所述待分类图像进行特征提取，得到图像特征；将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果。8.根据权利要求7所述的方法，其特征在于，结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果，包括：根据所述多个融合特征及所述神经网络模型中训练好的网络参数，得到第一分类结果；分别计算所述图像特征与所述多个类别的描述信息的距离；根据所述距离，确定第二分类结果；综合所述第一分类结果及所述第二分类结果，确定所述分类结果。9.根据权利要求8所述的方法，其特征在于，所述多个类别包括第二类别；所述第一分类结果中包括所述待分类图像属于所述第二类别的第一概率；所述第二分类结果中包括所述待分类图像属于所述第二类别的第二概率；所述分类结果中包括所述待分类图像属于所述第二类别的第三概率；综合所述第一分类结果及所述第二分类结果，确定所述分类结果，包括：综合所述第一概率和所述第二概率，确定所述第三概率。10.根据权利要求8所述的方法，其特征在于，所述训练好的网络参数包括：至少一个第一网络参数和至少一个第二网络参数；所述神经网络模型中包括基于所述至少一个第一网络参数的至少一个卷积层和基于所述至少一个第二网络参数的至少一个全连接层；根据所述多个融合特征及所述神经网络模型中训练好的网络参数，得到第一分类结果，包括：将所述多个融合特征输入至所述至少一个卷积层中，得到卷积后特征；将所述卷积后特征输入至所述至少一个全连接层中，得到所述第一分类结果。11.根据权利要求1至4中任一项所述的方法，其特征在于，所述神经网络模型是基于元学习技术的。12.一种模型训练方法，其特征在于，包括：将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；其中，所述神经网络模型用于根据所述待分类样本图像及多个样本类别的描述信息，确定所述分类预测结果；所述神经网络模型还用于对所述多个样本类别对应的样本图像进行特征提取，得到所述多个样本类别对应的样本特征；综合所述多个样本类别对应的样本特征，确定多个语义集群中心；根据第二样本类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第二样本类别的描述信息；所述多个样本类别中包括所述第二样本类别。
13.根据权利要求12所述的方法，其特征在于，根据所述待分类样本图像及多个样本类别的描述信息，确定所述分类预测结果，包括：对所述待分类样本图像进行特征提取，得到图像特征；将所述图像特征分别与多个样本类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果。14.根据权利要12或13所述的方法，其特征在于，所述神经网络模型是基于元学习技术的。15.一种图像分类方法，其特征在于，包括：获取待分类图像；将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；其中，所述神经网络模型用于对所述待分类图像进行特征提取，得到图像特征；将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果。16.根据权利要求15所述的方法，其特征在于，结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果，包括：根据所述多个融合特征及所述神经网络模型中训练好的网络参数，得到第一分类结果；分别计算所述图像特征与所述多个类别的描述信息的距离；根据所述距离，确定第二分类结果；综合所述第一分类结果及所述第二分类结果，确定所述分类结果。17.根据权利要求15或16所述的方法，其特征在于，所述神经网络模型是基于元学习技术的。18.一种模型训练方法，其特征在于，包括：将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；其中，所述神经网络模型用于对所述待分类样本图像进行特征提取，得到图像特征；将所述图像特征分别与多个样本类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果。19.根据权利要求18所述的方法，其特征在于，结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果，包括：根据所述多个融合特征及所述神经网络模型中待训练的网络参数，得到第一分类预测结果；分别计算所述图像特征与所述多个样本类别的描述信息的距离；根据所述距离，确定第二分类预测结果；综合所述第一分类预测结果及所述第二分类预测结果，确定所述分类预测结果。20.根据权利要求18或19所述的方法，其特征在于，所述神经网络模型是基于元学习技
术的。21.一种神经网络系统，其特征在于，包括：至少一个第一神经网络层、至少一个第二神经网络层和计算模块；其中，所述至少一个第一神经网络层，用于对待分类图像进行特征提取，得到图像特征；还用于分别对多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；所述至少一个第二神经网络层，用于综合所述多个类别对应的样本特征，确定多个语义集群中心；还用于根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述第一类别为所述多个类别中的一个；所述计算模块，用于根据所述图像特征与所述多个类别的描述信息，确定所述分类结果。22.一种神经网络系统，其特征在于，包括：至少一个第一神经网络层和至少一个第三神经网络层；其中，所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；所述至少一个第三神经网络层，用于将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及训练好的网络参数，得到分类结果。23.根据权利要求22所述的系统，其特征在于，所述至少一个第一神经网络层，还用于分别对所述多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；所述系统，还包括：至少一个第二神经网络层，用于综合所述多个类别对应...

【专利技术属性】
技术研发人员：陈达，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：