图像分类方法、装置及计算机可读存储介质制造方法及图纸

本公开是关于一种图像分类方法、装置及计算机可读存储介质，属于图像处理技术领域。该方法包括：通过CNN模型确定目标图像的特征，并通过RNN模型对目标图像的特征进行处理，以得到目标图像的多个标签。由于目标图像的特征由CNN模型包括的最后一个池化层输出，也即，CNN模型在得到目标图像的特征之后，并没有根据该目标图像的特征确定该目标图像属于的各个类别的概率，而是直接将该目标图像的特征通过RNN模型进行处理，以得到该目标图像的多个标签，从而实现对对包括至少两种类别的内容的图像进行分类。

【技术实现步骤摘要】
图像分类方法、装置及计算机可读存储介质
本公开涉及图像处理
，尤其涉及一种图像分类方法、装置及计算机可读存储介质。
技术介绍
当计算机接收到一张图像时，通常需要对该图像进行分类，以确定该图像所属的类别，并将该图像所属的类别设置为该图像的标签，以便于使用者查找该图像。如当计算机接收到一张风景图像时，可以确定该图像的类别为风景，也即，将该图像的标签设置为风景。相关技术中，计算机对图像进行分类主要是通过单标签分类方法来实现，也即，对于预先设置的多个类别，通过CNN(ConvolutionalNeuralNetworks，卷积神经网络)模型包括的至少一个卷积层和至少一个池化层确定该图像的特征，通过CNN模型包括的全连接层根据该图像的特征确定该图像分别属于该多个类别中的每个类别的概率，并将概率最大的类别确定为该图像所属的类别，以得到该图像的标签。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种图像分类方法、装置及计算机可读存储介质，所述技术方案如下：根据本公开实施例的第一方面，提供一种图像分类方法，所述方法包括：通过预先训练的CNN模型对需要进行分类的目标图像进行处理，以确定所述CNN模型包括的最后一个池化层输出的特征；将确定的特征作为所述目标图像的特征，通过预先训练的RNN(RecurrentNeuralNetwork，循环神经网络)模型对所述目标图像的特征进行处理，得到所述目标图像的多个标签，所述多个标签中的每个标签用于指示所述目标图像中的图像内容所属的类别。可选地，所述通过预先训练的RNN模型对所述目标图像的特征进行处理，得到所述目标图像的多个标签，包括：将所述目标图像的特征作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征进行处理，得到第一标签，所述第一标签为所述多个标签中的一个；将所述第一标签作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征和所述第一标签进行处理，得到第二标签，所述第二标签为所述多个标签中的一个；确定循环次数，所述循环次数是指所述RNN模型循环对输入的标签和所述目标图像的特征进行处理的次数；当所述循环次数小于或等于预设次数时，将所述第二标签继续作为所述RNN模型的输入，循环执行上述操作，直至所述循环次数大于所述预设次数时，得到所述多个标签。可选地，所述通过预先训练的RNN模型对所述目标图像的特征进行处理，得到所述目标图像的多个标签，包括：将所述目标图像的特征作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征进行处理，得到第一标签，所述第一标签为所述多个标签中的一个；将所述第一标签作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征和所述第一标签进行处理，得到第二标签，所述第二标签为所述多个标签中的一个；确定所述目标图像同时属于当前确定得到的所有标签对应的类别的概率；当所述概率大于或等于预设概率时，将所述第二标签继续作为所述RNN模型的输入，循环执行上述操作，直至所述概率小于所述预设概率时，得到所述多个标签。可选地，所述通过预先训练的CNN模型对目标图像进行处理之前，还包括：确定训练样本集，所述训练样本集包括多张图像和预先为每张图像设置的多个标签；根据所述多张图像，对初始化CNN模型进行训练，得到训练后的CNN模型和所述多张图像中每张图像的特征；根据所述多张图像中每张图像的特征，对初始化RNN模型进行训练，得到训练后的RNN模型和所述多张图像中每张图像的多个标签；当通过训练得到的所述多张图像中每张图像的多个标签与预先为对应图像设置的多个标签之间的误差大于预设误差时，通过梯度下降法调整所述初始化CNN模型和所述初始化RNN模型，并返回根据所述多张图像，对初始化CNN模型进行训练的步骤，直至通过训练得到的所述多张图像中每张图像的多个标签与预先为对应图像设置的多个标签之间的误差小于或等于所述预设误差为止，并将最终训练得到的CNN模型确定为所述预先训练的CNN模型，将最终训练得到的RNN模型确定为所述预先训练的RNN模型。根据本公开实施例的第二方面，提供一种图像分类装置，所述装置包括：第一处理模块，用于通过预先训练的CNN模型对需要进行分类的目标图像进行处理，以确定所述CNN模型包括的最后一个池化层输出的特征；第二处理模块，用于将确定的特征作为所述目标图像的特征，通过预先训练的RNN模型对所述目标图像的特征进行处理，得到所述目标图像的多个标签，所述多个标签中的每个标签用于指示所述目标图像中的图像内容所属的类别。可选地，所述第二处理模块包括：第一处理子模块，用于将所述目标图像的特征作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征进行处理，得到第一标签，所述第一标签为所述多个标签中的一个；第二处理子模块，用于将所述第一标签作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征和所述第一标签进行处理，得到第二标签，所述第二标签为所述多个标签中的一个；第一确定子模块，用于确定循环次数，所述循环次数是指所述RNN模型循环对输入的标签和所述目标图像的特征进行处理的次数；第一循环子模块，用于当所述循环次数小于或等于预设次数时，将所述第二标签继续作为所述RNN模型的输入，循环执行上述操作，直至所述循环次数大于所述预设次数时，得到所述多个标签。可选地，所述第二处理模块包括：第一处理子模块，用于将所述目标图像的特征作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征进行处理，得到第一标签，所述第一标签为所述多个标签中的一个；第二处理子模块，用于将所述第一标签作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征和所述第一标签进行处理，得到第二标签，所述第二标签为所述多个标签中的一个；第二确定子模块，用于确定所述目标图像同时属于当前确定得到的所有标签对应的类别的概率；第二循环子模块，用于当所述概率大于或等于预设概率时，将所述第二标签继续作为所述RNN模型的输入，循环执行上述操作，直至所述概率小于所述预设概率时，得到所述多个标签。可选地，所述装置还包括：第一确定模块，用于确定训练样本集，所述训练样本集包括多张图像和预先为每张图像设置的多个标签；第一训练模块，用于根据所述多张图像，对初始化CNN模型进行训练，得到训练后的CNN模型和所述多张图像中每张图像的特征；第二训练模块，用于根据所述多张图像中每张图像的特征，对初始化RNN模型进行训练，得到训练后的RNN模型和所述多张图像中每张图像的多个标签；第二确定模块，用于当通过训练得到的所述多张图像中每张图像的多个标签与预先为对应图像设置的多个标签之间的误差大于预设误差时，通过梯度下降法调整所述初始化CNN模型和所述初始化RNN模型，并返回根据所述多张图像，对初始化CNN模型进行训练的步骤，直至通过训练得到的所述多张图像中每张图像的多个标签与预先为对应图像设置的多个标签之间的误差小于或等于所述预设误差为止，并将最终训练得到的CNN模型确定为所述预先训练的CNN模型，将最终训练得到的RNN模型确定为所述预先训练的RNN模型。根据本公开实施例的第三方面，提供另一种图像分类装置，所述装置包括：处理器；用于存储处理器可执行指令的存储器；其中，本文档来自技高网...

【技术保护点】
一种图像分类方法，其特征在于，所述方法包括：通过预先训练的卷积神经网络CNN模型对需要进行分类的目标图像进行处理，以确定所述CNN模型包括的最后一个池化层输出的特征；将确定的特征作为所述目标图像的特征，通过预先训练的循环神经网络RNN模型对所述目标图像的特征进行处理，得到所述目标图像的多个标签，所述多个标签中的每个标签用于指示所述目标图像中的图像内容所属的类别。

【技术特征摘要】
1.一种图像分类方法，其特征在于，所述方法包括：通过预先训练的卷积神经网络CNN模型对需要进行分类的目标图像进行处理，以确定所述CNN模型包括的最后一个池化层输出的特征；将确定的特征作为所述目标图像的特征，通过预先训练的循环神经网络RNN模型对所述目标图像的特征进行处理，得到所述目标图像的多个标签，所述多个标签中的每个标签用于指示所述目标图像中的图像内容所属的类别。2.根据权利要求1所述的方法，其特征在于，所述通过预先训练的RNN模型对所述目标图像的特征进行处理，得到所述目标图像的多个标签，包括：将所述目标图像的特征作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征进行处理，得到第一标签，所述第一标签为所述多个标签中的一个；将所述第一标签作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征和所述第一标签进行处理，得到第二标签，所述第二标签为所述多个标签中的一个；确定循环次数，所述循环次数是指所述RNN模型循环对输入的标签和所述目标图像的特征进行处理的次数；当所述循环次数小于或等于预设次数时，将所述第二标签继续作为所述RNN模型的输入，循环执行上述操作，直至所述循环次数大于所述预设次数时，得到所述多个标签。3.根据权利要求1所述的方法，其特征在于，所述通过预先训练的RNN模型对所述目标图像的特征进行处理，得到所述目标图像的多个标签，包括：将所述目标图像的特征作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征进行处理，得到第一标签，所述第一标签为所述多个标签中的一个；将所述第一标签作为所述RNN模型的输入，并通过所述RNN模型对所述目标图像的特征和所述第一标签进行处理，得到第二标签，所述第二标签为所述多个标签中的一个；确定所述目标图像同时属于当前确定得到的所有标签对应的类别的概率；当所述概率大于或等于预设概率时，将所述第二标签继续作为所述RNN模型的输入，循环执行上述操作，直至所述概率小于所述预设概率时，得到所述多个标签。4.根据权利要求1至3任一所述的方法，其特征在于，所述通过预先训练的CNN模型对目标图像进行处理之前，还包括：确定训练样本集，所述训练样本集包括多张图像和预先为每张图像设置的多个标签；根据所述多张图像，对初始化CNN模型进行训练，得到训练后的CNN模型和所述多张图像中每张图像的特征；根据所述多张图像中每张图像的特征，对初始化RNN模型进行训练，得到训练后的RNN模型和所述多张图像中每张图像的多个标签；当通过训练得到的所述多张图像中每张图像的多个标签与预先为对应图像设置的多个标签之间的误差大于预设误差时，通过梯度下降法调整所述初始化CNN模型和所述初始化RNN模型，并返回根据所述多张图像，对初始化CNN模型进行训练的步骤，直至通过训练得到的所述多张图像中每张图像的多个标签与预先为对应图像设置的多个标签之间的误差小于或等于所述预设误差为止，并将最终训练得到的CNN模型确定为所述预先训练的CNN模型，将最终训练得到的RNN模型确定为所述预先训练的RNN模型。5.一种图像分类装置，其特征在于，所述装置包括：第一处理模块，用于通过预先训练的卷积神经网络CNN模型对需要进行分类的目标图像进行处理，以确定所述CNN模型包括的最后一个池化层输出的特征；第...

【专利技术属性】
技术研发人员：万韶华，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11