图像分类方法及装置、电子设备、计算机程序及存储介质制造方法及图纸

本发明专利技术实施例公开了一种图像分类方法及装置、电子设备、计算机程序及存储介质，其中，方法包括：根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；根据所述比对结果确定所述待处理图像的类别。本发明专利技术实施例可以实现对未标注图像的分类或者聚类，不需要预先学习所有类别的图像，提高了效率，降低了成本。

【技术实现步骤摘要】
图像分类方法及装置、电子设备、计算机程序及存储介质
本专利技术涉及计算机视觉技术，尤其是一种图像分类方法及装置、电子设备、计算机程序及存储介质。
技术介绍
近年来，随着深度学习的兴起和ImageNet等大规模数据集的出现，计算机视觉任务的趋势是将分类任务扩展到更大规模的数据集上，并扩展类别的数量。但是，绝大多数现有的分类模型都是基于监督学习的，需要大量标记好的训练数据，然而对于稀有类别的数据收集和对大量数据的标记是很困难的，需要消耗大量的人力和时间资源。
技术实现思路
本专利技术实施例提供一种图像分类技术方案。根据本专利技术实施例的一个方面，提供一种图像分类方法，包括：根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；根据所述比对结果确定所述待处理图像的类别。可选地，在本专利技术上述方法实施例中，所述根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征之前，还包括：对所述待处理图像进行特征提取，得到所述待处理图像的图像特征。可选地，在本专利技术上述任一方法实施例中，所述将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果，包括：将所述语义特征与所述未标注图像语义特征库中的语义特征进行比对，得到至少一个相似度；将相似度大于预设阈值的所述语义特征库中的语义特征作为比对结果。可选地，在本专利技术上述任一方法实施例中，所述根据所述比对结果确定所述待处理图像的类别，包括：将所述比对结果对应的类别作为所述待处理图像的类别。可选地，在本专利技术上述任一方法实施例中，所述根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征之前，还包括：根据已标注图像和所述未标注图像训练所述转导式语义编码器。可选地，在本专利技术上述任一方法实施例中，所述根据已标注图像和所述未标注图像训练所述转导式语义编码器，包括：根据所述已标注图像的第一图像特征及其第一语义特征，得到所述第一图像特征与所述第一语义特征之间的正向映射和反向映射；根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数；根据所述正向映射将所述未标注图像的第二图像特征转化为第二语义特征；将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征；根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数；根据所述第一目标函数和所述第二目标函数优化所述正向映射，得到收敛的正向映射。可选地，在本专利技术上述任一方法实施例中，所述根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征，包括：根据所述收敛的正向映射将待处理图像的图像特征转化为语义特征。可选地，在本专利技术上述任一方法实施例中，所述根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数，包括：根据所述正向映射和所述反向映射，基于最小化图像重建误差，得到所述转导式语义编码器的第一目标函数。可选地，在本专利技术上述任一方法实施例中，所述将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征，包括：将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，在所述未标注图像语义特征库中获取与所述第二语义特征的相似度最大的语义特征；在所述第二语义特征与所述未标注图像语义特征库中的语义特征的相似度中，获取与最大相似度之间的差值小于预设阈值的第一相似度，将所述第一相似度对应的语义特征作为相似度大于预设阈值的语义特征。可选地，在本专利技术上述任一方法实施例中，所述根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数，包括：根据所述第二语义特征和所述相似度大于预设阈值的语义特征，基于最小化所述第二语义特征与所述相似度大于预设阈值的语义特征的平均距离，得到所述转导式语义编码器的第二目标函数。可选地，在本专利技术上述任一方法实施例中，所述根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数之后，还包括：对所述转导式语义编码器的第一目标函数求导，得到关于所述正向映射参数的第一方程；所述根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数之后，还包括：对所述转导式语义编码器的第二目标函数求导，得到关于所述正向映射参数的第二方程；所述根据所述第一目标函数和所述第二目标函数优化所述正向映射，包括：结合所述第一方程和所述第二方程，得到关于所述正向映射参数的总方程；求解关于所述正向映射参数的总方程，得到所述正向映射参数的优化解。根据本专利技术实施例的另一个方面，提供一种图像分类装置，包括：转化单元，用于根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；比对单元，用于将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；分类单元，用于根据所述比对结果确定所述待处理图像的类别。可选地，在本专利技术上述装置实施例中，提取单元，用于对所述待处理图像进行特征提取，得到所述待处理图像的图像特征。可选地，在本专利技术上述任一装置实施例中，所述比对单元，用于将所述语义特征与所述未标注图像语义特征库中的语义特征进行比对，得到至少一个相似度；以及将相似度大于预设阈值的所述语义特征库中的语义特征作为比对结果。可选地，在本专利技术上述任一装置实施例中，所述分类单元，用于将所述比对结果对应的类别作为所述待处理图像的类别。可选地，在本专利技术上述任一装置实施例中，还包括：训练单元，用于根据已标注图像和所述未标注图像训练所述转导式语义编码器。可选地，在本专利技术上述任一装置实施例中，所述训练单元，包括：映射模块，用于根据所述已标注图像的第一图像特征及其第一语义特征，得到所述第一图像特征与所述第一语义特征之间的正向映射和反向映射；优化模块，用于根据所述正向映射和所述反向映射获取所述转导式语义编码器的第一目标函数；根据所述正向映射将所述未标注图像的第二图像特征转化为第二语义特征；将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，获取相似度大于预设阈值的语义特征；根据所述第二语义特征和所述相似度大于预设阈值的语义特征得到所述转导式语义编码器的第二目标函数；以及根据所述第一目标函数和所述第二目标函数优化所述正向映射，得到收敛的正向映射。可选地，在本专利技术上述任一装置实施例中，所述转化单元，用于根据所述收敛的正向映射将待处理图像的图像特征转化为语义特征。可选地，在本专利技术上述任一装置实施例中，所述优化模块，用于根据所述正向映射和所述反向映射，基于最小化图像重建误差，得到所述转导式语义编码器的第一目标函数。可选地，在本专利技术上述任一装置实施例中，所述优化模块，用于将所述第二语义特征与所述未标注图像语义特征库中的语义特征进行比对，在所述未标注图像语义特征库中获取与所述第二语义特征的相似度最大的语义特征；以及在所述第二语义特征与所述未标注图像语义特征库中的语义特征的相似度中，获取与最大相似度之间的差值小于预设阈值的第一相似度，将所述第一相似度对应的语义特征作为相似度大于预设阈值的语义特征。可选地，在本专利技术上述任一装置本文档来自技高网...

【技术保护点】
1.一种图像分类方法，其特征在于，包括：根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；根据所述比对结果确定所述待处理图像的类别。

【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征；将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果；根据所述比对结果确定所述待处理图像的类别。2.根据权利要求1所述的方法，其特征在于，所述将所述语义特征与未标注图像语义特征库中的语义特征进行比对，得到比对结果，包括：将所述语义特征与所述未标注图像语义特征库中的语义特征进行比对，得到至少一个相似度；将相似度大于预设阈值的所述语义特征库中的语义特征作为比对结果。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述比对结果确定所述待处理图像的类别，包括：将所述比对结果对应的类别作为所述待处理图像的类别。4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据预先训练的转导式语义编码器，将待处理图像的图像特征转化为语义特征之前，还包括：根据已标注图像和所述未标注图像训练所述转导式语义编码器。5.根据权利要求4所述的方法，其特征在于，所述根据已标注图像和所述未标注图像训练所述转导式语义编码器，包括：根据所述已标注图像的第一图像特征及其第一语义特征，得到所述第一图像特征与所述第一语义特征之间的正向映射和反向映射；根据所述正向映射和所述反向映射获取所述转导式...

【专利技术属性】
技术研发人员：丁明宇，王哲，石建萍，卢志武，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11