一种基于图像修复的图像分类方法、系统和存储介质技术方案

本发明专利技术公开了一种基于图像修复的图像分类方法、系统和存储介质，包括：基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。本发明专利技术解决了图像遮挡所造成的图像分类错误的问题，提高了图像分类的精准度。精准度。精准度。

【技术实现步骤摘要】
一种基于图像修复的图像分类方法、系统和存储介质


[0001]本专利技术涉及深度学习
，尤其涉及一种基于图像修复的图像分类方法、系统和存储介质。

技术介绍

[0002]近年来，深度学习方法在图像分类领域取得了令人瞩目的成就，并在工业界取得了广泛应用。但是，图像遮挡问题一直困扰着现有方法，当目标出现大规模遮挡时，基于深度学习的图像分类方法往往由于遮挡造成输入有效特征太少，造成分类错误，限制了其在某些场景下的应用。
[0003]因此，亟需提供一种技术方案解决上述问题。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供了一种基于图像修复的图像分类方法、系统和存储介质。
[0005]本专利技术的一种基于图像修复的图像分类方法的技术方案如下：
[0006]S1、基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；
[0007]S2、将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；
[0008]S3、将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
[0009]本专利技术的一种基于图像修复的图像分类方法的有益效果如下：
[0010]本专利技术的方法解决了图像遮挡所造成的图像分类错误的问题，提高了图像分类的精准度。
[0011]在上述方案的基础上，本专利技术的一种基于图像修复的图像分类方法还可以做如下改进。
[0012]进一步，步骤S1包括：
[0013]S11、分别从每个训练图像中去除部分图像，得到多个残缺图像；
[0014]S12、将任一训练图像对应的残缺图像输入至所述图像特征提取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失；
[0015]S13、基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块；
[0016]S14、将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训
练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失；
[0017]S15、基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块；
[0018]S16、将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块；
[0019]S17、重复执行S12
‑
S16，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行S11，直至所述深度学习模型达到最大迭代次数时，将所述深度学习模型确定为所述训练好的深度学习模型。
[0020]进一步，步骤S11包括：
[0021]S111、将所述任一训练图像进行切割，得到所述任一训练图像的多个图像块；
[0022]S112、从所述任一训练图像的所有图像块中，随机选取多个图像块作为所述任一训练图像的部分图像并舍弃，得到所述任一训练图像对应的残缺图像；
[0023]S113、重复执行S111
‑
S112，直至得到每个训练图像对应的残缺图像。
[0024]进一步，所述图像修复模块包括：依次连接设置的第一全连接层、第二全连接层和resize层；将任一训练图像的第一特征图输入至所述图像修复模块，得到所述任一训练图像的修复图像的步骤，包括：
[0025]将所述任一训练图像的第一特征图输入至所述第一全连接层，并通过所述第一全连接层和所述第二全连接层进行处理，得到所述任一训练图像的中间特征图并输入至所述resize层进行处理，得到所述任一训练图像的修复图像。
[0026]进一步，所述图像特征提取器为：Transformer网络。
[0027]本专利技术的一种基于图像修复的图像分类系统的技术方案如下：
[0028]包括：训练单元、处理单元和检测单元；
[0029]所述训练单元用于：基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；
[0030]所述处理单元用于：将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；
[0031]所述检测单元用于：将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
[0032]本专利技术的一种基于图像修复的图像分类系统的有益效果如下：
[0033]本专利技术的系统解决了图像遮挡所造成的图像分类错误的问题，提高了图像分类的精准度。
[0034]在上述方案的基础上，本专利技术的一种基于图像修复的图像分类系统还可以做如下改进。
[0035]进一步，所述训练单元包括：第一训练单元、第二训练单元、第三训练单元、第四训练单元、第五训练单元、第六训练单元和迭代训练单元；
[0036]所述第一训练单元用于：分别从每个训练图像中去除部分图像，得到多个残缺图像；
[0037]所述第二训练单元用于：将任一训练图像对应的残缺图像输入至所述图像特征提
取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失；
[0038]所述第三训练单元用于：基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块；
[0039]所述第四训练单元用于：将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失；
[0040]所述第五训练单元用于：基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块；
[0041]所述第六训练单元用于：将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块；
[0042]所述第七训练单元用于：重复调用所述第二训练单元至所述第六训练单元，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行所述第一训练单元，直至所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像修复的图像分类方法，其特征在于，包括：S1、基于多个训练图像，对包含图像特征提取器、图像修复模块和图像分类模块的深度学习模型进行训练，得到训练好的深度学习模型；其中，所述图像特征提取器分别与所述图像修复模块和所述图像分类模块连接；S2、将所述训练好的深度学习模型中的图像修复模块删除，得到目标图像分类模型；S3、将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。2.根据权利要求1所述的基于图像修复的图像分类方法，其特征在于，步骤S1包括：S11、分别从每个训练图像中去除部分图像，得到多个残缺图像；S12、将任一训练图像对应的残缺图像输入至所述图像特征提取器，得到第一特征图并输入至所述图像修复模块，得到所述任一训练图像的修复图像，并根据所述任一训练图像和所述任一图像的修复图像，得到所述任一训练图像的第一损失；S13、基于所述任一训练图像的第一损失，对所述图像特征提取器和所述图像修复模块进行参数优化，得到第一优化图像特征提取器和第一图像修复模块；S14、将所述任一训练图像输入至所述第一优化图像特征提取器，得到第二特征图并输入至所述图像分类模块，得到所述任一训练图像的训练预测类别，并根据所述任一训练图像的训练预测类别和真实标签类别，得到所述任一训练图像的第二损失；S15、基于所述任一训练图像的第二损失，对所述第一优化图像特征提取器和所述图像分类模块进行参数优化，得到第二优化图像特征提取器和第一图像分类模块；S16、将所述第二优化图像特征提取器作为所述优化图像特征提取器、所述第一图像修复模块作为所述图像修复模块、所述第一图像分类模块作为所述图像分类模块；S17、重复执行S12
‑
S16，直至所有的训练图像对所述深度学习模型完成一次迭代训练时，返回执行S11，直至所述深度学习模型达到最大迭代次数时，将所述深度学习模型确定为所述训练好的深度学习模型。3.根据权利要求2所述的基于图像修复的图像分类方法，其特征在于，步骤S11包括：S111、将所述任一训练图像进行切割，得到所述任一训练图像的多个图像块；S112、从所述任一训练图像的所有图像块中，随机选取多个图像块作为所述任一训练图像的部分图像并舍弃，得到所述任一训练图像对应的残缺图像；S113、重复执行S111
‑
S112，直至得到每个训练图像对应的残缺图像。4.根据权利要求2所述的基于图像修复的图像分类方法，其特征在于，所述图像修复模块包括：依次连接设置的第一全连接层、第二全连接层和resize层；将任一训练图像的第一特征图输入至所述图像修复模块，得到所述任一训练图像的修复图像的步骤，包括：将所述任一训练图像的第一特征图输入至所述第一全连接层，并通过所述第一全连接层和所述第二全连接层进行处理，得到所述任一训练图像的中间特征图并输入至所述resize层进行处理，得到所述任一训练图像的修复图像。5.根据权利要求1
‑
4任一项所述的基于图像修复的图像分类方法，其特征在于，所述图像特征提取器为：Transformer网络。6.一种基于图像修复的图像分类系统，其特征在于，包括：训练单元、处理单元和检测单元；所述训练单元用于：基于多个训练图像，对包含图像特征提取器、图像修复模块和图...

【专利技术属性】
技术研发人员：程彦皓，
申请(专利权)人：数美天下北京科技有限公司，
类型：发明
国别省市：