基于人工智能的场景分类方法、装置及电子设备制造方法及图纸

本申请提供了一种基于人工智能的场景分类方法、装置、电子设备及计算机可读存储介质；方法包括：针对第一场景类别的图像样本，获取图像样本的第二场景类别；图像样本的第二场景类别是图像样本的第一场景类别的子场景类别；基于第一场景类别、第二场景类别，联合训练第一场景分类模型、第二场景分类模型、第三场景分类模型；第一场景分类模型用于识别第一场景类别，第二场景分类模型用于识别第二场景类别，第三场景分类模型是基于第一场景分类模型以及第二场景分类模型组合得到的；通过训练后的第三场景分类模型对待分类图像进行场景分类处理，得到待分类图像对应的第一场景类别。通过本申请，能够通过细粒度的场景识别提高场景分类准确度。

【技术实现步骤摘要】
基于人工智能的场景分类方法、装置及电子设备
本申请涉及人工智能技术，尤其涉及一种基于人工智能的场景分类方法、装置、电子设备及计算机可读存储介质。
技术介绍
人工智能（AI，ArtificialIntelligence）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。图像理解的典型任务是对图像场景进行识别，例如，针对视频而言，需要针对视频内剧情发生的场景进行识别，通过理解视频中剧情发生的场景，确定视频的标签，从而进行高效率的视频推荐，例如，针对手机拍摄的相片而言，需要针对相片的场景进行识别，通过理解相片的场景，确定相片的标签，从而提高相片分类存储的效率。但是相关技术的场景识别粒度无法满足实际应用中高准确度的场景识别要求。
技术实现思路
本申请实施例提供一种基于人工智能的场景分类方法、装置、电子设备及计算机可读存储介质，能够提高对图像进行场景识别的准确度。本申请实施例的技术方案是这样实现的：本申请实施例提供一种基于人工智能的场景分类方法，包括：针对第一场景类别的多个图像样本，获取每个所述图像样本的至少一个第二场景类别；其中，每个所述图像样本的至少一个第二场景类别是所述图像样本的第一场景类别的子场景类别；基于所述多个图像样本的第一场景类别、以及所述多个图像样本的第二场景类别，联合训练第一场景分类模型、第二场景分类模型以及第三场景分类模型；其中，所述第一场景分类模型用于识别不同的所述第一场景类别，所述第二场景分类模型用于识别不同的所述第二场景类别，所述第三场景分类模型是基于所述第一场景分类模型以及所述第二场景分类模型组合得到的；通过训练后的所述第三场景分类模型对待分类图像进行场景分类处理，得到所述待分类图像在不同的所述第一场景类别中对应的第一场景类别。本申请实施例提供一种基于人工智能的场景分类装置，包括：获取模块，用于针对第一场景类别的多个图像样本，获取每个所述图像样本的至少一个第二场景类别；其中，每个所述图像样本的至少一个第二场景类别是所述图像样本的第一场景类别的子场景类别；训练模块，用于基于所述多个图像样本的第一场景类别、以及所述多个图像样本的第二场景类别，联合训练第一场景分类模型、第二场景分类模型以及第三场景分类模型；其中，所述第一场景分类模型用于识别不同的所述第一场景类别，所述第二场景分类模型用于识别不同的所述第二场景类别，所述第三场景分类模型是基于所述第一场景分类模型以及所述第二场景分类模型组合得到的；应用模块，用于通过训练后的所述第三场景分类模型对待分类图像进行场景分类处理，得到所述待分类图像在不同的所述第一场景类别中对应的第一场景类别。在上述方案中，所述获取模块，还用于：通过所述第一场景分类模型，获取每个所述图像样本的第一分类特征；针对每个所述第一场景类别执行以下处理：从所述多个图像样本中获取属于所述第一场景类别的图像样本，作为目标图像样本，并基于多个所述目标图像样本的第一分类特征，对多个所述目标图像样本进行聚类处理，得到与至少一个所述第二场景类别一一对应的至少一个聚类；基于所述至少一个聚类，确定每个所述图像样本的第二场景类别。在上述方案中，所述获取模块，还用于：针对每个所述图像样本执行以下处理：提取所述图像样本的第一卷积特征，并对所述图像样本的第一卷积特征进行池化处理，得到所述图像样本的第一池化特征；对所述第一池化特征进行多次残差迭代处理，得到所述图像样本的残差迭代处理结果；对所述图像样本的残差迭代处理结果进行最大池化处理，得到所述图像样本的最大池化处理结果；对所述图像样本的最大池化处理结果进行第一嵌入处理，得到所述图像样本的第一分类特征。在上述方案中，所述获取模块，还用于：将所述多个目标图像样本组成目标图像样本集合；从所述目标图像样本集合中随机选择N个目标图像样本，将对应所述N个目标图像样本的第一分类特征作为多个聚类的初始质心，并将所述N个目标图像样本从所述目标图像样本集合移除，其中，N为对应所述第一场景类别的第二场景类别的数目，N为大于或者等于2的整数；初始化聚类处理的迭代次数为M，并建立对应每个所述聚类的空的集合，其中，M为大于或者等于2的整数；在所述聚类处理的每一次迭代过程中执行以下处理：对每个所述聚类的集合进行更新处理，并基于更新处理结果执行质心生成处理，得到每个所述聚类的新质心，当所述新质心不同于所述初始质心时，将所述初始质心对应的目标图像样本再次添加至所述目标图像样本集合，并基于所述新质心更新所述初始质心；将迭代M次后得到的每个所述聚类的集合确定为聚类处理结果，或者，将迭代m次后得到的每个所述聚类的集合确定为聚类处理结果；其中，迭代m次后得到的多个聚类与迭代m-1次后得到的多个聚类的质心相同，m小于M，m为整数变量且取值满足2≤m≤M。在上述方案中，所述获取模块，还用于：针对所述目标图像样本集合中每个所述目标图像样本执行以下处理：确定所述目标图像样本的第一分类特征与每个所述聚类的初始质心之间的相似度；将最大相似度对应的初始质心确定为与所述目标图像样本属于相同聚类，并将所述目标图像样本转移至最大相似度初始质心对应的聚类的集合，所述最大相似度初始质心为最大的所述相似度对应的初始质心；将每个所述聚类的集合中每个目标图像样本的第一分类特征进行平均处理，得到每个所述聚类的新质心。在上述方案中，所述获取模块，还用于：针对每个所述聚类执行以下处理：将每个所述聚类中的每个目标图像样本的第一分类特征进行平均处理，得到每个所述聚类的质心；针对所述多个图像样本中的每个所述图像样本执行以下处理：确定所述图像样本的第一分类特征与每个所述聚类的质心之间的特征距离，将小于特征距离阈值的特征距离对应的质心的聚类，确定为与所述图像样本关联的聚类，并将所述聚类对应的第二场景类别确定为所述图像样本的第二场景类别。在上述方案中，所述获取模块，还用于：在将小于特征距离阈值的特征距离对应的质心的聚类，确定为与所述目标图像样本关联的聚类之前，针对每个所述第一场景类别执行以下处理：从数据库中查询所述第一场景类别的标记准确度；获取与所述标记准确度正相关的第一场景类别阈值；确定属于所述第一场景类别的目标图像样本在所述多个图像样本中的数目占比，并将所述数目占比作为所述第一场景类别阈值的权重；基于每个所述第一场景类别阈值的权重，对多个所述第一场景类别阈值进行加权求和处理，得到所述特征距离阈值。在上述方案中，所述获取模块，还用于：针对每个所述目标图像样本，确定所述目标图像样本的第一分类特征与每个所述聚类的质心的候选中心距离，并将最小的候选中心距离确定为所述目标图像样本的中心距离；获取与所述标记准确度正相关的升序排序位置，并对多个所述目标图像样本的中心距离进行升序排序；获取升序排序结果中对应所述升序排序位置的中心距离，并所述中心距离确定为所述第一场景类别阈值。在上述方案中，所述第一场景分类模型包括特本文档来自技高网...

【技术保护点】
1.一种基于人工智能的场景分类方法，其特征在于，包括：/n针对第一场景类别的多个图像样本，获取每个所述图像样本的至少一个第二场景类别；/n其中，每个所述图像样本的至少一个第二场景类别是所述图像样本的第一场景类别的子场景类别；/n基于所述多个图像样本的第一场景类别、以及所述多个图像样本的第二场景类别，联合训练第一场景分类模型、第二场景分类模型以及第三场景分类模型；/n其中，所述第一场景分类模型用于识别不同的所述第一场景类别，所述第二场景分类模型用于识别不同的所述第二场景类别，所述第三场景分类模型是基于所述第一场景分类模型以及所述第二场景分类模型组合得到的；/n通过训练后的所述第三场景分类模型对待分类图像进行场景分类处理，得到所述待分类图像在不同的所述第一场景类别中对应的第一场景类别。/n

【技术特征摘要】
1.一种基于人工智能的场景分类方法，其特征在于，包括：
针对第一场景类别的多个图像样本，获取每个所述图像样本的至少一个第二场景类别；
其中，每个所述图像样本的至少一个第二场景类别是所述图像样本的第一场景类别的子场景类别；
基于所述多个图像样本的第一场景类别、以及所述多个图像样本的第二场景类别，联合训练第一场景分类模型、第二场景分类模型以及第三场景分类模型；
其中，所述第一场景分类模型用于识别不同的所述第一场景类别，所述第二场景分类模型用于识别不同的所述第二场景类别，所述第三场景分类模型是基于所述第一场景分类模型以及所述第二场景分类模型组合得到的；
通过训练后的所述第三场景分类模型对待分类图像进行场景分类处理，得到所述待分类图像在不同的所述第一场景类别中对应的第一场景类别。


2.根据权利要求1所述的方法，其特征在于，所述针对第一场景类别的多个图像样本，获取每个所述图像样本的至少一个第二场景类别，包括：
通过所述第一场景分类模型，获取每个所述图像样本的第一分类特征；
针对每个所述第一场景类别执行以下处理：
从所述多个图像样本中获取属于所述第一场景类别的图像样本，作为目标图像样本，并基于多个所述目标图像样本的第一分类特征，对多个所述目标图像样本进行聚类处理，得到与至少一个所述第二场景类别一一对应的至少一个聚类；
基于所述至少一个聚类，确定每个所述图像样本的第二场景类别。


3.根据权利要求2所述的方法，其特征在于，所述获取每个所述图像样本的第一分类特征，包括：
针对每个所述图像样本执行以下处理：
提取所述图像样本的第一卷积特征，并对所述图像样本的第一卷积特征进行池化处理，得到所述图像样本的第一池化特征；
对所述第一池化特征进行多次残差迭代处理，得到所述图像样本的残差迭代处理结果；
对所述图像样本的残差迭代处理结果进行最大池化处理，得到所述图像样本的最大池化处理结果；
对所述图像样本的最大池化处理结果进行第一嵌入处理，得到所述图像样本的第一分类特征。


4.根据权利要求2所述的方法，其特征在于，所述基于多个所述目标图像样本的第一分类特征，对多个所述目标图像样本进行聚类处理，得到与至少一个所述第二场景类别一一对应的至少一个聚类，包括：
将多个所述目标图像样本组成目标图像样本集合；
从所述目标图像样本集合中随机选择N个目标图像样本，将对应所述N个目标图像样本的第一分类特征作为多个聚类的初始质心，并将所述N个目标图像样本从所述目标图像样本集合移除，其中，N为对应所述第一场景类别的第二场景类别的数目，N为大于或者等于2的整数；
初始化聚类处理的迭代次数为M，并建立对应每个所述聚类的空的集合，其中，M为大于或者等于2的整数；
在所述聚类处理的每一次迭代过程中执行以下处理：对每个所述聚类的集合进行更新处理，并基于更新处理结果执行质心生成处理，得到每个所述聚类的新质心，当所述新质心不同于所述初始质心时，将所述初始质心对应的目标图像样本再次添加至所述目标图像样本集合，并基于所述新质心更新所述初始质心；
将迭代M次后得到的每个所述聚类的集合确定为聚类处理结果，或者，将迭代m次后得到的每个所述聚类的集合确定为聚类处理结果；
其中，迭代m次后得到的多个聚类与迭代m-1次后得到的多个聚类的质心相同，m为整数变量且取值满足2≤m≤M。


5.根据权利要求4所述的方法，其特征在于，所述对每个所述聚类的集合进行更新处理，并基于更新处理结果执行质心生成处理，得到每个所述聚类的新质心，包括：
针对每个所述目标图像样本执行以下处理：
确定所述目标图像样本的第一分类特征与每个所述聚类的初始质心之间的相似度；
将最大相似度对应的初始质心确定为与所述目标图像样本属于相同聚类，并将所述目标图像样本转移至最大相似度初始质心对应的聚类的集合，所述最大相似度初始质心为最大的所述相似度对应的初始质心；
将每个所述聚类的集合中每个目标图像样本的第一分类特征进行平均处理，得到每个所述聚类的新质心。


6.根据权利要求4所述的方法，其特征在于，所述基于所述至少一个聚类，确定每个所述图像样本的第二场景类别，包括：
针对每个所述聚类执行以下处理：将每个所述聚类中的每个目标图像样本的第一分类特征进行平均处理，得到每个所述聚类的质心；
针对所述多个图像样本中的每个所述图像样本执行以下处理：
确定所述图像样本的第一分类特征与每个所述聚类的质心之间的特征距离，将小于特征距离阈值的特征距离对应的质心的聚类，确定为与所述图像样本关联的聚类，并将所述聚类对应的第二场景类别确定为所述图像样本的第二场景类别。


7.根据权利要求6所述的方法，其特征在于，在将小于特征距离阈值的特征距离对应的质心的聚类，确定为与所述图像样本关联的聚类之前，所述方法还包括：
针对每个所述第一场景类别执行以下处理：
从数据库中查询所述第一场景类别的标记准确度；
获取与所述标记准确度正相关的第一场景类别阈值；确定属于所述第一场景类别的所述目标图像样本在所述多个图像样本中的数目占比，并将所述数目占比作为所述第一场景类别阈值的权重；
基于每个所述第一场景类别阈值的权重，对多个所述第一场景类别阈值进行加权求和处理，得到所述特征距离阈值。


8.根据权利要求7所述的方法，其特征在于，所述获取与所述标记准确度正相关的第一场景类别阈值，包括：
针对每个所述目标图像样本，确定所述目标图像样本的第一分类特征与每个所述聚类的...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44