图像识别方法、图像分类模型的训练方法及装置制造方法及图纸

本申请公开了一种图像识别方法、图像分类模型的训练方法、装置、设备及存储介质，涉及自然语言处理领域，尤其涉及图像识别和深度学习领域。具体实现方案为：采用经过训练的图像分类模型对采集到的输入图像进行分类处理，以从至少一个异常标签和各异常标签关联的背景标签中，确定输入图像的标签；在根据输入图像的标签，确定输入图像存在异常标签指示的异常行为，或者确定输入图像存在背景标签指示的背景。由此，解决了相关技术中城管违章案件处理过程中需要人工审核，存在审核成本大、周期长等技术问题，减少了案件审核人员的工作量。

【技术实现步骤摘要】
图像识别方法、图像分类模型的训练方法及装置
本申请公开了一种图像识别方法、图像分类模型的训练方法、装置、设备及存储介质，尤其涉及自然语言处理
，具体涉及图像识别和深度学习。
技术介绍
目前城管案件处理的流程是由巡检员在城市各地巡逻，发现案件后采集案件图片，上传城管系统，通过人工审核识别案件类型，入库。一段时间后，由巡检员再次到案件地址采集图片，上传城管系统，通过人工审核判定当前案件是否被处理，若消失，则做销案处理，关闭此案件，否则更新案件，以便后续再次巡检。整个流程中最核心的案件识别任务和销案判定任务完全依赖于人工，对于每年百万级别的案件数量，人工审核成本大，周期长，且不同审核人员标准和理解不统一。
技术实现思路
本申请提供了一种图像识别方法、图像分类模型的训练方法、装置、设备、存储介质及计算机程序产品。本申请的第一方面实施例，提供了一种图像识别方法，包括：获取经过训练的图像分类模型，以及获取采集到的输入图像；采用所述图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各所述异常标签关联的背景标签中，确定所述输入图像的标签；根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景。作为本申请实施例的一种可能的实现方式，所述根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景，包括：在所述输入图像的标签为所述异常标签的情况下，确定所述输入图像展示有所述异常标签指示的异常行为；在所述输入图像的标签为所述背景标签的情况下，确定所述输入图像中展示有所述背景标签指示的背景，且未具有所述背景标签所关联的异常标签所指示的异常行为。作为本申请实施例的另一种可能的实现方式，所述方法还包括：查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为；在所述历史异常行为所属的异常标签，与所述输入图像的标签不匹配的情况下，采用属性识别模型对所述输入图像进行属性识别，以得到至少一个属性的属性值，其中，所述属性用于指示异常行为，所述属性值用于指示存在异常行为的概率；从所述至少一个属性的属性值中，确定指示所述历史异常行为的目标属性的属性值；在所述目标属性的属性值小于或等于概率阈值的情况下，执行所述历史异常行为的核销流程。作为本申请实施例的另一种可能的实现方式，所述查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为之后，还包括：在所述历史异常行为所属的异常标签，与所述输入图像的标签匹配的情况下，发出继续采集图像的指示信息。作为本申请实施例的另一种可能的实现方式，所述查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为之后，还包括：在所述目标属性的属性值大于概率阈值的情况下，发出继续采集图像的指示信息。本申请第二方面实施例提出了一种图像分类模型的训练方法，图像分类模型用于执行第一方面实施例中所述的图像识别方法，所述训练方法包括：获取本轮训练采用的第一样本集合和第二样本集合；采用所述第一样本集合中的训练样本，对图像分类模型进行训练；采用所述第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到所述第二样本集合中各训练样本的预测标签和对应的置信度；将所述第二样本集合中的目标样本移动至所述第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合；其中，所述目标样本，包括所述预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本。作为本申请实施例的一种可能的实现方式，所述本轮训练采用的阈值置信度大于下一轮训练采用的阈值置信度。作为本申请实施例的另一种可能的实现方式，所述采用所述第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到所述第二样本集合中各训练样本的预测标签和置信度之后，还包括：发送提示信息，其中，所述提示信息，用于对所述第二样本集合中，所述预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本提示进行人工复核；响应于用户复核操作，将经过复核的训练样本作为所述目标样本移动至所述第一样本集合中。作为本申请实施例的另一种可能的实现方式，所述方法还包括：将多个候选样本输入所述图像分类模型，以得到各所述候选样本的预测标签；根据多个所述候选样本的预测标签和标注标签，生成目标矩阵；其中，所述目标矩阵中的元素表征符合行对应的标注标签，且符合列对应的预测标签的候选样本；从所述目标矩阵中，获取目标元素，其中，所述目标元素为行对应的标注标签与列对应的预测标签不匹配的元素；根据所述目标元素表征的候选样本，生成首轮训练采用的所述第二样本集合。本申请第三方面实施例提出了一种图像识别装置，包括：获取模块，用于获取经过训练的图像分类模型，以及获取采集到的输入图像；输入模块，用于采用所述图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各所述异常标签关联的背景标签中，确定所述输入图像的标签；确定模块，用于根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景。本申请第四方面实施例提出了一种图像分类模型的训练装置，所述图像分类模型用于执行第一方面实施例所述的图像识别方法，所述训练装置包括：获取模块，用于获取本轮训练采用的第一样本集合和第二样本集合；训练模块，用于采用所述第一样本集合中的训练样本，对图像分类模型进行训练；测试模块，用于采用所述第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到所述第二样本集合中各训练样本的预测标签和对应的置信度；第一移动模块，用于将所述第二样本集合中的目标样本移动至所述第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合；其中，所述目标样本，包括所述预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本。本申请第五方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所述的图像识别方法，或者，执行第二方面实施例所述的模型的训练方法。本申请第六方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面实施例所述的图像识别方法，或者，执行第二方面实施例所述的模型的训练方法。本申请第七方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例所述的图像识别方法，或者，执行第二方面实施例所述的模型的训练方法。应当理解，本部分所描述的内容并非旨在标识本申请的实施例本文档来自技高网...

【技术保护点】
1.一种图像识别方法，包括：/n获取经过训练的图像分类模型，以及获取采集到的输入图像；/n采用所述图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各所述异常标签关联的背景标签中，确定所述输入图像的标签；/n根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景。/n

【技术特征摘要】
1.一种图像识别方法，包括：
获取经过训练的图像分类模型，以及获取采集到的输入图像；
采用所述图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各所述异常标签关联的背景标签中，确定所述输入图像的标签；
根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景。


2.根据权利要求1所述的图像识别方法，其中，所述根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景，包括：
在所述输入图像的标签为所述异常标签的情况下，确定所述输入图像展示有所述异常标签指示的异常行为；
在所述输入图像的标签为所述背景标签的情况下，确定所述输入图像中展示有所述背景标签指示的背景，且未具有所述背景标签所关联的异常标签所指示的异常行为。


3.根据权利要求1所述的图像识别方法，其中，所述方法还包括：
查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为；
在所述历史异常行为所属的异常标签，与所述输入图像的标签不匹配的情况下，采用属性识别模型对所述输入图像进行属性识别，以得到至少一个属性的属性值，其中，所述属性用于指示异常行为，所述属性值用于指示存在异常行为的概率；
从所述至少一个属性的属性值中，确定指示所述历史异常行为的目标属性的属性值；
在所述目标属性的属性值小于或等于概率阈值的情况下，执行所述历史异常行为的核销流程。


4.根据权利要求3所述的图像识别方法，其中，所述查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为之后，还包括：
在所述历史异常行为所属的异常标签，与所述输入图像的标签匹配的情况下，发出继续采集图像的指示信息。


5.根据权利要求3所述的图像识别方法，其中，所述查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为之后，还包括：
在所述目标属性的属性值大于概率阈值的情况下，发出继续采集图像的指示信息。


6.一种图像分类模型的训练方法，所述图像分类模型用于执行如权利要求1-5任一项所述的图像识别方法，所述训练方法包括：
获取本轮训练采用的第一样本集合和第二样本集合；
采用所述第一样本集合中的训练样本，对图像分类模型进行训练；
采用所述第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到所述第二样本集合中各训练样本的预测标签和对应的置信度；
将所述第二样本集合中的目标样本移动至所述第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合；其中，所述目标样本，包括所述预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本。


7.根据权利要求6所述的模型训练方法，其中，所述本轮训练采用的阈值置信度大于下一轮训练采用的阈值置信度。


8.根据权利要求6所述的模型训练方法，其中，所述采用所述第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到所述第二样本集合中各训练样本的预测标签和置信度之后，还包括：
发送提示信息，其中，所述提示信息，用于对所述第二样本集合中，所述预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本提示进行人工复核；
响应于用户复核操作，将经过复核的训练样本作为所述目标样本移动至所述第一样本集合中。


9.根据权利要求6-8任一项所述的模型训练方法，其中，所述方法还包括：
将多个候选样本输入所述图像分类模型，以得到各所述候选样本的预测标签；
根据多个所述候选样本的预测标签和标注标签，生成目标矩阵；其中，所述目标矩阵中的元素表征符合行对应的标注标签，且符合列对应的预测标签的候选样本；
从所述目标矩阵中，获取目标元素，其中，所述目标元素为行对应的标注标签与列对应的预测标签不匹配的元素；
根据所述目标元素表征的候选样本，生成首轮训练采用的所述第二样本集合。


10.一种图像识别装置，包括：
获取模块，用于获取经过训练的图像分类模型，以及获取采集到的输入图像；
输入模块，用于采用所述图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各所述异常标签关联的背景标签中，确定所述输入图像的标签；
确定模块，用于根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图...

【专利技术属性】
技术研发人员：唐鑫，王冠皓，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11