一种图像场景识别方法和装置制造方法及图纸

本发明专利技术公开了一种图像场景识别方法和装置，涉及图像处理技术领域。所述方法包括：获取原始图像；利用第一分类模型计算所述原始图像的各场景类别对应的第一置信度和激活图；所述激活图中包括每个像素点的激活参数；对各第一置信度进行排序，并提取排序靠前的至少一个第一置信度所属的场景类别所对应的激活图；根据所提取的激活图计算所述原始图像的第二显著区域；基于所述原始图像的第二显著区域，利用第二分类模型计算所述原始图像的场景标签。本发明专利技术解决了先前技术的场景识别方法的准确度以及适用性低的问题，取得了可以通过提取图像的显著区域的特征进行场景识别，提高了场景识别的准确度，进而提高了场景识别的适用性。

【技术实现步骤摘要】
一种图像场景识别方法和装置
本专利技术涉及图像处理
，具体涉及一种图像场景识别方法和一种图像场景识别装置。
技术介绍
场景识别是广义上的图像识别问题中的一个特定的子问题，其目标即为给定一张图像或照片，由计算机自动判断该图像或照片是属于何种具体的场景(包括但不限于室外场景如海滩、森林、城市等，室内场景如客厅、卧室、健身房等，以及事件场景如足球比赛、游行、演唱会等)。如今，场景识别技术在视频监控、社交网络用户行为挖掘等方面发挥着非常重要的作用，也因此受到了广泛的关注和研究。在先技术中，是通过分析图像的全局特征进行场景识别，但是该方法仅适用于类别数量较少的场景识别，如识别夜间场景与非夜间场景。一旦遇到多场景识别、或者复杂背景下的场景识别，这种方案的识别准确率就会大幅下降。例如，若图像的背景比较复杂，则其中的部分区域不会增加该图像对应的各场景类别中某一场景类别可作为该图像的场景标签的显著性，反而会容易使该场景类别与其他场景类别相混淆，从而降低场景识别的准确度。而且在实际应用中，越来越多的可能会涉及夜间、逆光、风景、人物等多种多样的图像或照片的场景识别，这就进一步导致上述的现有场景识别方法的适用性越来越低。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像场景识别装置和相应的一种图像场景识别方法。依据本专利技术的一个方面，提供了一种图像场景识别方法，包括：获取原始图像；利用第一分类模型计算所述原始图像的各场景类别对应的第一置信度和激活图；所述激活图中包括每个像素点的激活参数；对各第一置信度进行排序，并提取排序靠前的至少一个第一置信度所属的场景类别所对应的激活图；根据所提取的激活图计算所述原始图像的第二显著区域；基于所述原始图像的第二显著区域，利用第二分类模型计算所述原始图像的场景标签。可选地，所述根据所提取的激活图计算所述原始图像的第二显著区域，包括：根据预置的阈值以及所提取的每个激活图中每个像素点的激活参数，计算所述原始图像对应于不同场景类别的第一显著区域；将所述对应于不同场景类别的第一显著区域进行合并，得到所述原始图像的第二显著区域。可选地，所述根据预置的阈值以及所提取的每个激活图中每个像素点的激活参数，计算所述原始图像对应于不同场景类别的第一显著区域，包括：将所提取的每个激活图中每个像素点的激活参数与预置的阈值进行比较；若激活参数大于预置的阈值，则确认所述激活参数相应的像素点在所述原始图像上的空间位置属于当前激活图对应的场景类别的第一显著区域。可选地，在所述将所提取的每个激活图中每个像素点的激活参数与预置的阈值进行比较的步骤之前，还包括：对所述所提取的每个激活图中每个像素点的激活参数进行归一化处理。可选地，所述基于所述原始图像的第二显著区域，利用第二分类模型计算所述图像的场景标签，包括：从所述第二显著区域内提取特征向量；根据所述特征向量，利用所述第二分类模型，计算所述第二显著区域的各场景类别的第二置信度；选择所述第二置信度的值排序靠前的至少一个场景类别作为所述原始图像的场景标签。可选地，在所述利用第一分类模型计算原始图像的各场景类别对应的第一置信度和激活图的步骤之前，还包括：利用训练集训练所述第一分类模型；所述训练集中包括至少一个已知场景标签的场景图像。可选地，在所述根据所述特征向量，利用第二分类模型，计算所述显著区域的各场景类别的第二置信度的步骤之前，还包括：利用所述第一分类模型计算所述训练集中各场景图像对应的各场景类别的激活图；根据预置的阈值以及所述训练集中每个场景图像对应的各场景类别的激活图，计算所述训练集中各场景图像的第二显著区域；提取所述训练集中各场景图像的第二显著区域的特征向量，训练第二分类模型。根据本专利技术的另一方面，提供了一种图像场景识别装置，包括：图像获取模块，用于获取原始图像；第一分类模块，用于利用第一分类模型计算所述原始图像的各场景类别对应的第一置信度和激活图；所述激活图中包括每个像素点的激活参数；激活图提取模块，用于对各第一置信度进行排序，并提取排序靠前的至少一个第一置信度所属的场景类别所对应的激活图；第二显著区域计算模块，用于根据所提取的激活图计算所述原始图像的第二显著区域；第二分类模块，用于基于所述原始图像的第二显著区域，利用第二分类模型计算所述原始图像的场景标签。可选地，所述第二显著区域计算模块，包括：第一显著区域计算子模块，用于根据预置的阈值以及所提取的每个激活图中每个像素点的激活参数，计算所述原始图像对应于不同场景类别的第一显著区域；第二显著区域获取子模块，用于将所述对应于不同场景类别的第一显著区域进行合并，得到所述原始图像的显著区域。可选地，所述第一显著区域计算子模块，包括：第一显著区域判断单元，用于将所提取的每个激活图中每个像素点的激活参数与预置的阈值进行比较，若激活参数大于预置的阈值，则确认所述激活参数相应的像素点在所述原始图像上的空间位置属于当前激活图对应的场景类别的第一显著区域。可选地，所述第一显著区域计算子模块，还包括：归一化单元，用于对所述所提取的每个激活图中每个像素点的激活参数进行归一化处理。可选地，所述第二分类模块，包括：特征向量提取子模块，用于从所述第二显著区域内提取特征向量；第二置信度计算子模块，用于根据所述特征向量，利用所述第二分类模型，计算所述第二显著区域的各场景类别的第二置信度；场景标签确定子模块，用于选择所述第二置信度的值排序靠前的至少一个场景类别作为所述原始图像的场景标签。可选地，还包括：第一分类模型训练模块，用于利用训练集训练所述第一分类模型；所述训练集中包括至少一个已知场景标签的场景图像；所述第一分类模型用以计算所述原始图像的各场景类别对应的第一置信度和激活图。可选地，所述第二分类模块，还包括：激活图计算子模块，用于利用所述第一分类模型计算所述训练集中各场景图像对应的各场景类别的激活图；场景图像显著区域提取子模块，用于根据预置的阈值以及所述训练集中每个场景图像对应的各场景类别的激活图，计算所述训练集中各场景图像的第二显著区域；第二分类模型训练子模块，用于提取所述训练集中各场景图像的第二显著区域的特征向量，训练第二分类模型。根据本专利技术的一种图像场景识别方法，可以利用第一分类模型计算所获取的原始图像的各场景类别对应的第一置信度和激活图，其中激活图中包括每个像素点的激活参数，然后提取所述第一置信度排序靠前的至少一个场景类别对应的激活图，根据预置的阈值以及所提取的每个激活图中每个像素点的激活参数，计算所述原始图像的显著区域，进一步从所述显著区域提取特征向量，利用第二分类模型计算所述原始图像的场景标签。由此解决了先前技术的图像场景识别方法需要分析图像的全局特征进行场景识别，对于背景比较复杂或多场景等图像或照片的场景识别的准确度较低，而且适用性也较低等问题，取得了可以通过提取图像的显著区域的特征进行场景识别，提高了对于背景复杂或者多场景等图像的场景识别的准确度，进而提高了场景识别的适用性的有益效果。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说本文档来自技高网...

【技术保护点】
一种图像场景识别方法，包括：获取原始图像；利用第一分类模型计算所述原始图像的各场景类别对应的第一置信度和激活图；所述激活图中包括每个像素点的激活参数；对各第一置信度进行排序，并提取排序靠前的至少一个第一置信度所属的场景类别所对应的激活图；根据所提取的激活图计算所述原始图像的第二显著区域；基于所述原始图像的第二显著区域，利用第二分类模型计算所述原始图像的场景标签。

【技术特征摘要】
1.一种图像场景识别方法，包括：获取原始图像；利用第一分类模型计算所述原始图像的各场景类别对应的第一置信度和激活图；所述激活图中包括每个像素点的激活参数；所述激活图是一个三维图，同一原始图像的每个场景类别分别对应一个激活图，所述同一原始图像的各激活图与所述同一原始图像包含的像素点在空间位置一致；所述激活参数越大表明所述空间位置对区分相应场景类别的贡献越大；对各第一置信度进行排序，并提取排序靠前的至少一个第一置信度所属的场景类别所对应的激活图；根据所提取的激活图计算所述原始图像的第二显著区域；基于所述原始图像的第二显著区域，利用第二分类模型计算所述原始图像的场景标签。2.根据权利要求1所述的方法，其特征在于，所述根据所提取的激活图计算所述原始图像的第二显著区域，包括：根据预置的阈值以及所提取的每个激活图中每个像素点的激活参数，计算所述原始图像对应于不同场景类别的第一显著区域；将所述对应于不同场景类别的第一显著区域进行合并，得到所述原始图像的第二显著区域。3.根据权利要求2所述的方法，其特征在于，所述根据预置的阈值以及所提取的每个激活图中每个像素点的激活参数，计算所述原始图像对应于不同场景类别的第一显著区域，包括：将所提取的每个激活图中每个像素点的激活参数与预置的阈值进行比较；若激活参数大于预置的阈值，则确认所述激活参数相应的像素点在所述原始图像上的空间位置属于当前激活图对应的场景类别的第一显著区域。4.根据权利要求3所述的方法，其特征在于，在所述将所提取的每个激活图中每个像素点的激活参数与预置的阈值进行比较的步骤之前，还包括：对所述所提取的每个激活图中每个像素点的激活参数进行归一化处理。5.根据权利要求1所述的方法，其特征在于，所述基于所述原始图像的第二显著区域，利用第二分类模型计算所述图像的场景标签，包括：从所述第二显著区域内提取特征向量；根据所述特征向量，利用所述第二分类模型，计算所述第二显著区域的各场景类别的第二置信度；选择所述第二置信度的值排序靠前的至少一个场景类别作为所述原始图像的场景标签。6.根据权利要求5所述的方法，其特征在于，在所述利用第一分类模型计算原始图像的各场景类别对应的第一置信度和激活图的步骤之前，还包括：利用训练集训练所述第一分类模型；所述训练集中包括至少一个已知场景标签的场景图像。7.根据权利要求6所述的方法，其特征在于，在所述根据所述特征向量，利用第二分类模型，计算所述显著区域的各场景类别的第二置信度的步骤之前，还包括：利用所述第一分类模型计算所述训练集中各场景图像对应的各场景类别的激活图；根据预置的阈值以及所述训练集中每个场景图像对应的各场景类别的激活图，计算所述训练集中各场景图像的第二显著区域；提取所述训练集中各场景图像的第二显著区域的特征向量，训练第二分类模型。8.一种图像场景识别装置，包括：图像获取模块...

【专利技术属性】
技术研发人员：刘玉明，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11