一种场景识别方法、装置、智能设备及存储介质制造方法及图纸

本发明专利技术应用于图像检索技术领域，其提供一种场景识别方法、装置、智能设备及存储介质，所述场景识别方法包括：获取待处理图像以及待处理图像对应的语义掩码图；其中，待处理图像包括查询图像及待识别图像，所述待处理图像对应的语义掩码图包括所述查询图像的语义掩码图和所述待识别图像的语义掩码图；根据语义掩码图对待处理图像进行特征聚合处理，得到待处理图像的特征向量；利用待处理图像的特征向量从待识别图像中确定与查询图像的场景匹配的图像。以此通过语义掩码图降低干扰因素特征对特征识别的干扰，进而提高场景识别的鲁棒性。进而提高场景识别的鲁棒性。进而提高场景识别的鲁棒性。

【技术实现步骤摘要】
一种场景识别方法、装置、智能设备及存储介质


[0001]本专利技术涉及图像检索
，尤其设计一种场景识别方法、装置、智能设备及存储介质。

技术介绍

[0002]场景识别在计算机视觉领域有着重要的应用，譬如同时定位和地图构建(Simultaneously Localization And Mapping,简称SLAM)、运动恢复结构(Structure From Motion，SFM)和视觉定位(Visual Lcoalization，VL)。
[0003]场景识别问题研究的主要内容是从给定的一张图像中识别出对应的场景，给出场景的名称或是场景的地理位置，亦或是从数据库中挑选出与场景相似的图像，也可以看做是图像检索问题。目前常用的方法有两种，一种是直接计算图像的全局描述，另一种是使用特征聚合的方法。目前现有技术中对场景识别方法的研究也越来越多。

技术实现思路

[0004]本专利技术提供一种场景识别方法、装置、智能设备及存储介质，用以在图像中含有干扰因素时，提高场景识别的鲁棒性。
[0005]为解决上述技术问题，本专利技术提供的第一个技术方案为：提供一种场景识别方法，包括：获取待处理图像以及所述待处理图像对应的语义掩码图；其中，所述待处理图像包括查询图像及待识别图像，所述待处理图像对应的语义掩码图包括所述查询图像的语义掩码图和所述待识别图像的语义掩码图；根据所述语义掩码图对所述待处理图像进行特征聚合处理，得到所述待处理图像的特征向量；利用所述待处理图像的特征向量从所述待识别图像中确定与所述查询图像的场景匹配的图像。通过语义掩码图结合特征聚合方式得到待处理图像对应的特征，以此能够降低干扰因素的干扰，提高场景识别的鲁棒性。
[0006]其中，所述获取待处理图像以及所述待处理图像对应的语义掩码图的步骤包括：对所述待识别图像及所述查询图像进行语义分割处理，得到每一像素的类别及所述类别对应的概率；按照设定条件对每一像素的类别设置权重；根据所述类别对应的概率及所述类别对应的权重得到每一所述像素对应的语义掩码，其中，所有所述像素对应的语义掩码构成语义掩码图。通过权重的设置使得得到的语义掩码图在结合特征聚合方式得到待处理图像对应的特征后，能够降低干扰因素的干扰，提高场景识别的鲁棒性。
[0007]其中，所述按照设定条件对每一像素的类别设置权重之前还包括：对所有像素进行属性分类，以得到一个或多个子类别；按照设定条件对每一所述子类别设置权重；根据所述子类别对应的概率及所述子类别对应的权重得到每一所述像素对应的语义掩码，其中，所有所述像素对应的语义掩码构成语义掩码图。给每一子类别设置权重，能够降低干扰因素的干扰，提高场景识别的鲁棒性。
[0008]其中，所述子类别包括固定子类别、不固定子类别、动态和未知中至少两种；动态子类别的权重小于所述固定子类别、所述不固定子类别及所述未知子类别的权重。例如，为
不固定子类别设置较高权重，固定子类别设置较小权重，以此消除不固定特征对特征识别的干扰，提高场景识别的鲁棒性。
[0009]其中，所述根据所述子类别对应的概率及所述子类别对应的权重得到每一所述像素对应的语义掩码包括：利用如下公式(1)计算所述像素对应的语义掩码：
[0010]m
i
＝p
i
×
w
i
ꢀꢀ
(1)
[0011]其中，m
i
表示第i个像素对应的语义掩码，其生成的图为语义掩码图，p
i
表示第i个像素所属的子类别的概率，w
i
表示第i个像素所属的类别或子类别对应的权重。通过计算语义掩码图，以降低不固定特征对场景识别的干扰。
[0012]其中，根据所述语义掩码图对所述待处理图像进行特征聚合处理，得到所述待处理图像的特征向量包括：对所述待处理图像进行特征抽取，得到特征集合；依据所述特征集合形成多个聚类中心；根据多个所述聚类中心得到每一所述待处理图像中的每一特征对应的聚类中心；确定所述待处理图像中的每一特征在第一维度对应的值，以及，确定所述待处理图像中的所述每一特征对应的聚类中心在所述第一维度对应的值；通过所述待处理图像中的每一特征对应的聚类中心，所述待处理图像中的每一特征对应的聚类中心在第一维度对应的值，以及，所述待处理图像中的所述每一特征对应的聚类中心在所述第一维度对应的值，结合所述查询图像的语义掩码图，对所述查询图像进行特征聚合处理，以得到所述查询图像的特征向量；以及通过所述待处理图像中的每一特征对应的聚类中心，所述待处理图像中的每一特征对应的聚类中心在第一维度对应的值，以及，所述待处理图像中的每一特征对应的聚类中心在所述第一维度对应的值，结合所述待识别图像的语义掩码图，对所述待识别图像进行特征聚合处理，以得到所述待识别图像的特征向量。利用语义掩码图得到待处理图像对应的特征，由于语义掩码图中对不固定特征进行了权重设置，以此能够降低干扰因素的干扰，提高场景识别的鲁棒性。
[0013]其中，所述依据所述特征集合形成多个聚类中心包括：利用聚类算法对所述特征集合进行处理，以形成多个聚类中心；所述根据多个所述聚类中心得到每一所述待处理图像中的每一特征对应的聚类中心包括：将距离每一所述特征最近的聚类中心作为所述待处理图像中的每一特征对应的聚类中心。
[0014]其中，所述利用所述待处理图像的特征向量从所述待识别图像中确定与所述查询图像的场景匹配的图像包括：根据所述待识别图像的特征向量与所述查询图像的特征向量的距离，从所述待识别图像中确定与所述查询图像场景匹配的图像。由于特征向量的计算结合了语义掩码图，以此降低了不固定特征的干扰，得到与查询图像相似度更高的待识别图像。
[0015]其中，根据所述待识别图像的特征向量与所述查询图像的特征向量的距离，从所述待识别图像中确定与所述查询图像场景匹配的图像的步骤包括：将距离所述查询图像的特征向量最近的特征向量对应的所述待识别图像确定为所述查询图像匹配的图像。以此得到与查询图像相似度更高的待识别图像。
[0016]其中，所述待识别图像中与所述查询图像匹配的图像为多个；所述将距离所述查询图像的特征向量最近的特征向量对应的所述待识别图像确定为所述查询图像匹配的图像的步骤之后还包括：采用空间一致性方法将与所述查询图像匹配的图像进行排列，以获取到与所述查询图像最相似的图像。以此使得得到的场景更为相似、准确度更高。
[0017]为解决上述技术问题，本专利技术提供的第二个技术方案为：提供一种场景识别装置，包括：获取模块，用于获取待处理图像以及所述待处理图像对应的语义掩码图；其中，所述待处理图像包括查询图像及待识别图像；特征聚合模块，用于根据所述语义掩码图对所述待处理图像进行特征聚合处理，得到所述待处理图像的特征向量；图像匹配模块，用于利用所述待处理图像的特征向量从所述待识别图像中确定与所述查询图像的场景匹配的图像。通过语义掩码图结合特征聚合方式得到待处理图像对应的特征，以此能够降低干扰因素的干扰，提高场景识别的鲁棒性。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景识别方法，其特征在于，包括：获取待处理图像以及所述待处理图像对应的语义掩码图；其中，所述待处理图像包括查询图像及待识别图像，所述待处理图像对应的语义掩码图包括所述查询图像的语义掩码图和所述待识别图像的语义掩码图；根据所述语义掩码图对所述待处理图像进行特征聚合处理，得到所述待处理图像的特征向量；利用所述待处理图像的特征向量从所述待识别图像中确定与所述查询图像的场景匹配的图像。2.根据权利要求1所述的场景识别方法，其特征在于，所述获取待处理图像以及所述待处理图像对应的语义掩码图包括：对所述待识别图像及所述查询图像进行语义分割处理，得到每一像素的类别及所述类别对应的概率；按照设定条件对每一像素的类别设置权重；根据所述类别对应的概率及所述类别对应的权重得到每一所述像素对应的语义掩码，其中，所有所述像素对应的语义掩码构成语义掩码图。3.根据权利要求2所述的方法，其特征在于，所述按照设定条件对每一像素的类别设置权重之前还包括：对所有像素进行属性分类，以得到一个或多个子类别；按照设定条件对每一所述子类别设置权重；根据所述子类别对应的概率及所述子类别对应的权重得到每一所述像素对应的语义掩码，其中，所有所述像素对应的语义掩码构成语义掩码图。4.根据权利要求3所述的方法，其特征在于，所述子类别包括固定子类别、不固定子类别、动态和未知中至少两种；动态子类别的权重小于所述固定子类别、所述不固定子类别及所述未知子类别的权重。5.根据权利要求4所述的方法，其特征在于，所述根据所述子类别对应的概率及所述子类别对应的权重得到每一所述像素对应的语义掩码包括：利用如下公式(1)计算所述像素对应的语义掩码：m
i
＝p
i
×
w
i
ꢀꢀ
(1)其中，m
i
表示第i个像素对应的语义掩码，其生成的图为语义掩码图，p
i
表示第i个像素所属的子类别的概率，w
i
表示第i个像素所属的类别或子类别对应的权重。6.根据权利要求1所述的方法，其特征在于，根据所述语义掩码图对所述待处理图像进行特征聚合处理，得到所述待处理图像的特征向量包括：对所述待处理图像进行特征抽取，得到特征集合；依据所述特征集合形成多个聚类中心；根据多个所述聚类中心得到每一所述待处理图像中的每一特征对应的聚类中心；确定所述待处理图像中的每一特征在第一维度对应的值，以及，确定所述待处理图像中的所述每一特征对应的聚类中心在所述第一维度对应的值；通过所述待处理图像中的每一特征对应的聚类中心，所述待处理图像中的每一特征对
应的聚类中心在第一维度对...

【专利技术属性】
技术研发人员：鲍虎军，章国锋，余海林，冯友计，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：