一种基于外观和位置特征融合模型的关注度分析方法技术

本发明专利技术公开了一种基于外观和位置特征融合模型的关注度分析方法，对图像或视频提取行人包围框和关注目标包围框，包围框利用目标检测算法提取或人工框取；第二步需要将行人包围框与关注目标包围框所包含的位置信息和图像信息，输入到算法模型中提取特征，进行融合和判别，进而得到行人对目标的关注度，特征提取与融合采取的“图像+包围框掩膜”的方法直接对“行人

【技术实现步骤摘要】
一种基于外观和位置特征融合模型的关注度分析方法


[0001]本专利技术涉及计算机识别
，特别涉及一种基于外观和位置特征融合模型的关注度分析方法。

技术介绍

[0002]在线下商业场景中，行人可能会对特定目标产生关注，对这种关注关系进行判断是当前众多商家的重要需求。随着计算机视觉技术的不断发展，底层算法如目标检测、目标识别的日益成熟，学术界和工业界逐渐兴起了对“人
‑
物/区域”关注度分析的研究。
[0003]目前关注度分析的主流方法有三种：基于轨迹信息的关注度分析、基于行人朝向的关注度分析和基于行人关注点预测模型的关注度分析，其优缺点如下：
[0004](1)基于轨迹信息的关注度分析分为两步，第一步通过对视频进行行人检测和跟踪，提取行人轨迹并以包围框序列的形式储存，第二步将关注目标的包围框信息(可以是人为划定的包围框，或利用目标检测算法检测出的包围框)与行人轨迹信息进行分析，通过统计行人在关注目标附近的停留时长、行动规律等，比较快速地得出关注度结果。由于在第二步时不再需要提取行人、关注目标的外观特征，该方法速度很快，但其对于信息的利用也是不充分的，从而导致其在较为复杂的场景精度较低。已有的方法中，专利名称为一种移动轨迹事件识别方法及装置(专利号：ZL202010397602.0)，采取了这种思路；
[0005](2)基于行人朝向的关注度分析是基于“行人(面部或身体)的朝向与关注度有较强的相关性”的假设提出的，可分为三步：
[0006]第一步与上述方法(1)类似，对图像/视频进行目标检测，提取行人包围框，第二步根据行人包围框从图像中提取行人的朝向特征，预测其面部或身体的朝向，第三步根据行人朝向和关注目标位置的相关性，分析得到关注度。该方法考虑了行人和关注目标的外观特征，因此通常效果优于上述方法(1)，但其有效性比较依赖朝向模型的精度。朝向模型可分为面部朝向模型和身体朝向模型，使用面部朝向模型要求摄像头能够拍摄到足够清晰度的人脸，这在实际使用中会受到一定的限制；使用身体朝向模型对摄像头的拍摄角度没有要求，但其朝向预测的效果对模型大小比较敏感，较小的模型无法提供较好的精度，而较大的模型则实时性较差；
[0007](3)基于行人关注点预测模型的关注度分析分为两步：第一步与上述两种方法类似，即提取行人包围框，第二步直接输出框内行人的视线方向、所关注区域的中心位置以及关注程度。这类方法输出的关注度信息精确到“关注点”级别，相比于前两种方法更加精细，但其预测难度也更大，需要更大的模型、更大的算力，难以在常用计算平台上满足实时性要求。
[0008]基于上述分析内容，现有技术的缺点主要体现在以下方面：
[0009]1、基于轨迹信息的关注度分析只考虑了位置特征，模型过于简单，在诸多场景下难以保证精度，如行人虽长时间停留但实际未关注目标区域的情况；2、基于行人朝向的关注度分析和基于行人关注点预测模型的关注度分析同时考虑了位置特征和外观特征，但其
对算力要求较高，在实际应用场景下，难以同时满足精度和实时性的要求。

技术实现思路

[0010]针对现有技术存在的不足，本专利技术的目的在于提供一种新的关注度分析方法，具体为一种基于外观和位置特征融合模型的关注度分析方法，其目的在于：1、对行人和关注目标同时提取其位置信息和图像信息，并加以融合，以达到更好的精度；2、通过合理的问题建模，绕过对诸如人物朝向、关注点方向、关注点位置等计算复杂度较高的特征的提取过程，采用一个更简单的判别模型直接对行人
‑
关注目标进行关注度估计，以满足系统运行的实时性要求。
[0011]假设在某种场景下，行人对于某些特定的区域或物体(统称关注目标)具有某种程度的关注，则本专利技术可以基于监控录像，对录像中的行人和关注目标提取包围框，并对包围框提取特征进行比对，以预测该行人对该关注目标的关注度。
[0012]具体来说：输入一段包含该类型动作的监控录像，利用卷积神经网络检测画面中的行人包围框和关注目标包围框，并对包围框所包含的位置信息和图像信息进行特征提取、融合和判别，输出该行人包围框对该目标包围框的关注度得分，并根据预设的阈值，来判断行人是否正在关注该目标。
[0013]与已有方法相比，本专利技术既能充分利用位置和图像这两种特征，又能尽可能减少系统对算力的要求，更有利于关注度分析方法在现实场景中的使用。
[0014]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0015]一种基于外观和位置特征融合模型的关注度分析方法，分为目标检测和“行人
‑
关注目标”的关注度评估两个步骤；
[0016]目标检测，从图像和视频中提取关注度分析所需的包围框，包围框根据行人和关注目标两类目标分为行人框和关注框；
[0017]“行人
‑
关注目标”的关注度评估，根据目标检测提取出的包围框，提取出行人和关注目标的外观特征和位置特征并进行特征融合，再送入一个判别模型进行关注度评估。
[0018]进一步优选为，所述包围框包括运用目标检测提取包围框和人为划定包围框两种方式。
[0019]进一步优选为，“行人
‑
关注目标”的关注度评估的特征提取与融合包括先提取特征后融合、直接提取融合特征两种方式；
[0020]先提取特征后融合方式根据目标检测提取出的包围框，提取出行人和关注目标的外观特征和位置特征，接着采用直接拼接的方式或神经网络模型方法对外观特征和位置特征进行融合；
[0021]直接提取融合特征方式根据目标检测提取出的包围框信息进行预先处理，再输入一个特征提取网络直接提取出融合后的特征。
[0022]进一步优选为，先提取特征后融合方式的外观特征和位置特征的提取过程具体如下：
[0023]外观特征提取，根据包围框范围切分出行人图像和关注目标图像，利用卷积神经网络提取其抽象表示，生成一个M维的外观特征向量；
[0024]位置特征提取，以包围框的坐标为输入形式，经过编码生产一个N维的位置特征向
量。
[0025]进一步优选为，位置特征提取采用神经网络学习的抽象位置编码方式，输入行人和关注目标的包围框坐标，每个包围框坐标由框的中心点坐标cx、cy、以及长bh、宽bw组成，另外还输入图像的长h和宽w，组成一个10维的输入向量(cx1，cy1，bw1，bh1，cx2，cy2，bw2，bh2，w，h)。
[0026]进一步优选为，直接提取融合特征方式具体根据行人和关注目标的包围框信息，生成一个掩膜，与输入图像在RGB通道上进行拼接融合，再输入一个特征提取网络直接提取出融合后的特征。
[0027]进一步优选为，判别模型采用机器学习分类器，外观特征和位置特征融合后输入分类器以输出一个得分，该得分即为图像中的行人对于指定关注目标的“关注度”。
[0028]进一步优选为，特征提取采用卷积神经网络的提取模型进行，用少量人工标注的样本对包含特征提取融合和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于外观和位置特征融合模型的关注度分析方法，其特征在于，分为目标检测和“行人
‑
关注目标”的关注度评估两个步骤；目标检测，从图像和视频中提取关注度分析所需的包围框，包围框根据行人和关注目标两类目标分为行人框和关注框；“行人
‑
关注目标”的关注度评估，根据目标检测提取出的包围框，提取出行人和关注目标的外观特征和位置特征并进行特征融合，再送入一个判别模型进行关注度评估。2.根据权利要求1所述的一种基于外观和位置特征融合模型的关注度分析方法，其特征在于，所述包围框包括运用目标检测提取包围框和人为划定包围框两种方式。3.根据权利要求1所述的一种基于外观和位置特征融合模型的关注度分析方法，其特征在于，“行人
‑
关注目标”的关注度评估的特征提取与融合包括先提取特征后融合、直接提取融合特征两种方式；先提取特征后融合方式根据目标检测提取出的包围框，提取出行人和关注目标的外观特征和位置特征，接着采用直接拼接的方式或神经网络模型方法对外观特征和位置特征进行融合；直接提取融合特征方式根据目标检测提取出的包围框信息进行预先处理，再输入一个特征提取网络直接提取出融合后的特征。4.根据权利要求3所述的一种基于外观和位置特征融合模型的关注度分析方法，其特征在于，先提取特征后融合方式的外观特征和位置特征的提取过程具体如下：外观特征提取，根据包围框范围切分出行人图像和关注目标图像，利用卷积神经网络提取其抽象表示...

【专利技术属性】
技术研发人员：江远，
申请(专利权)人：赢识科技杭州有限公司，
类型：发明
国别省市：