基于图像处理的人群计数方法、装置、介质、设备及产品制造方法及图纸

本申请的实施例公开了基于图像处理的人群计数方法、装置、介质、设备及产品，涉及机器视觉技术领域，包括：将原始图像上的遮挡区域进行分割，获得分割图像；将分割图像输入预测模型，获得密度图像；根据密度图像上遮挡区域以外区域的人群密度信息，对遮挡区域的人群密度信息进行补全，获得目标密度图像；根据目标密度图像，获得原始图像上的人群数量。本申请通过对图像上的遮挡区域进行分割，去除掉遮挡物的干扰，预测得到人群密度信息，由于预测模型基于多尺度注意力网络获得，使其能够准确捕捉图像上背景噪音的位置并进行消除，降低尺度变化带来的影响，最后通过对遮挡区域进行补全，得到完整的密度图像，据此可以获得更为准确的人群数量。确的人群数量。确的人群数量。

【技术实现步骤摘要】
基于图像处理的人群计数方法、装置、介质、设备及产品


[0001]本申请涉及机器视觉
，具体涉及一种基于图像处理的人群计数方法、装置、介质、设备及产品。

技术介绍

[0002]人群计数是指利用计算机视觉技术估计图像或视频中的人数，可应用于如景区的安全防控、商场的人群定位并辅助产品投放等诸多的场景中，然而基于图像的识别预测受拍摄装置的影响，会使得人物信息在图像中呈现尺度变化，场景中存在的遮挡物在拍摄于图像上后则可能进一步放大这种影响，导致图像上人物信息被遮挡，进而影响对人群计数的准确性。

技术实现思路

[0003]本申请的主要目的在于提供一种基于图像处理的人群计数方法、装置、介质、设备及产品，旨在解决现有技术中受场景中遮挡物的影响，致使基于图像处理的人群计数的准确性偏低的问题。
[0004]为实现上述目的，本申请的实施例采用的技术方案如下：第一方面，本申请实施例提供一种基于图像处理的人群计数方法，包括以下步骤：将原始图像上的遮挡区域进行分割，获得分割图像；将分割图像输入预测模型，获得密度图像；其中，预测模型基于多尺度注意力网络获得；根据密度图像上遮挡区域以外区域的人群密度信息，对遮挡区域的人群密度信息进行补全，获得目标密度图像；根据目标密度图像，获得原始图像上的人群数量。
[0005]首先通过对图像上的遮挡区域进行分割，去除掉遮挡物的干扰，然后在分割图像基础上通过预测模型进行预测，得到人群密度信息，由于预测模型基于多尺度注意力网络获得，使其能够准确捕捉图像上背景噪音的位置并进行消除，降低尺度变化带来的影响，生成质量较高的密度图像，由于被遮挡区域的人物信息也连同遮挡区域一同被分割，因此通过已经预测得到的密度图像上这部分区域以外的人群密度信息来对其进行补全，得到完整的密度图像，据此可以获得更为准确的人群数量。
[0006]在第一方面的一种可能实现方式中，根据密度图像上遮挡区域以外区域的人群密度信息，对遮挡区域的人群密度信息进行补全，获得目标密度图像之前，基于图像处理的人群计数方法还包括：将密度图像上遮挡区域的边缘轮廓按照目标像素单位进行外扩，获得外扩后的边缘轮廓与原边缘轮廓之间的区域作为参考区域；根据密度图像上遮挡区域以外区域的人群密度信息，对遮挡区域的人群密度信息进行补全，获得目标密度图像，包括：
根据密度图像上参考区域的人群密度信息，对遮挡区域的人群密度信息进行补全，获得目标密度图像。
[0007]按照确定的外扩的像素单位，对遮挡区域的边缘轮廓进行外扩，变相可认为遮挡区域被按照某一比例进行放大了，比如遮挡区域为一个圆形区域，那么外扩之后就形成了一个同样圆心但是尺寸更大的圆形区域。外扩之后的区域相比原有的遮挡区域扩展了一部分，扩展的该部分即参考区域，其上具有密度图像上的人群密度信息，因此可基于该部分上的人群密度信息对遮挡区域进行补全，由于参考区域是环绕遮挡区域的，因此是涵盖了周边人群密度的变化趋势，而位于其中间的遮挡区域以参考区域的平均值即可以准确表达其上的人群密度信息。
[0008]在第一方面的一种可能实现方式中，将密度图像上遮挡区域的边缘轮廓按照目标像素单位进行外扩，获得外扩后的边缘轮廓与原边缘轮廓之间的区域作为参考区域之前，基于图像处理的人群计数方法还包括：根据遮挡区域的尺寸和遮挡区域相对目标边缘的距离，获得目标像素单位；其中，目标边缘为原始图像的视场方向上最靠近拍摄位置的边缘。
[0009]提供一种基于像素单位的补全方式，基本思路为以遮挡区域周边的区域的人群密度信息作为依据，为了保证补全信息的可靠，需要保证用于参考的部分相对遮挡区域的可靠性，因此需要提前确定外扩的尺寸。
[0010]在第一方面的一种可能实现方式中，根据遮挡区域的尺寸和遮挡区域相对目标边缘的距离，获得目标像素单位，包括：根据遮挡区域的尺寸，获得外扩的像素单位；根据遮挡区域相对目标边缘的距离，确定调整系数；根据外扩的像素单位和调整系数，获得目标像素单位。
[0011]遮挡区域的尺寸较大，那么目标像素单位就需要设置越大，然后为了匹配视场方向尺度的变化，需要引入一个相对距离，也就是遮挡区域相对目标边缘的距离，遮挡区域距离目标边缘越远，其尺寸所占像素越少，那么需要设置的像素单位就越小；前述两种变化均为线性变化，因此在确定目标像素单位，也即需要外扩的尺寸时，只需要通过遮挡区域相对目标边缘的距离，确定一个调整系数来对外扩的像素单位进行调整。
[0012]在第一方面的一种可能实现方式中，根据密度图像上遮挡区域以外区域的人群密度信息，对遮挡区域的人群密度信息进行补全，获得目标密度图像之前，基于图像处理的人群计数方法还包括：获得密度图像上遮挡区域的最小外接矩；将最小外接矩进行矩阵划分，获得若干矩形子框；根据矩形子框被遮挡区域的覆盖情况，将矩形子框划分为全覆盖子框和非全覆盖子框。
[0013]提供另一种基于线框划分的分步补全的实施方式，这种方式适用于遮挡区域尺寸偏大，以参考区域获得的平均值来作为整个遮挡区域的人群密度信息会导致偏差较大，因此采用分步的方式，按照计算机中常用的矩形框标注，对遮挡区域做最小外接矩，然后将外接矩再划分为多个矩形子框，类似于田字格形式，由内到外进行划分，最小外接矩的尺寸一定是大于遮挡区域的，遮挡区域的边缘区域可能会与矩形子框出现部分覆盖的情况，因此
将其划分为全覆盖子框与非全覆盖子框。
[0014]在第一方面的一种可能实现方式中，根据密度图像上遮挡区域以外区域的人群密度信息，对遮挡区域的人群密度信息进行补全，获得目标密度图像，包括：根据密度图像上遮挡区域以外区域的人群密度信息，由最小外接矩的边框向内，对非全覆盖子框和全覆盖子框内的遮挡区域的人群密度信息进行补全，获得目标密度图像。
[0015]由于边缘部分由于其不规则的形态，可能会出现全覆盖子框和非全覆盖子框，但其中以非全覆盖子框为主，并且非全覆盖子框也只会出现在边缘区域，因此可以考虑由外向内的分步补全方式。
[0016]在第一方面的一种可能实现方式中，根据密度图像上遮挡区域以外区域的人群密度信息，由最小外接矩的边框向内，对非全覆盖子框和全覆盖子框内的遮挡区域的人群密度信息进行补全，获得目标密度图像，包括：根据非全覆盖子框内遮挡区域以外区域的人群密度信息，对非全覆盖子框内的遮挡区域的人群密度进行补全，获得第一密度图像；由最小外接矩的边框向内，根据第一密度图像的人群密度信息，对全覆盖子框内的遮挡区域的人群密度信息进行补全，获得第二密度图像；根据第一密度图像和第二密度图像，获得目标密度图像。
[0017]由最小外接矩的边框向内，分步进行补全的思路为，首先将非全覆盖子框所覆盖的遮挡区域进行补全，由于该种子框内一部分区域上具有人群密度信息，可以以此作为该子框整个的人群密度信息，对该非全覆盖子框进行补全，补全获得第一密度图像。在将这部分补全后，区域内就只剩下靠近中间部位的全覆盖区域，然后就可以以第一密度图像，对其靠近的全覆盖子框逐步向内补全，得到第二密度图像，然后结合第一密度图像与第二密度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像处理的人群计数方法，其特征在于，包括以下步骤：将原始图像上的遮挡区域进行分割，获得分割图像；将所述分割图像输入预测模型，获得密度图像；其中，所述预测模型基于多尺度注意力网络获得；根据所述密度图像上所述遮挡区域以外区域的人群密度信息，对所述遮挡区域的人群密度信息进行补全，获得目标密度图像；根据所述目标密度图像，获得所述原始图像上的人群数量。2.根据权利要求1所述的基于图像处理的人群计数方法，其特征在于，所述根据所述密度图像上所述遮挡区域以外区域的人群密度信息，对所述遮挡区域的人群密度信息进行补全，获得目标密度图像之前，所述基于图像处理的人群计数方法还包括：将所述密度图像上所述遮挡区域的边缘轮廓按照目标像素单位进行外扩，获得外扩后的边缘轮廓与原边缘轮廓之间的区域作为参考区域；所述根据所述密度图像上所述遮挡区域以外区域的人群密度信息，对所述遮挡区域的人群密度信息进行补全，获得目标密度图像，包括：根据所述密度图像上所述参考区域的人群密度信息，对所述遮挡区域的人群密度信息进行补全，获得目标密度图像。3.根据权利要求2所述的基于图像处理的人群计数方法，其特征在于，所述将所述密度图像上所述遮挡区域的边缘轮廓按照目标像素单位进行外扩，获得外扩后的边缘轮廓与原边缘轮廓之间的区域作为参考区域之前，所述基于图像处理的人群计数方法还包括：根据所述遮挡区域的尺寸和所述遮挡区域相对目标边缘的距离，获得所述目标像素单位；其中，所述目标边缘为所述原始图像的视场方向上最靠近拍摄位置的边缘。4.根据权利要求3所述的基于图像处理的人群计数方法，其特征在于，所述根据所述遮挡区域的尺寸和所述遮挡区域相对目标边缘的距离，获得所述目标像素单位，包括：根据所述遮挡区域的尺寸，获得外扩的像素单位；根据所述遮挡区域相对目标边缘的距离，确定调整系数；根据所述外扩的像素单位和所述调整系数，获得目标像素单位。5.根据权利要求1所述的基于图像处理的人群计数方法，其特征在于，所述根据所述密度图像上所述遮挡区域以外区域的人群密度信息，对所述遮挡区域的人群密度信息进行补全，获得目标密度图像之前，所述基于图像处理的人群计数方法还包括：获得所述密度图像上所述遮挡区域的最小外接矩；将所述最小外接矩进行矩阵划分，获得若干矩形子框；根据所述矩形子框被所述遮挡区域的覆盖情况，将所述矩形子框划分为全覆盖子框和非全覆盖子框。6.根据权利要求5所述的基于图像处理的人群计数方法，其特征在于，所述根据所述密度图像上所述遮挡区域以外区域的人群密度信息，对所述遮挡区域的人群密度信息进行补全，获得目标密度图像，包括：根据所述密度图像上所述遮挡区域以外区域的人群密度信息，由所述最小外接矩的边框向内，对所述非全覆盖子框和所述全覆盖子框内的所述遮挡区域的人群密度信息进行补全，获得目标密度图像。
7.根据权利要求6所述的基于图像处理的人群计数方法，其特征在于，所述根据所述密度图像上所述遮挡区域以外区域的人群密度信息，由所述最小外接矩的边框向内，对所述非全覆盖子框和所述全覆盖子框内的所述遮挡区域的人群密度信息进行补全，获得目标密度图像，包括：根据所述非全覆盖子框内所述遮挡区域以外区域的人群密度信息，对所述非全覆盖子框内的所述遮挡区域的人群密度进行补全...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：成都数智创新精益科技有限公司，
类型：发明
国别省市：