基于人体关键点检测的摊位违规经营识别方法及系统技术方案

本发明专利技术提供了一种基于人体关键点检测的摊位违规经营识别方法及系统，包括：获取摊位视频信息：依据获取的摊位视频信息，以及预设的摊位识别模型和人体关键点检测模型，得到摊位违规经营识别结果；其中，所述摊位识别模型基于A

【技术实现步骤摘要】
基于人体关键点检测的摊位违规经营识别方法及系统


[0001]本专利技术属于智慧城建
，尤其涉及一种基于人体关键点检测的摊位违规经营识别方法及系统。

技术介绍

[0002]智慧城市起源于传媒领域，是指利用各种信息技术或创新概念，将城市的系统和服务打通、集成，以提升资源运用的效率，优化城市管理和服务，以及改善市民生活质量；智慧城市是把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新的城市信息化高级形态，实现信息化、工业化与城镇化深度融合，有助于缓解“大城市病”，提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。
[0003]专利技术人发现，摊位违规经营的智能检测是智慧城建中的关键一环，在应用深度学习技术对摊位及人员进行识别时存在以下问题：采用一阶段的目标检测算法进行识别的精度较低，采用主流的两阶段算法Faster R
‑
CNN对小目标/遮挡目标的检测效果较差。

技术实现思路

[0004]本专利技术为了解决上述问题，提出了一种基于人体关键点检测的摊位违规经营识别方法及系统，本专利技术本专利技术基于A
‑
Fast
‑
RCNN算法与人体关键点检测算法Keypoint R
‑
CNN，对街道中电子围栏区域内的违规经营摊位进行检测，提高了检测效果。
[0005]为了实现上述目的，本专利技术是通过如下的技术方案来实现：
[0006]第一方面，本专利技术提供了一种基于人体关键点检测的摊位违规经营识别方法，包括：
[0007]获取摊位视频信息：
[0008]依据获取的摊位视频信息，以及预设的摊位识别模型和人体关键点检测模型，得到摊位违规经营识别结果；
[0009]其中，所述摊位识别模型基于A
‑
FAST
‑
RCNN算法训练得到，用于摊位目标边线的识别；所述人体关键点检测模型，用于根据识别的边线判断人员的横向位置，以及通过人体关键点和摊位目标判断人员的纵向位置；根据横向位置和纵向位置设别违规经营的摊位。
[0010]进一步的，摊位识别模型与人体关键点检测模型的训练，包括：
[0011]获取训练用摊位视频信息；
[0012]将训练用摊位视频信息输入卷积神经网络进行特征提取；
[0013]通过一个使用RoI
‑
pooling层的RoI神经网络与多个输出的全连接层；
[0014]对抗神经网络使用区域特征作为输入并生成一个mask，用于指出丢弃部分的特征；
[0015]输出一个softmax的分类与一个soft
‑
L1的回归。
[0016]进一步的，摊位违规经营识别，包括：
[0017]通过摊位目标的左右边线在人体双肩或双肘之外判断人员的横向位置；
[0018]通过人体眼睛、鼻子或嘴巴关键点在摊位目标之上判断人员的纵向位置；
[0019]若人员的横向位置和纵向位置均则满足条件，则判断其为违规经营的摊位。
[0020]进一步的，对视频前后帧位置比对判断长时间驻留的违规经营摊位。
[0021]进一步的，对视频前后帧位置比对判断长时间驻留的违规经营摊位，包括：
[0022]获取连续帧的摊位位置目标及变化幅度；
[0023]若摊位位置距离变化在多个连续帧内都低于预设阈值，则判断摊位为长时间驻留摊位。
[0024]进一步的，采用同态加密算法将摊位识别模型和人体关键点检测模型参数加密。
[0025]进一步的，采用联邦平均算法进行全局模型的聚合。
[0026]第二方面，本专利技术还提供了一种基于人体关键点检测的摊位违规经营识别系统，包括：
[0027]数据采集模块，被配置为：获取摊位视频信息：
[0028]摊位违规经营识别模块，被配置为：依据获取的摊位视频信息，以及预设的摊位识别模型和人体关键点检测模型，得到摊位违规经营识别结果；
[0029]其中，所述摊位识别模型基于A
‑
FAST
‑
RCNN算法训练得到，用于摊位目标边线的识别；所述人体关键点检测模型，用于根据识别的边线判断人员的横向位置，以及通过人体关键点和摊位目标判断人员的纵向位置；根据横向位置和纵向位置设别违规经营的摊位。
[0030]第三方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于人体关键点检测的摊位违规经营识别方法的步骤。
[0031]第四方面，本专利技术还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于人体关键点检测的摊位违规经营识别方法的步骤。
[0032]与现有技术相比，本专利技术的有益效果为：
[0033]本专利技术采用人体关键点检测模型与基于A
‑
FAST
‑
RCNN的摊位目标检测模型进行违规经营识别，通过对摊位检测和人体关键点检测的结合来判断违规经营摊位，对于摊位的检测更加准确，且可以有效减少目标存在遮挡时的漏检问题。
附图说明
[0034]构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
[0035]图1为本专利技术实施例1的流程图。
具体实施方式：
[0036]下面结合附图与实施例对本专利技术作进一步说明。
[0037]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0038]实施例1：
[0039]如图1所示，本实施例提供了一种基于人体关键点检测的摊位违规经营识别方法，具体步骤如下：
[0040]S1、各个街道服务器通过监控视频中的图像制作用于A
‑
FAST
‑
RCNN模型训练的数据集；
[0041]S2、街道服务器下载中央服务器下发的初始化模型；
[0042]S3、街道服务器训练本地摊位识别模型与人体关键点检测模型；
[0043]S4、各个街道服务器采用同态加密算法将模型参数加密上传至中央服务器；
[0044]S5、中央服务器采用联邦平均算法进行全局模型的聚合；
[0045]S6、中央服务器下发聚合后的全局模型至各个街道服务器；
[0046]S7、街道服务器采用全局模型进行目标的检测；
[0047]S8、应用摊位识别模型与人体关键点检测模型(Detectron2框架的Keypoint R
‑
CNN算法)判断违规经营摊位；
[0048]S9、在本实施例中，对视频前后帧位置比对判断长时间驻留的违规经营摊位；在其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人体关键点检测的摊位违规经营识别方法，其特征在于，包括：获取摊位视频信息：依据获取的摊位视频信息，以及预设的摊位识别模型和人体关键点检测模型，得到摊位违规经营识别结果；其中，所述摊位识别模型基于A
‑
FAST
‑
RCNN算法训练得到，用于摊位目标边线的识别；所述人体关键点检测模型，用于根据识别的边线判断人员的横向位置，以及通过人体关键点和摊位目标判断人员的纵向位置；根据横向位置和纵向位置设别违规经营的摊位。2.如权利要求1所述的基于人体关键点检测的摊位违规经营识别方法，其特征在于，摊位识别模型与人体关键点检测模型的训练，包括：获取训练用摊位视频信息；将训练用摊位视频信息输入卷积神经网络进行特征提取；通过一个使用RoI
‑
pooling层的RoI神经网络与多个输出的全连接层；对抗神经网络使用区域特征作为输入并生成一个mask，用于指出丢弃部分的特征；输出一个softmax的分类与一个soft
‑
L1的回归。3.如权利要求1所述的基于人体关键点检测的摊位违规经营识别方法，其特征在于，摊位违规经营识别，包括：通过摊位目标的左右边线在人体双肩或双肘之外判断人员的横向位置；通过人体眼睛、鼻子或嘴巴关键点在摊位目标之上判断人员的纵向位置；若人员的横向位置和纵向位置均则满足条件，则判断其为违规经营的摊位。4.如权利要求1所述的基于人体关键点检测的摊位违规经营识别方法，其特征在于，对视频前后帧位置比对判断长时间驻留的违规经营摊位。5.如权利要求4所述的基于人体关键点检测的摊位违规经营识别方法...

【专利技术属性】
技术研发人员：张元杰，管洪清，徐亮，王伟，张大千，尹广楹，孙浩云，
申请(专利权)人：青岛文达通科技股份有限公司，
类型：发明
国别省市：