一种基于NPU的家用摄像机实时人形检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于NPU的家用摄像机实时人形检测方法及装置，涉及摄像机人形检测技术领域。所述一种方法、装置、系统、设备和介质，方法包括：构建并训练人形检测模型和人形特征模型，转化为嵌入式神经网络处理器NPU模块可处理的人形检测离线模型和人形特征离线模型；获取视频帧的图像数据，调用NPU接口通过人形检测离线模型进行检测人形处理，进行后处理操作后调用NPU接口通过人形特征离线模型进行人形特征处理，将人形特征信息与人形检测结果一一对应匹配后送入目标跟踪运算模块，得到人形处理结果，将人形检测结果绘制到视频流中并显示。本发明专利技术利用摄像机设备的NPU单元实现在家用摄像机上进行本地实时人形检测。用摄像机上进行本地实时人形检测。用摄像机上进行本地实时人形检测。

【技术实现步骤摘要】
一种基于NPU的家用摄像机实时人形检测方法及装置


[0001]本专利技术涉及摄像机人形检测
，特别涉及一种基于NPU的家用摄像机实时人形检测方法及装置。

技术介绍

[0002]随着深度学习技术的日益发展，近年来深度学习逐渐被运用在众多领域，基于深度学习的检测方法已经成为目标检测领域的趋势。由于对CPU处理能力和内存消耗的需求，当前带有智能分析能力的网络摄像机将人工智能模型部署在拥有高性能计算能力的云服务中，导致网络摄像机设需要实时将视频数据通过网络输到智能分析平台获得目标检测的结果。伴随人工智能物联网的兴起，使得嵌入式等设备拥有智能计算的能力，可以做出自主决策来解决深度云的不足。
[0003]现有的家用摄像机人形识别方法分为两种：
[0004]一、基于云平台解决方案的网络摄像机依靠网络后台的分析能力，将摄像机实时拍摄画面传输到智能云平台进行目标检测分析,存在数据传输量大，延迟高，对带宽要求高的特征，特别是在实时性要求比较高的场景下，不能充分发挥深度学习的技术优势，并且在家用等强隐私场景，数据是在云上处理，存在隐私安全的问题。
[0005]二、摄像机设备本地目标检测的方法，直接采用设备的CPU进行目标目标检测处理，由于实时检测存在一定的时间消耗，导致存在检测画框结果与目标不同步、检测框抖动和闪烁的问题。

技术实现思路

[0006]本专利技术要解决的技术问题，在于提供一种基于NPU的家用摄像机实时人形检测方法及装置，通过构建人形检测离线模型和人形特征离线模型，利用摄像机设备配置的NPU单元，实现在家用摄像机上进行本地实时人形检测。
[0007]第一方面，本专利技术提供了一种基于NPU的家用摄像机实时人形检测方法，包括：
[0008]构建并训练人形检测模型和人形特征模型，所述人形检测模型用于检测图像中人的位置，所述人形特征模型用于分析图像人的特征值；将所述人形检测模型和人形特征模型转化为嵌入式神经网络处理器NPU模块可处理的格式，得到人形检测离线模型和人形特征离线模型然后部署于摄像机中；
[0009]调用摄像机的媒体接口获取视频帧的图像数据并进行格式转换，然后调用NPU接口通过人形检测离线模型进行检测人形处理，得到人形检测结果；
[0010]对人形检测结果进行筛选和尺寸变换，得到一个或多个在视频画面上的人形实际尺寸和位置，然后在输入到人形检测离线模型的图像上裁剪出一个或多个人形对应的图像区域；
[0011]调用NPU接口将裁剪出的人形图像区域数据依次送入人形特征离线模型进行人形特征处理，获得人形图像块的特征信息，将人形特征信息与人形检测结果一一对应匹配；
[0012]将匹配后的结果送入目标跟踪运算模块，得到人形处理结果，将人形检测结果绘制到视频流中并显示。
[0013]进一步地，所述人形检测离线模型和人形特征离线模型通过如下步骤得到：
[0014]收集包含人形的图像数据，创建人形和特征图像库；
[0015]以YOLOv5s模型为深度学习主框架，在服务器上搭建运行环境，通过训练人形图像库得到人形检测模型；
[0016]以ResNet50模型为深度学习主框架，在服务器上搭建运行环境，通过训练人形图像库得到人形特征模型；
[0017]将得到的人形检测模型、人形特征模型转换为深度模型的开放格式ONNX格式；
[0018]利用网络摄像机设备配套工具将人形检测模型、人形特征模型转换为NPU能够处理的格式；
[0019]得到人形检测离线模型、人形特征离线模型。
[0020]进一步地，所述调用摄像机的媒体接口获取视频帧的图像数据并进行格式转换，具体包括：
[0021]创建视频流检测线程；
[0022]调用设备获取视频流的接口，得到实时视频流数据；
[0023]将视频帧拷贝到创建的人形检测模型输入数据内存空间；
[0024]调用设备图像处理模块的处理接口，将人形检测模型输入数据内存空间中的数据转换为RGB格式。
[0025]进一步地，所述将人形检测结果绘制到视频流中并显示，具体包括：
[0026]创建主流线程；
[0027]调用设备获取视频流的接口，得到实时视频流数据；
[0028]判断内存中是否有检测结果，如果有检测结果，将检测结果绘制到实时视频流数据中，然后通过输出通道输出视频流；如果没有检查结果，将实时视频流数据直接输出。
[0029]进一步地，将位置、大小、特性信息作为目标跟踪运算模块的输入信息，和上一帧视频的检测结果进行匹配以获得处理结果。
[0030]第二方面，本专利技术提供了一种基于NPU的家用摄像机实时人形检测装置，包括：离线模型处理模块、人形检测模块、后处理模块、人形特征检测模块以及匹配跟踪模块；
[0031]所述离线模型处理模块，用于构建并训练人形检测模型和人形特征模型，所述人形检测模型用于检测图像中人的位置，所述人形特征模型用于分析图像人的特征值；将所述人形检测模型和人形特征模型转化为嵌入式神经网络处理器NPU模块可处理的格式，得到人形检测离线模型和人形特征离线模型然后部署于摄像机中；
[0032]所述人形检测模块，用于调用摄像机的媒体接口获取视频帧的图像数据并进行格式转换，然后调用NPU接口通过人形检测离线模型进行检测人形处理，得到人形检测结果；
[0033]所述后处理模块，用于对人形检测结果进行筛选和尺寸变换，得到一个或多个在视频画面上的人形实际尺寸和位置，然后在输入到人形检测离线模型的图像上裁剪出一个或多个人形对应的图像区域；
[0034]所述人形特征检测模块，用于调用NPU接口将裁剪出的人形图像区域数据依次送入人形特征离线模型进行人形特征处理，获得人形图像块的特征信息，将人形特征信息与
人形检测结果一一对应匹配；
[0035]所述匹配跟踪模块，用于将匹配后的结果送入目标跟踪运算模块，得到人形处理结果，然后将人形检测结果绘制到视频流中并显示。
[0036]进一步地，所述人形检测离线模型和人形特征离线模型通过如下步骤得到：
[0037]收集包含人形的图像数据，创建人形和特征图像库；
[0038]以YOLOv5s模型为深度学习主框架，在服务器上搭建运行环境，通过训练人形图像库得到人形检测模型；
[0039]以ResNet50模型为深度学习主框架，在服务器上搭建运行环境，通过训练人形图像库得到人形特征模型；
[0040]将得到的人形检测模型、人形特征模型转换为深度模型的开放格式ONNX格式；
[0041]利用网络摄像机设备配套工具将人形检测模型、人形特征模型转换为NPU能够处理的格式；
[0042]得到人形检测离线模型、人形特征离线模型。
[0043]进一步地，所述人形检测模块中，调用摄像机的媒体接口获取视频帧的图像数据并进行格式转换，具体包括：
[0044]创建视频流检测线程；
[0045]调用设备获取视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NPU的家用摄像机实时人形检测方法，其特征在于，包括：构建并训练人形检测模型和人形特征模型，所述人形检测模型用于检测图像中人的位置，所述人形特征模型用于分析图像人的特征值；将所述人形检测模型和人形特征模型转化为嵌入式神经网络处理器NPU模块可处理的格式，得到人形检测离线模型和人形特征离线模型然后部署于摄像机中；调用摄像机的媒体接口获取视频帧的图像数据并进行格式转换，然后调用NPU接口通过人形检测离线模型进行检测人形处理，得到人形检测结果；对人形检测结果进行筛选和尺寸变换，得到一个或多个在视频画面上的人形实际尺寸和位置，然后在输入到人形检测离线模型的图像上裁剪出一个或多个人形对应的图像区域；调用NPU接口将裁剪出的人形图像区域数据依次送入人形特征离线模型进行人形特征处理，获得人形图像块的特征信息，将人形特征信息与人形检测结果一一对应匹配；将匹配后的结果送入目标跟踪运算模块，得到人形处理结果，将人形检测结果绘制到视频流中并显示。2.根据权利要求1所述的方法，其特征在于：所述人形检测离线模型和人形特征离线模型通过如下步骤得到：收集包含人形的图像数据，创建人形和特征图像库；以YOLOv5s模型为深度学习主框架，在服务器上搭建运行环境，通过训练人形图像库得到人形检测模型；以ResNet50模型为深度学习主框架，在服务器上搭建运行环境，通过训练人形图像库得到人形特征模型；将得到的人形检测模型、人形特征模型转换为深度模型的开放格式ONNX格式；利用网络摄像机设备配套工具将人形检测模型、人形特征模型转换为NPU能够处理的格式；得到人形检测离线模型、人形特征离线模型。3.根据权利要求1所述的方法，其特征在于：所述调用摄像机的媒体接口获取视频帧的图像数据并进行格式转换，具体包括：创建视频流检测线程；调用设备获取视频流的接口，得到实时视频流数据；将视频帧拷贝到创建的人形检测模型输入数据内存空间；调用设备图像处理模块的处理接口，将人形检测模型输入数据内存空间中的数据转换为RGB格式。4.根据权利要求1所述的方法，其特征在于：所述将人形检测结果绘制到视频流中并显示，具体包括：创建主流线程；调用设备获取视频流的接口，得到实时视频流数据；判断内存中是否有检测结果，如果有检测结果，将检测结果绘制到实时视频流数据中，然后通过输出通道输出视频流；如果没有检查结果，将实时视频流数据直接输出。5.根据权利要求1所述的方法，其特征在于：将位置、大小、特性信息作为目标跟踪运算
模块的输入信息，和上一帧视频的检测结果进行匹配以获得处理结果。6.一种基于NPU的家用摄像机实时人形检测装置，其特征在于，包括：离线模型处理模块、人形检测模块、后处理模块、人形特征检测模块以及匹...

【专利技术属性】
技术研发人员：高计丰，王鹏，王焮灏，王守军，
申请(专利权)人：福建星网智慧科技有限公司，
类型：发明
国别省市：