【技术实现步骤摘要】
基于货柜场景下的实时存取行为检测方法和系统
本专利技术涉及深度学习中人体关键点识别
、图像分类识别
和一套行为检测规则方法和系统。
技术介绍
目前，在视频行为理解的技术条件下，人体行为检测技术可用于货柜场景下存取行为检测技术方案主要如下几种：(1)基于双流的方法，单帧RGB作为输入的CNN(卷积神经网络)来处理空间维度的信息，使用以多帧密度光流场作为输入的CNN来处理时间维度的信息，最后通过空间维度信息和光流信息来进行行为识别。(2)基于C3D(三维卷积)的方法，采用3D卷积深度网络对整段视频进行时空建模，直接进行行为识别。(3)基于CNN-LSTM(卷积神经网络-长短时记忆神经网络)的方法，使用CNN提取视频中每帧的特征信息，将每帧的特征信息使用LSTM进行处理，最终识别出行为。(4)基于目标检测-跟踪-识别方法，使用目标检测来对每一帧中的ROI进行跟踪，然后对检测到的动作进行行为识别。(5)基于关键点技术的LSTM或者GCN(图卷积神经网络)方法，使用关键点检测网络提取...
【技术保护点】
1.基于货柜场景下的实时存取行为检测系统，其特征在于：包括GPU、CPU、内存卡、RGB广角摄像头和显示屏；/nRGB广角摄像头部署在货柜正上方，确保能够拍到进入货柜的人手；RGB广角摄像头与PC机相连，PC机通过RGB广角摄像头逐帧采集图像，采集图像后送入内存卡，之后通过PC机的GPU和CPU系统执行整个算法流程，存取结果将显示在显示屏上；采集图像、图像处理、逻辑运算等计算需要CPU进行处理，神经网络的计算需要使用GPU。/n
【技术特征摘要】
1.基于货柜场景下的实时存取行为检测系统，其特征在于：包括GPU、CPU、内存卡、RGB广角摄像头和显示屏；
RGB广角摄像头部署在货柜正上方，确保能够拍到进入货柜的人手；RGB广角摄像头与PC机相连，PC机通过RGB广角摄像头逐帧采集图像，采集图像后送入内存卡，之后通过PC机的GPU和CPU系统执行整个算法流程，存取结果将显示在显示屏上；采集图像、图像处理、逻辑运算等计算需要CPU进行处理，神经网络的计算需要使用GPU。
2.利用权利要求1所述系统进行的基于货柜场景下的实时存取行为检测方法，其特征在于：所述方法包括以下步骤，
步骤S1，在线获取人体视频图像，对所述的手部视频图像使用关键点检测的网络进行特征提取，获得手腕关键点，手部掌心关键点；
步骤S2，记录分析手腕关键点运动信息；
步骤S3，将手部ROI送入到分类模型中，识别手部物体有无；
步骤S4，使用规则对手部关键点运动信息和手部物体有无进行行为检测。
3.根据权利要求2所述的基于货柜场景下的实时存取行为检测方法，其特征在于：
步骤S1中，使用DHRnet-Lite网络对视频图像逐帧检测，得到手腕关键点概率图、手掌心关键点概率图，计算手腕关键点概率图中的最大概率点的坐标，然后这个最大概率值与设置的阈值α(α>0.5)作比较，若这个概率值超过阈值α，则取得该点的坐标有效，否则丢弃这个预测，视为没有预测到相应的坐标；有效的手腕关键点和手掌关键点会存入到一个先进先出的队列Q中，队列为有限长，根据实际场景设置合适的长度。
4.根据权利要求3所述的基于货柜场景下的实时存取行为检测方法，其特征在于：关键点的检测模块的基础网络参考DHRnet，针对原始冗余的DHRnet网络进行减枝，分别从原始网络的分支数量、通道宽度、网络深度进行裁剪，构成轻量版本的DHRnet-Lite；根据需要求解的关键点来对DHRnet-Lite网络进行有监督的训练，得到DHRnet-Lite网络模型。
5.根据权利要求2所述的基于货柜场景下的实时存取行为检测方法，其特征在于：得到手腕关键点坐标后，计算关键点的运动信息，求解手部的伸缩信息；首先从队列Q中连续取出两个时间点的手腕关键点坐标，先取出来的为当前帧的关键点坐标，后取出来的为前一帧的关键点坐标，计算运动...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。