基于视频的深度学习抛物行为检测方法技术

本申请涉及一种基于视频的深度学习抛物行为检测方法，针对深度学习选择框架，制作抛物行为检测需要的数据集，然后在框架中，对深度学习的算法选择以及调参，模型的迭代和训练，得到深度学习的抛物行为检测模型，再将模型挂载至视频流检测系统，通过视频流检测系统和距离角度分析算法，对抛物人员进行锁定，并且计算距离和角度，判断抛物等级后上传至企业数据管理平台。整个过程节省人力和时间成本，误判率低，并且只要有一定的原始数据，自动的分析学习提取迭代出需要的模型，从而轻松实现全国大范围的拓展。同时，基于深度学习识别到抛物行为数据，可以进行二次开发得到更深度的信息，方便企业相关人员对抛物信息的跟深层次的掌握。的掌握。的掌握。

【技术实现步骤摘要】
基于视频的深度学习抛物行为检测方法


[0001]本申请涉及快递视频检测
，尤其涉及一种基于视频的深度学习抛物行为检测方法。

技术介绍

[0002]物流分拣中经常会出现暴力分拣的情况，物流分拣员经常违反规定，直接把需要的包裹扔向分类区域，这往往会导致包裹的损坏，大大影响了物流企业服务的质量。
[0003]现有技术中，通常有几种常用的检测方法，第一种是建立了互联网抛物监管平台，由监控室工作人员点播来自各个物流中心和网点的监控录像，持续查看识别出违规抛物作业的情况，然后进行标记，整理并上传到数字监管平台，该方法不能实时大范围的监管，需要人工长时间的检测，人力和时间耗费大；第二种是通过物联网进行监管，通过多种传感器组合,收集快件的实时振动加速度,温湿度,光照强度等数据并传输到附数据接收设备上进行分析处理，结果反馈到企业数字监管平台，但该种方案硬件成本高，并且误检率高；第三种是通过人工智能进行监管，即通过例如帧间差分法、背景差分法、混合高斯、改进的ViBe、特征匹配等,或基于这些算法进行组合来达到实现抛物行为的检测结果的，市场上的人工智能摄像头，或者人工智能设备，以及企业级服务器端人工智能检测系统都属于人工智能监管的范畴，但该种方法无法检测抛物人员，无法对抛物人员进行定位，抛物性质界定困难，而且传统算法大多不支持批量并行处理，不同场景下的算法兼容性也很差，只适合特定场景，小范围的使用。

技术实现思路

[0004]本申请提供一种基于视频的深度学习抛物行为检测方法，以解决现有技术中，在物流分拣过程中，抛物检测环节存在的需要人工检测、耗时耗力，误检率高，以及应用范围小的问题。
[0005]本申请的上述目的是通过以下技术方案实现的：
[0006]本申请实施例提供一种基于视频的深度学习抛物行为检测方法，包括：
[0007]通过预设视频流分析系统连接网络监控平台接收视频数据流，并进行解码处理；
[0008]基于预设深度学习的抛物行为检测模型，对视频流中的抛物行为进行推理，确定被抛包裹；
[0009]分别对每一个所述被抛包裹进行追踪，并单独记录每一个被抛包裹移动的轨迹信息，得到对应每个被抛包裹的信息组；
[0010]基于所述信息组对每个对应的被抛包裹进行抛物分析，锁定抛物人员；
[0011]根据预设距离角度算法，基于抛物人员和被抛包裹的距离信息、被抛包裹分与图像中心的角度信息，以及拍摄相机倾斜的角度信息，计算得到包裹抛物信息；其中，所述包裹抛物信息包括被抛包裹的抛物距离信息和抛物等级信息；
[0012]在所述被抛包裹轨迹的中间帧上绘制抛物轨迹，并记录所述包裹抛物信息后，得
到并输出可视化图像。
[0013]进一步的，所述通过预设视频流分析系统连接网络监控平台接收视频数据流，并进行解码处理包括：
[0014]连接各中心和网点的网络摄像头，通过轮询逻辑算法获取多路RTSP监控视频流；
[0015]对所述RTSP监控视频流进行解码；
[0016]针对多路RTSP监控视频流，从多个输入源形成一批帧，完成批处理帧。
[0017]进一步的，所述深度学习抛物行为检测模型的训练过程包括：
[0018]人工在具有抛物行为的图像上进行分类标注，得到抛物图片和标注的文本信息，建立抛物行为数据集；
[0019]基于所述抛物行为数据集中的标注分类和数量，在Darknet框架中配置Yolov4算法的参数；
[0020]通过配置Yolov4算法参数的Darknet框架和Yolov4算法，对所述抛物行为进一步的，所述人工在具有抛物行为的图像上进行分类标注的标注分类包括：
[0021]人类、人类头颅、被抛包裹和误检抛物物体。
[0022]进一步的，还包括基于所述被抛包裹的信息组中分析得到：被抛包裹的起始点、被抛包裹的终点、被抛包裹的运动轨迹、人类信息、人类头颅信息和被抛包裹的角度信息。
[0023]进一步的，所述基于所述信息组对每个对应的被抛包裹进行抛物分析，锁定抛物人员包括：
[0024]通过被抛包裹起始点到被抛包裹终点的多帧人物信息记录，汇总平均得到平均人物身体宽度；
[0025]判断是否存在在人物中心点不超过所述平均人物身体宽度的范围，与在被抛包裹起始点中心重合的人物；
[0026]若存在，则判断该人物为抛物人员；
[0027]若不存在，则判断抛物人员不在画面内。
[0028]进一步的，所述根据预设距离角度算法，基于抛物人员和被抛包裹的距离信息、被抛包裹与图像中心的角度信息，以及拍摄相机倾斜的角度信息，计算得到包裹抛物信息包括：
[0029]基于人物头部像素宽度，通过三角数学公式，判断人物和抛物包裹终点的距离，得到初步距离值；
[0030]基于所述初步距离值、被抛包裹与图像中心的角度信息和拍摄相机倾斜的角度信息，判断被抛包裹的实际角度变化，对初步距离值进行比例调节，得到真实距离值；
[0031]基于所述真实距离值，得到包括抛物等级信息和抛物距离信息的包裹抛物信息。
[0032]进一步的，还包括基于所述真实距离值和所述深度学习抛物行为检测模型进行误检排查，所述误检排查包括：
[0033]识别移动包裹轨迹角度变化情况，当移动包裹轨迹角度无变化时，则确定为在包裹在平移车辆内或移动传送带上，判断包裹不是被抛包裹；
[0034]识别被抛包裹的起始、中间件和结束的包裹中心点距离人物中心点的综合距离，当包裹始终处于人物的周边位置没有抛出，则确定为搬运行为，判断包裹不是被抛包裹；
[0035]通过人工标记误检抛物信息，生成误检标注数据集，经所述深度学习的抛物行为
检测模型训练后，通过深度学习的抛物行为检测模型判断包裹是否为被抛包裹。
[0036]本申请的实施例提供的技术方案可以包括以下有益效果：
[0037]本申请的实施例提供的技术方案中，首先通过预设视频流分析系统连接网络监控平台接收视频数据流，并进行解码处理；然后基于预设深度学习的抛物行为检测模型，对视频流中的抛物行为进行推理，确定被抛包裹；分别对每一个所述被抛包裹进行追踪，并单独记录每一个被抛包裹移动的轨迹信息，得到对应每个被抛包裹的信息组；基于所述信息组对每个对应的被抛包裹进行抛物分析，锁定抛物人员；根据预设距离角度算法，基于抛物人员和被抛包裹的距离信息、被抛包裹分与图像中心的角度信息，以及拍摄相机倾斜的角度信息，计算得到包裹抛物信息；其中，所述包裹抛物信息包括被抛包裹的抛物距离信息和抛物等级信息；最后，在所述被抛包裹轨迹的中间帧上绘制抛物轨迹，并记录所述包裹抛物信息后，得到并输出可视化图像。如此，本申请提供的基于视频的深度学习抛物行为检测方法，通过服务器端人工智能深度学习技术大大提高了抛物检测的准确率、实时性、效率和降低了成本，同时不需要改造现有的监控体系，也更能快速形成生产力，并且本申请中的深度学习神经网络算法模型，能够通过不断的添加学习各中心场景特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的深度学习抛物行为检测方法，其特征在于，包括：通过预设视频流分析系统连接网络监控平台接收视频数据流，并进行解码处理；基于预设深度学习的抛物行为检测模型，对视频流中的抛物行为进行推理，确定被抛包裹；分别对每一个所述被抛包裹进行追踪，并单独记录每一个被抛包裹移动的轨迹信息，得到对应每个被抛包裹的信息组；基于所述信息组对每个对应的被抛包裹进行抛物分析，锁定抛物人员；根据预设距离角度算法，基于抛物人员和被抛包裹的距离信息、被抛包裹分与图像中心的角度信息，以及拍摄相机倾斜的角度信息，计算得到包裹抛物信息；其中，所述包裹抛物信息包括被抛包裹的抛物距离信息和抛物等级信息；在被抛包裹轨迹的中间帧上绘制抛物轨迹，并记录所述包裹抛物信息后，得到并输出可视化图像。2.根据权利要求1所述的基于视频的深度学习抛物行为检测方法，其特征在于，所述通过预设视频流分析系统连接网络监控平台接收视频数据流，并进行解码处理，包括：连接各中心和网点的网络摄像头，通过轮询逻辑算法获取多路RTSP监控视频流；对所述RTSP监控视频流进行解码；针对多路RTSP监控视频流，从多个输入源形成一批帧，完成批处理帧。3.根据权利要求1所述的基于视频的深度学习抛物行为检测方法，其特征在于，所述深度学习抛物行为检测模型的训练过程包括：人工在具有抛物行为的图像上进行分类标注，得到抛物图片和标注的文本信息，建立抛物行为数据集；基于所述抛物行为数据集中的标注分类和数量，在Darknet框架中配置Yolov4算法的参数；通过配置Yolov4算法参数的Darknet框架和Yolov4算法，对所述抛物行为数据集进行训练，得到深度学习的抛物行为检测模型。4.根据权利要求3所述的基于视频的深度学习抛物行为检测方法，其特征在于，所述人工在具有抛物行为的图像上进行分类标注的标注分类包括：人类、人类头颅、被抛包裹和误检抛物物体。5.根据权利要求3所述的基于视频的深度学习抛物行为检测方法，...

【专利技术属性】
技术研发人员：李继承，汤斐，叶方义，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：