【技术实现步骤摘要】
一种2D和3D结合的区域入侵监测方法、系统与存储介质
[0001]本专利技术涉及图像处理
和点云处理
,尤其涉及一种2D和3D结合的区域入侵监测方法与系统。
技术介绍
[0002]随着深度学习技术的发展和海量视频监控资源的产生,仅通过人力对视频资源进行分析和处理耗时耗力,远远满足不了需求,且现有的区域入侵监测方法存在实时性较差、检测精度不高的问题。探索应用智能视频识别技术结合点云数据提供的3D信息,智能分析重点监控区域的违法违规行为并进行预警,可以实时准确高效的对区域入侵情况进行监测。
技术实现思路
[0003]本专利技术针对现有技术的不足,提供一种2D和3D结合的,判断精度高、实时性好的视频监控物体入侵监测区域的方法并提供一个具有较好移植性的区域入侵监测系统。
[0004]本专利技术的技术方案为一种2D和3D结合的区域入侵监测方法,包含以下步骤:
[0005]步骤1,根据自定义数据集重新训练YOLOv5得到训练好的模型,在系统界面选择已经训练好的模型;
[0006]步骤2,根据步骤1选择的模型,初始化模型参数;
[0007]步骤3,选择检测目标的类型,包括图片检测、本地视频检测以及实时摄像头检测;
[0008]步骤4,若步骤3选中图片检测,上传本地文件夹中的图片,执行目标检测,获取bbox坐标预测信息和置信度,并保存;
[0009]步骤5,若步骤3选中本地视频检测或实时摄像头检测且不勾选区域入侵功能,则读入视频流,根据预设的FPS,对视频帧 ...
【技术保护点】
【技术特征摘要】
1.一种2D和3D结合的区域入侵监测方法,其特征在于,包括如下步骤:步骤1,根据自定义数据集重新训练YOLOv5得到训练好的模型,在系统界面选择已经训练好的模型;步骤2,根据步骤1选择的模型,初始化模型参数;步骤3,选择检测目标的类型,包括图片检测、本地视频检测以及实时摄像头检测;步骤4,若步骤3选中图片检测,上传本地文件夹中的图片,执行目标检测,获取bbox坐标预测信息和置信度,并保存;步骤5,若步骤3选中本地视频检测或实时摄像头检测且不勾选区域入侵功能,则读入视频流,根据预设的FPS,对视频帧执行目标检测,获取bbox坐标预测信息和置信度,并保存;步骤6,若步骤3选中本地视频检测或实时摄像头检测且勾选区域入侵功能,则选择上传本地区域坐标信息JSON文件或实时绘制区域,若选择上传本地区域坐标信息JSON文件,先生成多边形,再对视频帧执行多边形区域的入侵目标检测,获取入侵区域内的bbox坐标信息、入侵类别和置信度;若选择实时绘制区域,使用鼠标绘制警示区域,连点成线构成一个多边形,再对视频帧执行多边形区域的入侵目标检测,获取入侵区域内的bbox坐标信息、入侵类别和置信度,并生成报警信息可视化;然后以2D视觉数据获取到的入侵区域内的bbox坐标信息、入侵类别和置信度为主导,激光雷达获取到的3D点云数据为辅助,使用EPnP算法求解出相机的位姿,进而建立起点云坐标和像素坐标的对应关系,将入侵目标的2D坐标转换为其实际的3D坐标,实现2D和3D信息的结合。2.如权利要求1所述的一种2D和3D结合的区域入侵监测方法,其特征在于:步骤4中图片检测的具体实现包括如下步骤:读入图片,将图片resize到640*640,图片模式从BGR转换到RGB,并将像素值映射到0
‑
1;开始模型推理,对推理的结果应用NMS,iou_thres设置为0.7;接着处理检测结果,缩放预测bbox(x1y1x2y2),绘制bbox和输出检测信息,其中,x1,y1指检测出的目标框的左上角的2D坐标值,x2,y2指检测出的目标框的右下角的2D坐标值。3.如权利要求1所述的一种2D和3D结合的区域入侵监测方法,其特征在于:步骤5中本地视频检测和实时摄像头检测的具体实现包括如下步骤:读入视频,先进行视频检测初始化,获取当前系统时间,作为video的文件名,设置FPS;先判断是否开启区域入侵功能,如果已经绘制区域或者上传区域,对每一帧只在区域内进行检测;接着处理检测结果,缩放预测bbox(x1y1x2y2),绘制bbox和输出检测信息,其中,x1,y1指检测出的目标框的左上角的2D坐标值,x2,y2指检测出的目标框的右下角的2D坐标值。4.如权利要求1所述的一种2D和3D结合的区域入侵监测方法,其特征在于:步骤6中实时绘制区域,使用鼠标绘制警示区域,连点成线构成一个多边形,包括如下步骤:勾选“区域入侵”模式,确保鼠标点击事件能够被系统识别;结合步骤4的图片、视频或实时摄像头监测结果,在结果图像输出的区域范围内,单击鼠标左键,完成创建多边形的单个点操作,通过重复执行鼠标左键单击事件,在创建出三个及以上的不同点后,连接成多边形的警示区域;如果需要重新绘制多边形,可以单击鼠标右键,将之前创建的所有多边形点进行清除。5.如权利要求1所述的一种2D和3D结合的区域入侵监测方法,其特征在于:步骤6中2D
和3D信息的结合,具体实现包括如下步骤:首先在世界坐标系下选取四个非共面的虚拟控制点,以3D点云数据的质心为第一个控制点,通过主成分分析法得到X、Y、Z轴上另外三个控制点,建立起坐标系;使用EPnP算法,根据这四个控制点在世界坐标系下的三维坐标及其对应在图像坐标系下的像素坐标,计算出相机的位姿,进而得到3D点在2...
【专利技术属性】
技术研发人员:曾磊,邓志华,杨飚,周祖衡,杨刚,吕彦松,曾广鸿,陈静群,谢森辉,
申请(专利权)人:中交路桥建设有限公司广东慧图资环科技发展有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。