基于虚拟现实的可移动式智慧工地辅助巡检方法和系统技术方案

本发明专利技术为基于虚拟现实的可移动式智慧工地辅助巡检方法和系统，该巡检方法所使用的辅助巡检系统包括双目摄像头、VR眼镜、树莓派、GPS定位模块、报警模块，双目摄像头、树莓派、GPS定位模块、报警模块均集成在VR眼镜上，运用基于虚拟现实的方法实现智慧工地的可穿戴式移动辅助巡检，能利用智能算法实现数据的记录和统计，VR巡检大大提高了巡检效率，移动式的巡检方式，提高了巡检的灵活性。提高了巡检的灵活性。提高了巡检的灵活性。

【技术实现步骤摘要】
基于虚拟现实的可移动式智慧工地辅助巡检方法和系统


[0001]本专利技术涉及基于虚拟现实的可移动式智慧工地辅助巡检方法和系统。

技术介绍

[0002]随着国家基础设施建设和房屋建设的飞速发展，建筑工地的施工安全问题引起社会各界的广泛关注。施工人员的服装穿戴和劳保用品是否正确使用、生产行为是否符合要求、施工环境是否安全、生产材料的质量和数量是否满足要求等都直接关系到施工建设和生产活动能否安全进行。为了确保建筑工地上的生产和建设任务平稳安全的进行，保障施工人员的生命安全和建设项目的工程质量，需要专门的安全员对施工过程中的人员行为、施工环境、施工材料等进行巡检。
[0003]目前工地巡检主要是依靠安全员到施工现场随机抽查和人工手动填写施工现场管理记录。这种方法存在诸多弊端：巡检的结果受安全员主观因素影响较大，在安全员不熟悉巡查范围和巡查内容时会出现漏检和误检的情况。由于没有相应的监察机制，巡检的公正性也容易受到外界其他因素的干扰。同时巡检结果以手动填写文字描述的方法记录，缺少展示的直观性和记录的全面性。另外大型的施工项目对安全巡检人员的需求量较大，巡检工作耗时耗力，数据记录和统计工作量巨大，巡查效率较低。一些建筑工地也安装监控设备对施工过程进行监控，但监控设施布置在固定点位时监控范围有限，缺乏灵活性。另外无法实现施工过程中的不规范行为的辅助判断。
[0004]现有的虚拟现实的巡检方法都是通过VR眼镜获取影像，对眼前的景物进行视频采集，或者将制作好的三维模型投影到眼镜中展示，或者使用摄像头扫描提前制作好的二维码，二维码包含设备名称、位置信息等，并没有使用人工智能算法对目标进行识别和追踪，没有辅助判断的功能，对目标和情景的分类是根据人工判断实现的。

技术实现思路

[0005]针对现有技术的不足，本专利技术拟解决的技术问题是，提供一种基于虚拟现实的可移动式智慧工地辅助巡检方法和系统，运用基于虚拟现实的方法实现智慧工地的可穿戴式移动辅助巡检，能利用智能算法实现数据的记录和统计，VR巡检大大提高了巡检效率，移动式的巡检方式，提高了巡检的灵活性。
[0006]本专利技术解决所述技术问题采用的技术方案是：一种基于虚拟现实的可移动式智慧工地辅助巡检方法，使用双目摄像头、VR眼镜、树莓派、GPS定位模块、报警模块，双目摄像头、树莓派、GPS定位模块、报警模块均集成在VR眼镜上，该方法包括以下内容：A构建巡检数据集：构建含有不同不规范和危险行为的图像的巡检数据集，巡检数据集分别采集正常白天图像和光源探照下的夜间图像，巡检数据集内容包括以下三大类：施工人员、施工环境和施工质量，同时标注有违规危险程度；其中施工人员需要采集的图像数据是施工人员的
面部图像、正确佩戴安全帽和未佩戴安全帽的图像、正确穿着工作服装和未穿着工作服装的图像、高空作业时使用安全绳和不使用安全绳的图像、吸烟和不吸烟的图像；施工环境需要采集的数据是有明火和没有明火的图像、消防设施区域有消防设备和没有消防设备的图像、在危险施工区域设置警示标志及围栏和没有设置的图像；施工质量包括采集墙面的裂缝、坑洞、脱落图像，标注有材料类别的各种施工材料的图像。
[0007]B搭建巡检模型：所述巡检模型包括所述改进的YOLOv5模型和自适应DeepSORT算法，改进的YOLOv5模型用于目标检测，一共有23层，主要分为两部分，其中0
‑
7层称为Backbone，8
‑
22层称为Head，Backbone中由0层Focus层进行切片操作，1
‑
5层和第7层由ShuffleNetV2_Block构成，在第6层插入通道注意力机制ELU
‑
CA Block，所述ELU
‑
CA Block是在水平方向和垂直方向上进行平均池化，再进行transform（变换操作）对空间信息编码，最后把空间信息通过在通道上加权的方式融合；自适应DeepSORT算法用于目标跟踪与统计，将DeepSORT网络中的max age参数设置为浮动参数，不同目标的max age参数动态选取规则为：遮挡物目标框的宽度w与成年男性的正常步行速度v的比值与摄像头帧率FPS相乘，计算公式如下：其中，成年男性的正常步行速度v为常数，在进行多目标追踪时，每一个目标都有一个max age参数；浮动参数的计算规则是用成年男子正常的步行速度与遮挡目标框的宽度计算遮挡时间，再根据镜头的帧率计算每个max age参数；C模型训练以步骤A中构建的巡检数据集训练巡检模型，获得训练好的巡检模型，该巡检模型能够识别、跟踪违规事件和施工材料，并能对违规事件和施工材料种类进行数据统计；D判断是否饮酒采集不同的正常人员和饮酒后的人员的行动轨迹构成饮酒数据集，用时间t、图像坐标系下的X方向的坐标、图像坐标系下的Y方向坐标这三个特征表示行动轨迹，以饮酒数据集训练LSTM网络，利用训练好的LSTM网络判断施工人员是否饮酒；在使用训练好的巡检模型检测到巡检结果属于施工人员这一类时，利用自适应DeepSORT算法对施工人员进行3s的持续追踪，采集目标框中心点的移动轨迹，以该移动轨迹的时间t、图像坐标系下的X方向的坐标、图像坐标系下的Y方向坐标这三个特征输入到LSTM网络中，确定此施工人员是否饮酒。
[0008]E巡检结果定位使用训练好的巡检模型输出巡检结果，对巡检结果的目标框进行定位，获得目标的绝对位置，目标绝对位置T
ap
确定的数学表达式为：其中T
ap
为目标绝对位置；I
ap
为巡检员绝对位置，由GPS定位模块确定；T
rp
为目标与巡检员的相对位置，由双目摄像头定位确定。
[0009]F结果展示
巡检信息展示在VR眼镜中，巡检结果自动存储在存储模块中，巡检结果包括违规图像、信息描述（违规类别）、位置信息、时间信息、巡查员信息；根据违规内容的危险程度将巡检结果按序向云端传输，将危险和紧急的情况优先传输，违规事件的危险程度一方面通过构建巡检数据集时进行标注，另外一方面通过巡检员判断，通过用户按钮手动判断；同时根据违规内容的危险程度通过报警模块向巡检员发出提示音；存储模块定期删除保存的内容，云端长期保存巡检结果，巡检结果保存到云端后，将生成巡检报告发送到负责人手中，将巡检结果通知直接责任人对违规内容进行整改；所述情况描述包括违规类别，若为施工人员违规，则信息描述还包括是否饮酒；下次巡查至上次记录违规内容的位置时，自动保存下次巡检结果并与上次记录的违规内容进行匹配，对比检测结果确定是否完成整改，若整改完成，记录整改效果并保存，若未整改，通知责任人完成整改。
[0010]所述用户按钮包括操作对象选择按钮、确认按钮、开机键和电源开关键，其中操作对象选择按钮在选择操作对象时以目标框中心点靠近图像左上角的目标开始，以从左到右、从上到下的顺序依次选取目标，直到搜索到目标框中心点最靠近图像右下角的目标时再次选取标框中心点靠近图像左上角的目标；确认按键用以确认或取消选取的按钮，点击一次为确认当前操作，连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实的可移动式智慧工地辅助巡检方法，其特征在于，该巡检方法所使用的辅助巡检系统包括双目摄像头、VR眼镜、树莓派、GPS定位模块、报警模块，双目摄像头、树莓派、GPS定位模块、报警模块均集成在VR眼镜上，该方法包括以下内容：A构建巡检数据集：构建含有不同不规范和危险行为的图像的巡检数据集，巡检数据集分别采集正常白天图像和光源探照下的夜间图像，巡检数据集内容包括以下三大类：施工人员、施工环境和施工质量，同时标注有不同违规事件的违规危险程度；施工质量包括采集墙面的裂缝、坑洞、脱落图像，标注有材料类别的各种施工材料的图像；B搭建巡检模型：所述巡检模型包括改进的YOLOv5模型和自适应DeepSORT算法，改进的YOLOv5模型用于目标检测，一共有23层，主要分为两部分，其中0
‑
7层称为Backbone，8
‑
22层称为Head，Backbone中由0层Focus层进行切片操作，1
‑
5层和第7层由ShuffleNetV2_Block构成，在第6层插入通道注意力机制ELU
‑
CA Block，所述ELU
‑
CA Block是在水平方向和垂直方向上进行平均池化，再进行transform操作对空间信息编码，最后把空间信息通过在通道上加权的方式融合；自适应DeepSORT算法用于目标跟踪与统计，将DeepSORT网络中的max age参数设置为浮动参数，不同目标的max age参数动态选取规则为：遮挡物目标框的宽度w与成年男性的正常步行速度v的比值与摄像头帧率FPS相乘，计算公式如下：其中，成年男性的正常步行速度v为常数，在进行多目标追踪时，每一个目标都有一个max age参数；C模型训练以步骤A中构建的巡检数据集训练巡检模型，获得训练好的巡检模型，训练好的巡检模型能够识别、跟踪违规事件和施工材料，并对违规事件和施工材料种类进行数据统计；D判断是否饮酒采集不同的正常人员和饮酒后的人员的行动轨迹构成饮酒数据集，用时间t、图像坐标系下的X方向坐标、图像坐标系下的Y方向坐标这三个特征表示行动轨迹，以饮酒数据集训练LSTM网络，利用训练好的LSTM网络判断施工人员是否饮酒；在使用训练好的巡检模型检测到巡检结果属于施工人员这一类时，利用自适应DeepSORT算法对施工人员进行3s的持续追踪，采集目标框中心点的移动轨迹，以该移动轨迹的时间t、图像坐标系下的X方向坐标、图像坐标系下的Y方向坐标这三个特征输入到LSTM网络中，确定此施工人员是否饮酒；E巡检结果定位使用训练好的巡检模型输出巡检结果，对巡检结果的目标框进行定位，获得目标的绝对位置，目标绝对位置T
ap
确定的数学表达式为：其中T
ap
为目标绝对位置；I
ap
为巡检员绝对位置，由GPS定位模块确定；T
rp
为目标与巡检员的相对位置，由双目摄像头定位确定；F结果展示
巡检信息展示在VR眼镜中，巡检结果自动存储在存储模块中，巡检结果包括违规图像、情况描述、位置信息、时间信息、巡查员信息；根据违规内容的危险程度将巡检结果按序向云端传输，将危险和紧急的情况优先传输，同时根据违规内容的危险程度通过报警模块向巡检员发出提示音；存储模块定期删除保存的内容，云端长期保存巡检结果，巡检结果保存到云端后，将生成巡检报告发送到负责人手中，将巡检结果通知直接责任人对违规内容进行整改；所述情况描述包括违规类别，若为施工人员违规，则信息描述还包括是否饮酒；下次巡查至上次记录违规内容的位置时，自动保存下次巡检结果并与上次记录的违规内容进行匹配，对比检测结果确定是否完成整改，若整改完成，记录整改效果并保存，若未整改，通知责任人完成整改。2.根据权利要求1所述的基于虚拟现实的可移动式智慧工地辅助巡检方法，其特征在于，所述辅助巡检系统以VR眼镜为头戴式辅助巡检设备的组装框架，将双目摄像头的两个摄像头的镜头中心放置于与双眼在同一平面的位置，并完成摄像头的相机参数校正；两个摄像头的镜头中心始终处于同一直线；将VR眼镜、存储模块、GPS定位模块、数据传输模块、报警模块和可见光源连接在树莓派上，存储模块、GPS定位模块、数据传输模块、电池、报警模块分别与树莓派的相应接口相连接，存储模块、GPS定位模块、数据传输模块、电池、报警模块和树莓派均集成在一起，形成集成模块，集成模块置于VR眼镜的显示屏幕的前方，且位于摄像头的后边，单独封装，与VR眼镜的显示屏幕贴合，在VR眼镜的侧面设置有用户按钮。3.根据权利要求2所述的基于虚拟现实的可移动式智慧工地辅助巡检方法，其特征在于，所述用户按钮包括操作对象选择按钮、确认按钮、开机键和电源开关键，其中操作对象选择按钮在选择操作对象时以目标框中心点靠近图...

【专利技术属性】
技术研发人员：李家乐，王雪菲，刘涛，袁成龙，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：