一种基于人工智能视频分析的自伴混凝土质量管理方法技术

本发明专利技术提供一种基于人工智能视频分析的自伴混凝土质量管理方法，该方法包括：通过CoViAR算法对实时上传的视频流进行高效的事件分割判断，针对相关视频段，用CoViAR、SSD、OCR等算法完成各材质在单位盛具、单位车中的重量分析、入料口入料环节加入到搅拌机中各材料的重量分析、搅拌机工作的相关状态分析、试块制作时刻与个数分析、塌落度估计分析，基于上述步骤的输出信息，进行输出信息与设定标准值对比，对存在风险的事件预警，对全部视频进行结构化存储。本发明专利技术可在线实时风险预警，只需少量监理专家，远程分析系统预警的风险，实时进行判定，使旁站监理的人员利用和时效能够得到真正提高，利用结构化视频存储，有利于建筑过程中发生事件的检索与回溯。

【技术实现步骤摘要】
一种基于人工智能视频分析的自伴混凝土质量管理方法
本专利技术涉及建筑工程
，具体来说，涉及一种基于人工智能视频分析的自伴混凝土质量管理方法。
技术介绍
在建筑作业中，混凝土的质量对建筑的质量极其重要的因素之一，因而国家层面对混凝土的生产质量有着明确的规范和强制监管。通常情况下，对混凝土的生产质量监管，往往通过具有相关监理资格的监理人员，进行现场人工监督的方式，来达到严格监管的目的，该过程专业术语为“旁站监理”，其主要缺点有以下几点：1.旁站监理过程中，由于缺少影像等有效监督手段，因而，由于监理人员专业素质差或利益交换等原因，容易导致不能有效作为、少作为、恶意不作为等情况出现；2.旁站监理对相关指标记录不认真或者不规范，导致对监理过程无有效可追溯性；3.旁站过程中对发现有安全、质量隐患或违反工程建设强制性标准要求的行为，停留在整改建议或口头通知，对整改情况不跟踪封闭；4.旁站监督管理的成本高、人效低。基于上述缺点，急需一种具备人工智能视频分析的自伴混凝土质量管理方法出现。针对相关技术中的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的目的在于提供一种基于人工智能视频分析的自伴混凝土质量管理方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于人工智能视频分析的自伴混凝土质量管理方法，该方法包括：a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分割判断，当前时间窗口视频的事件类型分为：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；a2.针对单位盛具称重环节的视频段，用SSD算法和OCR算法完成各材质在单位盛具中的重量分析，其输出结果为材料类型、单位盛具的重量；a3.针对单位车盛装环节的视频段，用CoViAR-resnet算法实现盛装行为分析、SSD算法完成盛装材质类型识别，其输出结果为材料类型、盛装次数；a4.针对入料口入料环节的视频段，用CoViAR-resnet算法和SSD算法完成入料口入料环节下加入到搅拌机中各材料的重量分析，其输出结果为材料类型、加入次数；a5.针对搅拌环节的视频段，用CoViAR-resnet算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，其输出结果为状态、起止时刻；a6.针对试块制作环节的视频段，用SSD算法完成时刻制作中试块个数分析，其输出结果为：试块数量；a7.针对塌落度测试环节的视频段，用SSD算法和OCR算法完成塌落度估计分析，其输出结果为塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息；a8.综合步骤a1至步骤a7中的输出信息，进行输出的信息与设定的标准值进行对比，对存在风险的事件发出预警；a9.基于步骤a1至步骤a7中的输出信息，对全部视频进行结构化存储。进一步地，所述视频行为分析算法CoViAR步骤：b1：CoViAR的输入是“压缩视频流”；b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即ResidualP帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；b4：基于融合3个子模型对视频进行动作行为分类。进一步地，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。进一步地，所述OCR算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构进行推理文本,最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。进一步地，所述步骤a2通过SSD算法检测定位出处于称上的盛具以及其中的材料类型，同时检测定位称的显示盘上的文字区域。进一步地，所述步骤a2基于OCR算法识别称的显示盘上的文字区域的数。进一步地，所述步骤a3中通过CoViAR-resnet算法检测分析盛满一车的全过程中的每一个单次盛装行为，通过SSD算法检测盛具中材料类型。进一步地，所述步骤a4通过对工人入料行为进行分析，得到各材料加入到搅拌机内的次数，同时通过SSD算法检测每次加入的材料类型。进一步地，所述步骤a7通过SSD算法检测定位塌落度筒和检测定位混凝土，并对测量卡尺刻度信息进行OCR文本识别，最终综合塌落度筒和混凝土堆的外接矩形框，以及测量卡尺的刻度信息估计塌落度。进一步地，所述步骤a8预警的方式包括语音预警、灯光信号预警、预设的手机短信预警。本专利技术工作原理：本专利技术基于深度学习人工智能的视频分析技术，对混凝土生产过程中的，各个环节进行持续的、有效的视频采集，并在后端进行存储，同时对视频数据，进行实时的智能分析，对存在质量风险的生产过程进行自动的、高时效的预警，监理方专业监理员对预警信息对应的视频信息进行复核，最终对风险作出准确判断，并作出相关反应，使得监理人员可以同时监理多个生产现场，从而实现旁站监督管理工作的高有效性、可追溯性、高时效性等目的。与现有技术相比，本专利技术具有以下有益效果：1.与传统旁站监理相比，本专利技术在混凝土生产质量的监督与管理过程中，智能视频分析起到的作用为：混凝土材料(水、砂子、石子、水泥)配比监督管理、混凝土搅拌时长监督管理、混凝土试块制作监督管理、混凝土坍落度监督管理；2.本专利技术可用于判断施工能否正常进行；3.本专利技术利用结构化视频存储，有利于建筑过程中发生事件的检索与回溯；4.本专利技术可实现全流程的智能化旁站监理，避免了监理员自认为的因素导致的种种潜在风险，从而避免建筑事故的发生；5.本专利技术可实现在线实时风险预警，只需要少量的监理专家，远程分析系统预警的风险，实时进行判定，从而使得旁站监督管理的人员利用和时效能够得到真正的提高。具体实施方式下面，结合具体实施方式，对专利技术做出进一步的描述：一种基于人工智能视频分析的自伴混凝土质量管理方法，该方法包括：a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分割判断，当前时间窗口视频的事件类型分为：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；a2.针对单位盛具称重环节的视频段，用SSD算法和OCR算法完成各材质在单位盛具中的重量分析，其输出结果为材料类型、单位盛具的重量；a3.针对单位本文档来自技高网...

【技术保护点】
1.一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，该方法包括：/na1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分割判断，当前时间窗口视频的事件类型分为：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；/na2.针对单位盛具称重环节的视频段，用SSD算法和OCR算法完成各材质在单位盛具中的重量分析，其输出结果为材料类型、单位盛具的重量；/na3.针对单位车盛装环节的视频段，用CoViAR-resnet算法实现盛装行为分析、SSD算法完成盛装材质类型识别，其输出结果为材料类型、盛装次数；/na4.针对入料口入料环节的视频段，用CoViAR-resnet算法和SSD算法完成入料口入料环节下加入到搅拌机中各材料的行为过程分析，其输出结果为材料类型、加入次数；/na5.针对搅拌环节的视频段，用CoViAR-resnet算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，其输出结果为状态、起止时刻；/na6.针对试块制作环节的视频段，用SSD算法完成时刻制作中试块个数分析，其输出结果为：试块数量；/na7.针对塌落度测试环节的视频段，用SSD算法和OCR算法完成塌落度估计分析，其输出结果为塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息；/na8.综合步骤a1至步骤a7中的输出信息，进行输出的信息与设定的标准值进行对比，对存在风险的事件发出预警；/na9.基于步骤a1至步骤a7中的输出信息，对全部视频进行结构化存储。/n...

【技术特征摘要】
1.一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，该方法包括：
a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分割判断，当前时间窗口视频的事件类型分为：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；
a2.针对单位盛具称重环节的视频段，用SSD算法和OCR算法完成各材质在单位盛具中的重量分析，其输出结果为材料类型、单位盛具的重量；
a3.针对单位车盛装环节的视频段，用CoViAR-resnet算法实现盛装行为分析、SSD算法完成盛装材质类型识别，其输出结果为材料类型、盛装次数；
a4.针对入料口入料环节的视频段，用CoViAR-resnet算法和SSD算法完成入料口入料环节下加入到搅拌机中各材料的行为过程分析，其输出结果为材料类型、加入次数；
a5.针对搅拌环节的视频段，用CoViAR-resnet算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，其输出结果为状态、起止时刻；
a6.针对试块制作环节的视频段，用SSD算法完成时刻制作中试块个数分析，其输出结果为：试块数量；
a7.针对塌落度测试环节的视频段，用SSD算法和OCR算法完成塌落度估计分析，其输出结果为塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息；
a8.综合步骤a1至步骤a7中的输出信息，进行输出的信息与设定的标准值进行对比，对存在风险的事件发出预警；
a9.基于步骤a1至步骤a7中的输出信息，对全部视频进行结构化存储。


2.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述视频行为分析算法CoViAR步骤：
b1：CoViAR的输入是“压缩视频流”；
b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即ResidualP帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；
b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-...

【专利技术属性】
技术研发人员：高来先，李永忠，张永炘，吴国爱，黄伟文，李佳祺，贾云博，邓先亮，何东城，
申请(专利权)人：广东创成建设监理咨询有限公司，
类型：发明
国别省市：广东;44