【技术实现步骤摘要】
本专利技术涉及坍落度预测领域，具体涉及一种基于rgb图像和深度图像的坍落度预测方法及装置。
技术介绍
1、混凝土坍落度是评价混凝土流动性的指标之一，用于指导工程的施工进行。目前，混凝土坍落度的检测主要依赖于使用坍落度桶进行人工检测，这种检测方式发生在混凝土生产完成后进行的，具有后发性，这意味着一旦检测出本批次混凝土的坍落度不符合要求，则会造成资源浪费和拖延施工的进行。
2、由于混凝土的原材料含水率波动较大，无法直接通过配方控制混凝土坍落度达到要求，需要定期测量混凝土坍落度以调整配方，因此后发性的人工检测坍落度的方式难以满足实时调整混凝土配方的生产需求，因此需要一种能够在混凝土搅拌过程中实时检测坍落度的方法。
技术实现思路
1、针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于rgb图像和深度图像的坍落度预测方法及装置，来解决以上
技术介绍
部分提到的技术问题。
2、第一方面，本专利技术提供了一种基于rgb图像和深度图像的坍落度预测方法，包括以下步骤：
3、获取混凝土搅拌阶段采集到的混凝土表面的原始rgb图像序列和原始深度图像序列，对原始rgb图像序列和原始深度图像序列进行预处理，得到rgb图像序列和深度图像序列；
4、构建基于双模态特征融合的坍落度预测模型并训练，得到经训练的坍落度预测模型；
5、将rgb图像序列中的rgb图像及其对应的深度图像序列中的深度图像输入经训练的坍落度预测模型，得到坍落度的预测值。
...【技术保护点】
1.一种基于RGB图像和深度图像的坍落度预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层、展平层和全连接层，所述RGB图像序列中的RGB图像及其对应的所述深度图像序列的深度图像进行拼接后输入所述第一卷积层，通过所述全连接层输出所述坍落度的预测值。
3.根据权利要求1所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括第一支路和第二支路，所述第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块和第四残差模块，所述第一支路的第一残差模块的输出与第二支路的第一残差模块的输出相加后输入所述第一支路的第二残差模块，所述第一支路的第二残差模块的输出与第二支路的第二残差模块的输出相加后输入所述第一支路的第三残差模块，所述第一支路的第三残差模块的输出与第二支路的第三残差模块的输出相加后输入所述第一支路的第四残差
4.根据权利要求1所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括第一支路和第二支路，所述第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层和展平层，所述第一支路的展平层的输出和第二支路的展平层的输出拼接后输入全连接层，所述RGB图像序列中的RGB图像及其对应的所述深度图像序列中的深度图像分别输入所述第一支路的第一卷积层和第二支路的第一卷积层，通过所述全连接层输出所述坍落度的预测值。
5.根据权利要求2-4中任一项所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述第一残差模块、第二残差模块、第三残差模块、第四残差模块分别包括依次连接的3个残差块、依次连接的4个残差块、依次连接的6个残差块和依次连接的3个残差块，每个残差块包括构成残差连接的第二卷积模块和第三卷积模块，所述第二卷积模块和第三卷积模块均包括依次连接的第二卷积层和Relu激活函数层，所述第一卷积层的卷积核大小为7×7，所述第二卷积层的卷积核大小为3×3，所述最大池化层的池化核大小为3×3，所述平均池化层的池化核大小为1×1。
6.根据权利要求1所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述对所述原始RGB图像序列和原始深度图像序列进行预处理，得到RGB图像序列和深度图像序列，具体包括：
7.根据权利要求6所述的基于RGB图像和深度图像的坍落度预测方法，其特征在于，所述时间段截取所对应的图像为混凝土搅拌轴旋转一周的图像。
8.一种基于RGB图像和深度图像的坍落度预测装置，其特征在于，包括：
9.一种电子设备，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
...【技术特征摘要】
1.一种基于rgb图像和深度图像的坍落度预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于rgb图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层、展平层和全连接层，所述rgb图像序列中的rgb图像及其对应的所述深度图像序列的深度图像进行拼接后输入所述第一卷积层，通过所述全连接层输出所述坍落度的预测值。
3.根据权利要求1所述的基于rgb图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括第一支路和第二支路，所述第一支路和第二支路均包括依次连接的第一卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块和第四残差模块，所述第一支路的第一残差模块的输出与第二支路的第一残差模块的输出相加后输入所述第一支路的第二残差模块，所述第一支路的第二残差模块的输出与第二支路的第二残差模块的输出相加后输入所述第一支路的第三残差模块，所述第一支路的第三残差模块的输出与第二支路的第三残差模块的输出相加后输入所述第一支路的第四残差模块，所述第一支路的第四残差模块的输出与第二支路的第四残差模块的输出相加后输入依次连接的平均池化层、展平层和全连接层，所述rgb图像序列中的rgb图像及其对应的所述深度图像序列中的深度图像分别输入所述第一支路的第一卷积层和第二支路的第一卷积层，通过所述全连接层输出所述坍落度的预测值。
4.根据权利要求1所述的基于rgb图像和深度图像的坍落度预测方法，其特征在于，所述坍落度预测模型包括第一支路和第二支路，所述第一支路和第二支路均包括依次连接的第一卷积层...
【专利技术属性】
技术研发人员：杨建红，林柏宏，黄文景，张宝裕，黄骁民，陈焕森，黄伟晴，韩明芝，
申请(专利权)人：福建南方路面机械股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。