一种建材智能计数方法及计数设备技术

本发明专利技术提供了一种建材智能计数方法及计数设备，所述计数方法包括：提取建材放置场景视频的视频帧，使用多层感知器计算时域与空域关键帧分数{s1,s2,

【技术实现步骤摘要】
一种建材智能计数方法及计数设备


[0001]本专利技术涉及计算机视觉
，尤其涉及一种建材智能计数方法及计数设备。

技术介绍

[0002]建筑材料的准备与输送是建筑工程中不可忽视的部分，在建筑材料的采购、接收、存储与分配过程中，传统的方法是组织人员对相关部分进行人工清点统计，效率低下且人为失误可能出现在多个环节。

技术实现思路

[0003]为了克服上述现有技术的不足，本专利技术提供了一种建材智能计数方法及计数设备，以解决目前人工计数方法导致工作强度大、清点过程繁琐、易计数产生误差和工作效率低的技术问题。
[0004]为解决上述问题，本专利技术的第一目的在于提供一种建材智能计数方法，应用于建材类别与数目的估计，所述计数方法包括：
[0005]S
100
：提取建材放置场景视频的视频帧，使用多层感知器计算时域与空域关键帧分数{s1,s2,
…
,s
t
}；
[0006]S
200
：按K高值法抽取对应帧的特征单位，以表示帧与帧之间的时空信息{f1,f2,
…
,f
t
}；
[0007]S
300
：对特征单位进行位置编码后，输入到预训练的网络结构进行注意力计算，得到带注意力的特征序列{o1,o2,
…
,o
t
}；
[0008]S
400
：对每一单位的特征序列{o1,o2,
…
,o
t
}进行全局平均池化操作，得到一个融合特征序列{F1,F2,
…
,F
t
}；
[0009]S
500
：使用回归头将拼接的融合特征序列向数字回归，得到预测数目N；
[0010]S
600
：使用分类头分析拼接的融合特征序列，得到视频中存在的建材类别C。
[0011]可选的，在步骤S
100
中，所述使用多层感知器计算时域与空域关键帧分数{s1,s2,
…
,s
t
}的具体操作为：
[0012]S
100
：将原视频中各帧图像数据输入可自主学习的多层感知器进行提炼，
[0013]S
101
：对所有提炼后的帧数据进行全局平均，以得到全局特征帧，
[0014]S
102
：每一帧与全局特征帧连接后，再经过另一可自主学习的多层感知器，得到对应分数g，该分数的计算表达式如下：
[0015][0016]可选的，在步骤S
100
中，对时域关键帧的选取包括：
[0017]按照多层感知器计算出的时域各帧分数g
t
′
对各帧排列K高值顺序，运算记为：
[0018]Y
t
＝Top
‑
K(g
′
t
)
[0019]其中：Y
t
为one
‑
hot矩阵，用以提取特征单元中对应位置的数据。
[0020]可选的，在步骤S
100
中，对空域关键帧的选取包括：
[0021]将K高值操作中的K设为1，使用基于锚点的划分方式，对各个锚区域通过最大池化操作计算空域分数g
′
s
；
[0022]提取Top
‑
1的区域，生成的one
‑
hot矩阵记为：
[0023]Y
s
＝Top
‑
1(g
′
s
)
[0024]其中：Y
s
为提取出来的空域分数矩阵，g
′
s
代表空域分数，Top
‑
1代表空域分数的最大值。
[0025]可选的，在步骤S
300
中，所述对特征单位进行位置编码后，输入到预训练的网络结构进行注意力计算的具体操作包括：
[0026]选取操作可视为一线性规划问题，前向传播与后向传播的计算使用最大摄动方法实现。
[0027]可选的，在步骤S
500
中，所述回归头是由全连接层、激活操作以及丢弃操作组成的实现回归任务的网络结构，数据在输入所述回归头前经过其它网络层处理并展平。
[0028]可选的，在步骤S
600
中，所述分类头是由全连接层、激活操作以及丢弃操作组成的实现分类任务的网络结构，数据在输入所述分类头前经过其它网络层处理并展平，所述分类头输出当前视频段属于既定分类的概率。
[0029]可选的，所述预训练的网络结构的损失函数包括交叉熵损失和数目回归损失两部分，所述损失函数表达式如下：
[0030][0031]其中：M为建材类别个数，N为视频段数，z
t,k
代表该段视频中的建材是否为k类，P
i
表示对第i段视频中建材数量的预测，G
i
表示第i段视频中建材实际数目，λ代表实际应用所设定参数。
[0032]本专利技术的第二目的在于提供一种建材智能计数设备，包括：处理器、显示器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时用于上述所述的建材智能计数方法。
[0033]本专利技术的第三目的在于提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述所述的建材智能计数方法。
[0034]本专利技术与现有技术相比具有显著的优点和有益效果，具体体现在以下方面：
[0035]本专利技术通过分析视频图像内容，从而估计建材的类别与数量，本方法采用深度学习中的神经网络方法，解决使用计算机自动计算出建材数量、自动识别出建材类别的问题，并使用一个视频信息筛选结构，降低网络结构运算量，提高检测速度；最后通过Transformer较优的全局注意力计算机制提取图像中的时空信息，实现较为准确的数目与类别估计。
附图说明
[0036]图1为本专利技术实施例中建材智能计数方法的流程图；
[0037]图2为本专利技术实施例中建材智能计数设备的结构图；
[0038]图3为本专利技术实施例中特征单位筛选模块结构图；
[0039]图4为本专利技术实施例中TransformerEncoder模块基本单位结构图。
具体实施方式
[0040]为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。
[0041]请参阅图1
‑
4所示，在本专利技术的实施例当中提供了一种建材智能计数方法，应用于建材数目估计中，所述计数方法包括：
[0042]S
100
：提取建材放置场景视频的视频帧，使用多层感本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种建材智能计数方法，应用于建材类别与数目的估计，其特征在于，所述计数方法包括：S
100
：提取建材放置场景视频的视频帧，使用多层感知器计算时域与空域关键帧分数{s1，s2，...，s
t
}；S
200
：按K高值法抽取对应帧的特征单位，以表示帧与帧之间的时空信息{f1,f2，...,f
t
}；S
300
：对特征单位进行位置编码后，输入到预训练的网络结构进行注意力计算，得到带注意力的特征序列{o1，o2，...，o
t
}；S
400
：对每一单位的特征序列{o1，o2，...，o
t
}进行全局平均池化操作，得到一个融合特征序列{F
i
,F2，...,F
t
}；S
500
：使用回归头将拼接的融合特征序列向数字回归，得到预测数目N；S
600
：使用分类头分析拼接的融合特征序列，得到视频中存在的建材类别C。2.根据权利要求1所述的建材智能计数方法，其特征在于，在步骤S
100
中，所述使用多层感知器计算时域与空域关键帧分数{s1,s2,
…
,s
t
}的具体操作为：S
100
：将场景视频中各帧图像数据输入可自主学习的多层感知器进行提炼，S
101
：对所有提炼后的帧数据进行全局平均，以得到全局特征帧，S
102
：每一帧与全局特征帧连接后，再经过另一可自主学习的多层感知器，得到对应分数g，所述分数的计算表达式如下：3.根据权利要求1所述的建材智能计数方法，其特征在于，在步骤S
100
中，对时域关键帧的选取包括：按照多层感知器计算出的时域各帧分数g
t
′
对各帧排列K高值顺序，运算记为：Y
t
＝Top
‑
K(g'
t
)其中：Y
t
为one
‑
hot矩阵，用以提取特征单元中对应位置的数据；g
t
′
代表各帧分数，Top
‑
K代表前k个空域分数的最大值。4.根据权利要求1所述的建材智...

【专利技术属性】
技术研发人员：殷蔚明，胡馨丹，彭建铖，罗大鹏，程卓，李金生，王伦，肖菲，王良波，
申请(专利权)人：中建三局智能技术有限公司中建三局第二建设工程有限责任公司，
类型：发明
国别省市：