产品生产质量监控方法及装置制造方法及图纸

本申请所涉及的产品生产质量监控方法及装置，采用图像采集运算装置录制白酒生产过程中的视频，基于所述视频中的图像数据间隔预设时间T分割为视频片段，以及对所述视频片段作拉伸或者剪切处理，得到视觉模态图像帧集数据；获取白酒生产过程中的操作平台记录的文本数据，对所述文本数据通过文本转换器进行预处理，得到文本模态数据；构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果。本申请通过网络模型训练和处理，实现了对白酒生产过程的监测优化，提高生产过程的质量稳定性、减少人为误差，保证产品质量的提高。保证产品质量的提高。保证产品质量的提高。

【技术实现步骤摘要】
产品生产质量监控方法及装置


[0001]本申请涉及生产质量监控智能化
，尤其涉及一种产品生产质量监控方法及装置。

技术介绍

[0002]我国是一个白酒生产大国，制酒历史源远流长，品种繁多。传统的白酒生产方式主是采用人工操作，随着技术的进步，目前大型白酒厂已基本上实现了机械化，大幅度减轻了工人的劳动强度，提高了白酒生产效率。在生产过程中，还需要对各个生产环节进行把关，避免引入杂质以及过度发酵。
[0003]然而，质量控制和生产效率的优化主要依赖于人工经验和离线实验，存在主观性、低效性和无法及时调整的问题。

技术实现思路

[0004]本申请提供一种产品生产质量监控方法及装置，本申请的技术方案如下：
[0005]根据本申请实施例的第一方面，提供一种产品生产质量监控方法，包括：
[0006]采用工业图像采集运算装置录制白酒生产过程中的视频，并基于所述视频中的图像数据间隔预设时间T分割为视频片段，以及对所述视频片段作拉伸或者剪切处理，统一图像分辨率为H
×
W，以得到大小为T
×
H
×
W的视觉模态图像帧集数据；
[0007]获取白酒生产过程中的传感器反馈的参数监控数据，对所述参数监控数据通过文本转换器进行预处理，得到文本模态数据；其中，所述文本数据至少包括温度数据、湿度数据、量水用量数据、量水温度数据中的一种；
[0008]构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果。
[0009]可选的，所述基于双模态的白酒生产过程质量优化模型包括输入标记化模块、Transformer融合模块以及双模态投影头模块。
[0010]可选的，所述构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果，具体包括：
[0011]定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征。
[0012]将所述嵌入序列向量特征输入到所述Transformer融合模块中，输出双模态融合特征。
[0013]将所述双模态融合特征输入到所述双模态投影头模块中，通过多实例对比估计模型评估所述白酒生产过程质量优化模型的损失，得到白酒生产过程质量优化结果。
[0014]可选的，定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征，具体包括：
[0015]将大小为T
×
H
×
W的视频片段分割为个补丁，每个补丁包含t
×
h
×
w
×
3个体素；其中，t表征一个补丁的单位时长，h和w表征所述补丁的宽高分辨率。
[0016]对每个所述补丁中的整个体素进行线性投影，得到一个d维向量表征，其中所述线性投影按照学习权值进行计算，得到视觉模态的线性投影嵌入特征向量；
[0017]定义预设维度的可学习嵌入序列，以对所述补丁进行位置编码，表示如下：
[0018]e
i,j,k
＝e
Temporal i
+e
Horizontal j
+e
Vertical k
,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0019]其中，e
i
是E的第i行，采用位置编码来对所述视频片段进行编码；
[0020]以及从文本模态训练数据集中的所有单词中构造一个大小为v的词汇表；将所述文本模态数据中的每个单词映射到v维的一位有效编码向量，并对所述单词进行线性投影处理，其权重为得到文本模态的线性投影嵌入特征向量。
[0021]可选的，定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征，具体包括：
[0022]将所述视觉模态的线性投影嵌入特征向量转换为3通道的RGB图像帧，以及将所述文本模态的线性投影嵌入特征向量转换为文字序列，按照第一位置编码位置，将token的顺序输入到transformer融合模块中。
[0023]可选的，所述Transformer融合模块包括包含一个多层感知机MLP、两个归一化层以及一个多头注意力机制层，其中，所述Transformer融合模块使用所述多头注意力机制层，并使用高斯误差线性函数GeLU作为所述多层感知机MLP中的激活函数。
[0024]可选的，将所述嵌入序列向量特征输入到所述Transformer融合模块中，输出双模态融合特征，具体包括：
[0025]将所述嵌入序列向量特征作为输入特征，并对所述输入特征标记序列，生成输入特征序列，其中，所述标记序列遵循以下公式：
[0026]z
in
＝[x
AGG
；x0W
P
；x1W
P
；
…
；x
N
W
P
]+e
POS
ꢀꢀꢀ
(2)
[0027]其中x
n
,n∈[0,N]是输入补丁序列，x
AGG
是特殊聚合标记的可学习嵌入；e
POS
为修正参数。
[0028]将所述输入特征序列经过归一化处理后得到特征F1，将所述特征F1输入到所述多头注意力机制层，得到输出特征F2，其中所述多头注意力机制层使用标准的自注意力机制来进行运算，提取特征F2，其中，运算公式为：
[0029][0030]d
k
是缩放系数，使运算结果不至于过大或过小，Q、K、V是根据输入特征X与可训练参数W
Q
、W
K
、W
V
线性变换而来。softmax函数使权重概率分布，各权重和为1；
[0031]将特征F2与所述输入特征序列输入到加法器中进行逐元素相加得到特征F3，并经
过归一化层的归一化处理得到特征F4；
[0032]将得到的特征F4通过多层感知机MLP处理，并输入到加法器中进行相加，得到双模态融合特征F5。
[0033]可选的，所述通过多实例对比估计模型评估所述白酒生产过程质量优化模型的损失，得到白酒生产过程质量优化结果，具体包括：
[0034]根据所述视觉模态的线性投影嵌入特征向量与文本模态的线性投影嵌入特征向量构建图像视觉
‑
文本模态对，定义语义层次空间的公共空间映射，为使用余弦相似度进行比较，定义投影为：
[0035][0036]其中，gt
→
vt和gv
→
vt将文本模态数据与视觉模态图像帧集数据嵌入到视频
‑
文本公共空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产品生产质量监控方法，其特征在于，所述方法包括：采用工业图像采集运算装置录制白酒生产过程中的视频，并基于所述视频中的图像数据间隔预设时间T分割为视频片段，以及对所述视频片段作拉伸或者剪切处理，统一图像分辨率为H
×
W，以得到大小为T
×
H
×
W的视觉模态图像帧集数据；获取白酒生产过程中的传感器反馈的参数监控数据，对所述参数监控数据通过文本转换器进行预处理，得到文本模态数据；其中，所述文本数据至少包括温度数据、湿度数据、量水用量数据、量水温度数据中的一种；构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果。2.根据权利要求1所述的方法，其特征在于，所述基于双模态的白酒生产过程质量优化模型包括输入标记化模块、Transformer融合模块以及双模态投影头模块。3.根据权利要求2所述的方法，其特征在于，所述构建基于双模态的白酒生产过程质量优化模型，采用所述视觉模态图像帧集数据与文本模态数据对所述模型进行训练，得到白酒生产过程质量优化结果，具体包括：定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征；将所述嵌入序列向量特征输入到所述Transformer融合模块中，输出双模态融合特征；将所述双模态融合特征输入到所述双模态投影头模块中，通过多实例对比估计模型评估所述白酒生产过程质量优化模型的损失，得到白酒生产过程质量优化结果。4.根据权利要求3所述的方法，其特征在于，定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征，具体包括：将大小为T
×
H
×
W的视频片段分割为个补丁，每个补丁包含t
×
h
×
w
×
3个体素；其中，t表征一个补丁的单位时长，h和w表征所述补丁的宽高分辨率；对每个所述补丁中的整个体素进行线性投影，得到一个d维向量表征，其中所述线性投影按照学习权值进行计算，得到视觉模态的线性投影嵌入特征向量；定义预设维度的可学习嵌入序列，以对所述补丁进行位置编码，表示如下：e
i，j，k
＝e
Temporal i
+e
Horizontal j+e
vertical k
，
ꢀꢀꢀꢀ
(1)其中，e
i
是E的第i行，采用位置编码来对所述视频片段进行编码；以及从文本模态训练数据集中的所有单词中构造一个大小为v的词汇表；将所述文本模态数据中的每个单词映射到v维的一位有效编码向量，并对所述单词进行线性投影处理，其权重为得到文本模态的线性投影嵌入特征向量。5.根据权利要求4所述的方法，其特征在于，定义输入标记化层模块，将视觉模态图像帧集数据以及文本模态数据输入到输入标记化层模块进行处理，得到嵌入序列向量特征，具体包括：将所述视觉模态的线性投影嵌入特征向量转换为3通道的RGB图像帧，以及将所述文本
模态的线性投影嵌入特征向量转换为文字序列，按照第一位置编码位置，将token的顺序输入到transformer融合模块中。6.根据权利要求5所述的方法，其特征在于，所述Transformer融合模块包括包含一个多层感知机MLP、两个归一化层以及一个多头注意力机制层，其中，所述Transformer融合模块使用所述多头注意力机制层，并使用高斯误差线性函数GeLU作为所述多层感知机MLP中的激活函数。7.根据权利要求6所述的方法，其特征在于，将所述嵌入序列向量特征输入到所述Transformer融合模块中，输出双模态融合特征，具体包括：将所述嵌入序列向量特征作为输入特征，并对所述输入特征标记序列，生成输入特征序列，其中，所述...

【专利技术属性】
技术研发人员：利节，蔡枫林，于同奎，王斌，罗军，杜泽春，唐辉荣，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：