基于跨模态对齐的弱监督新型扒渣终点判断方法和系统技术方案

技术编号:42562945 阅读:16 留言:0更新日期:2024-08-29 00:32
本发明专利技术公开一种基于跨模态对齐的弱监督新型扒渣终点判断方法和系统,包括:接入当前扒渣现场摄像头,将实时视频流数据输入训练完成的视频数据处理器;视频数据处理器以每一当前帧为基准,将包括当前帧在内向前共若干帧数据进行切割打包,输出当前帧的实时视频片段,作为训练完成的跨模态特征提取器的视频模态输入,同时以当前钢种文本编号和“非终点”文本作为跨模态特征提取器的文本模态输入;跨模态特征提取器提取视频片段特征和文本特征,将提取的视频片段特征和文本特征输入特征比对决策模块进行特征比对,最终输出当前帧是否为对应当前钢种扒渣终点的判断结果。本发明专利技术可以对扒渣终点进行准确判断。

【技术实现步骤摘要】

本专利技术涉及扒渣终点判断,特别是指一种基于跨模态对齐的弱监督新型扒渣终点判断方法和系统


技术介绍

1、在钢铁精炼工艺中钢渣作为反应副产物其生成不可避免。钢渣密度低于钢水,浮于钢水表面,多以固态形式存在。若在进入下道工序时钢水内钢渣量过高会缩短钢包使用寿命,增加石灰、萤石、冶炼电消耗,若含渣量过低则会钢水内氮含量上升,影响板材最终质量。因此对钢包内钢渣在进入下道工序前含量的精确控制就显得尤为必要,钢渣含量的精确控制也就是对扒渣过程终点的准确判断。

2、以aod(氩氧脱碳精炼)炉后工序为例,该处对钢渣含量控制主要采用扒渣机对表面浮渣进行扒除,由于不同钢种对炉后渣料剩余量的要求存在差异,且渣料作为高温化学反应的副产物,在整个过程中会持续生成并凝固,使得剩余渣料含量并非严格随着扒渣过程而逐渐减少,难以进行数学建模,而且现场由于钢水温度高,亮度大,且整个扒渣过程中裸露钢水面积不断变化会导致现场亮度急剧变化致使钢渣含量无法准确检测,进而导致扒渣终点判断难以进行。基于无监督的图像处理方法由于缺乏鲁棒性效果不佳,基于强监督的方法随标注数据带来强鲁棒性,但由本文档来自技高网...

【技术保护点】

1.一种基于跨模态对齐的弱监督新型扒渣终点判断方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述视频数据处理器的训练,包括:

3.根据权利要求2所述的方法,其特征在于,所述跨模态特征提取器包括视频特征提取器与文本特征提取器;

4.根据权利要求3所述的方法,其特征在于,所述视觉编码器V1和V2的结构相同,输入都为视觉向量,经过卷积层conv与投射层proj进行视觉向量映射后,送入首尾相接的6个由self-attention层和MLP层组成的注意力模块进行视觉特征抽取,输出与输入的视觉向量相同维度的视觉特征

5....

【技术特征摘要】

1.一种基于跨模态对齐的弱监督新型扒渣终点判断方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述视频数据处理器的训练,包括:

3.根据权利要求2所述的方法,其特征在于,所述跨模态特征提取器包括视频特征提取器与文本特征提取器;

4.根据权利要求3所述的方法,其特征在于,所述视觉编码器v1和v2的结构相同,输入都为视觉向量,经过卷积层conv与投射层proj进行视觉向量映射后,送入首尾相接的6个由self-attention层和mlp层组成的注意力模块进行视觉特征抽取,输出与输入的视觉向量相同维度的视觉特征;

5.根据权利要求3所述的方法,其特征在于,所述跨模态特征提取器的训练还包括:将所述跨模态特征提取器输出的视频特征和文本特征,输入相似度计算模块,所述视频特征包括正例特征和负例特征,所述文本特征包括终点文本特征和非终点文本特征;

6.根据权利要求5所述的方法,其特...

【专利技术属性】
技术研发人员:李江昀刘科成张天翔王宏庄培显袁立
申请(专利权)人:北京科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1