【技术实现步骤摘要】
本申请涉及计算机视觉领域，具体而言，涉及一种防护设备的检测方法、装置及电子设备。
技术介绍
1、视频监控中防护设备检测技术是一项重要的安全技术，它旨在通过利用摄像头和计算机视觉技术来检测驾驶员在使用交通工具时是否正确佩戴防护设备，例如，在交通工具为电动车的场景中，需要检测电动车骑手是否正确佩戴头盔。随着交通工具的不断发展，与之相关的安全问题也随之增加。事故和伤害的风险在未佩戴防护设备的情况下显著增加，因此防护设备检测技术的开发和应用成为了当务之急。
2、相关技术中的防护设备检测方法基于传统的模型算法、单一的场景、未结合相关语义信息，导致检测算法的精度无法满足真实道路场景的需要。
3、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种防护设备的检测方法、装置及电子设备，以至少解决由于相关技术中的防护设备检测方法基于传统的模型算法，场景单一且未结合相关语义信息，导致检测算法精度较差的技术问题。
2、根据本申请实施例的一个方面，提供了一种防护设备的检测方法，包括：获取在道路监控场景中采集的原始图像；通过视觉特征提取模型确定原始图像对应的视觉特征，以及通过文本指令确定原始图像对应的文本特征，其中，视觉特征用于描述原始图像中包含的人体和交通工具的特征信息，文本特征用于通过以文本的形式描述原始图像中包含的驾驶员、交通工具和用于对驾驶员进行防护的防护设备之间的特征信息；通过大语言模型对视觉特征和文本特征对应的视觉特征向量和文
3、可选地，通过视觉特征提取模型确定原始图像对应的视觉特征，包括：采用模型检测器确定原始图像中包含的目标检测框，其中，目标检测框由人体检测框和交通工具检测框组成；采用视觉特征提取模型分别提取原始图像对应的第一视觉特征和目标检测框对应的第二视觉特征；拼接第一视觉特征和第二视觉特征，得到视觉特征。
4、可选地，确定原始图像中包含的目标检测框，包括：采用模型检测器中的人体检测器确定原始图像中包含的人体检测框；采用模型检测器中的交通工具检测器确定原始图像中包含的交通工具检测框；确定人体检测框和交通工具检测框之间的交叉关系，并依据交叉关系确定目标检测框。
5、可选地，确定人体检测框和交通工具检测框之间的交叉关系，并依据交叉关系确定目标检测框，包括：在交叉关系指示人体检测框和交通工具检测框之间不存在重叠区域的情况下，删除人体检测框；在交叉关系指示人体检测框和交通工具检测框之间存在重叠区域的情况下，依据人体检测框和交通工具检测框确定目标检测框。
6、可选地，通过文本指令确定原始图像对应的文本特征，包括：确定三元组关联模式，其中，三元组关联模式包括驾驶员、交通工具和防护设备之间的关联关系；将原始图像输入至大语言模型，并通过大语言模型依据三元组关联模式和文本指令确定原始图像的文本特征。
7、可选地，通过大语言模型对视觉特征和文本特征对应的视觉特征向量和文本特征向量进行编码，得到输出结果，包括：拼接视觉特征向量和文本特征向量，得到拼接向量；采用自注意力网络对拼接向量进行编码，得到第一编码结果，以及采用交叉注意力网络对拼接向量进行编码，得到第二编码结果；依据第一编码结果和第二编码结果确定输出结果。
8、可选地，采用自注意力网络对拼接向量进行编码，得到第一编码结果，以及采用交叉注意力网络对拼接向量进行编码，得到第二编码结果，包括：确定遮蔽拼接向量中的非关键向量所需的掩码矩阵；通过第一函数确定拼接向量中目标位置的查询向量，通过第二函数确定拼接向量中的关键字向量，通过第三函数确定与拼接向量中每个位置相关联的值向量；依据拼接向量、掩码矩阵、第一函数、第二函数、第三函数和激活函数，确定第一编码结果；依据拼接向量、第一函数、第二函数、第三函数和激活函数，确定第二编码结果。
9、根据本申请实施例的另一方面，还提供了一种防护设备的检测装置，包括：获取模块，用于获取在道路监控场景中采集的原始图像；确定模块，用于通过视觉特征提取模型确定原始图像对应的视觉特征，以及通过文本指令确定原始图像对应的文本特征，其中，视觉特征用于描述原始图像中包含的人体和交通工具的特征信息，文本特征用于通过以文本的形式描述原始图像中包含的驾驶员、交通工具和用于对驾驶员进行防护的防护设备之间的特征信息；输出模块，用于通过大语言模型对视觉特征和文本特征对应的视觉特征向量和文本特征向量进行编码，得到输出结果，其中，输出结果用于表示原始图像中的驾驶员佩戴防护设备的概率。
10、根据本申请实施例的又一方面，还提供了一种电子设备，包括：存储器，用于存储程序指令；处理器，与存储器连接，用于执行实现以下功能的程序指令：获取在道路监控场景中采集的原始图像；通过视觉特征提取模型确定原始图像对应的视觉特征，以及通过文本指令确定原始图像对应的文本特征，其中，视觉特征用于描述原始图像中包含的人体和交通工具的特征信息，文本特征用于通过以文本的形式描述原始图像中包含的驾驶员、交通工具和用于对驾驶员进行防护的防护设备之间的特征信息；通过大语言模型对视觉特征和文本特征对应的视觉特征向量和文本特征向量进行编码，得到输出结果，其中，输出结果用于表示原始图像中的驾驶员佩戴防护设备的概率。
11、根据本申请实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的计算机程序，其中，非易失性存储介质所在设备通过运行计算机程序执行上述防护设备的检测方法。
12、在本申请实施例中，通过获取在道路监控场景中采集的原始图像；通过视觉特征提取模型确定原始图像对应的视觉特征，以及通过文本指令确定原始图像对应的文本特征，其中，视觉特征用于描述原始图像中包含的人体和交通工具的特征信息，文本特征用于通过以文本的形式描述原始图像中包含的驾驶员、交通工具和用于对驾驶员进行防护的防护设备之间的特征信息；通过大语言模型对视觉特征和文本特征对应的视觉特征向量和文本特征向量进行编码，得到输出结果，其中，输出结果用于表示原始图像中的驾驶员佩戴防护设备的概率，达到了智能检测防护设备的目的，从而实现了对防护设备佩戴情况的智能化监测、自动化处理，同时提高了检测精度的技术效果，进而解决了由于相关技术中的防护设备检测方法基于传统的模型算法，场景单一且未结合相关语义信息，导致检测算法精度较差的技术问题。
本文档来自技高网...【技术保护点】
1.一种防护设备的检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，通过视觉特征提取模型确定所述原始图像对应的视觉特征，包括：
3.根据权利要求2所述的方法，其特征在于，确定所述原始图像中包含的目标检测框，包括：
4.根据权利要求3所述的方法，其特征在于，确定所述人体检测框和所述交通工具检测框之间的交叉关系，并依据所述交叉关系确定所述目标检测框，包括：
5.根据权利要求1所述的方法，其特征在于，通过文本指令确定所述原始图像对应的文本特征，包括：
6.根据权利要求1所述的方法，其特征在于，通过大语言模型对所述视觉特征和所述文本特征对应的视觉特征向量和文本特征向量进行编码，得到输出结果，包括：
7.根据权利要求6所述的方法，其特征在于，采用自注意力网络对所述拼接向量进行编码，得到第一编码结果，以及采用交叉注意力网络对所述拼接向量进行编码，得到第二编码结果，包括：
8.一种防护设备的检测装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一
...【技术特征摘要】
1.一种防护设备的检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，通过视觉特征提取模型确定所述原始图像对应的视觉特征，包括：
3.根据权利要求2所述的方法，其特征在于，确定所述原始图像中包含的目标检测框，包括：
4.根据权利要求3所述的方法，其特征在于，确定所述人体检测框和所述交通工具检测框之间的交叉关系，并依据所述交叉关系确定所述目标检测框，包括：
5.根据权利要求1所述的方法，其特征在于，通过文本指令确定所述原始图像对应的文本特征，包括：
6.根据权利要求1所述的方法，其特征在于，通过大语言模型对...
【专利技术属性】
技术研发人员：周蓝翔，方瀚，冯泽润，班超，臧祥浩，孙皓，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。