基于多模态大模型的铁塔鸟窝监测方法及系统技术方案

技术编号:42845110 阅读:55 留言:0更新日期:2024-09-27 17:15
本发明专利技术公开了基于多模态大模型的铁塔鸟窝监测方法及系统,方法包括步骤:获取目标铁塔的监测视频,利用目标检测算法初步识别监测视频中的疑似鸟窝,并上报疑似鸟窝对象;所述疑似鸟窝对象包括监测图像、疑似鸟窝位置、图像时间戳、标签和置信度;将所述疑似鸟窝对象输入微调好的多模态大模型中,按过滤提示词模板库输出铁塔鸟窝识别结果;所述过滤提示词模板库包括组成键值对的事件类型与标准事件提示词列表;若所述识别结果中包含铁塔鸟窝存在的确定结论,则将所述疑似鸟窝对象作为事件对象进行上报。本发明专利技术通过结合视觉信息和语义理解,实现了对铁塔鸟窝的准确识别,能够显著降低误报率,确保上报的鸟窝事件更加准确。

【技术实现步骤摘要】

本专利技术涉及铁塔安全监测领域,尤其涉及基于多模态大模型的铁塔鸟窝监测方法及系统


技术介绍

1、在铁塔(包括电力铁塔和通信铁塔)鸟窝检测场景中,传统视觉模型往往因铁塔周围复杂的背景和多样的环境条件,导致难以准确识别鸟窝的位置,并且容易将其他非鸟窝的物体(如树枝、塑料袋等)误识别为鸟窝。

2、随着人工智能技术的不断发展,计算机视觉模型如yolo系列、resnet等已被广泛应用于各类监控和检测任务中,包括交通监控、安防监控、环境监测和工业检测等领域。这些模型在自动化检测方面取得了显著的进展,尤其是在识别特定目标(如铁塔鸟窝)等方面。然而,实际应用中,视觉模型的性能仍然受到环境复杂性、目标多样性等因素的限制,导致大量误报现象的出现。这些误报不仅增加了人工审核的工作量,也在一定程度上影响了系统的整体效率和准确性。

3、目前,业界常用的误报处理方法包括通过增加负样本数据来更新训练数据集,以期提高模型的泛化能力。然而,这种方法存在周期长、效果有限等问题,难以满足高精度要求。此外,一些系统尝试结合视觉大模型(如vit视觉大模型)和误报数据的收集本文档来自技高网...

【技术保护点】

1.基于多模态大模型的铁塔鸟窝监测方法,其特征在于,包括步骤:

2.如权利要求1所述的基于多模态大模型的铁塔鸟窝监测方法,其特征在于,所述监测视频中的疑似鸟窝的初步识别方法包括:

3.如权利要求2所述的基于多模态大模型的铁塔鸟窝监测方法,其特征在于,所述子图像的提取方法包括:

4.如权利要求2所述的基于多模态大模型的铁塔鸟窝监测方法,其特征在于,所述疑似鸟窝跟踪对象列表中所述当前最合理的疑似鸟窝对象的更新方法包括:

5.如权利要求1所述的基于多模态大模型的铁塔鸟窝监测方法,其特征在于,所述多模态大模型的微调方法包括:p>

6.基于多...

【技术特征摘要】

1.基于多模态大模型的铁塔鸟窝监测方法,其特征在于,包括步骤:

2.如权利要求1所述的基于多模态大模型的铁塔鸟窝监测方法,其特征在于,所述监测视频中的疑似鸟窝的初步识别方法包括:

3.如权利要求2所述的基于多模态大模型的铁塔鸟窝监测方法,其特征在于,所述子图像的提取方法包括:

4.如权利要求2所述的基于多模态大模型的铁塔鸟窝监测方法,其特征在于,所述疑似鸟窝跟踪对象列表中所述当前最合理的疑似鸟窝对象的更新方法包括:

5.如权利要求1所述的基于多模态大模型的铁塔鸟窝监测方法,其特征在于,所述多模态大模型的微调方法包括:

6.基于多模态大模型的...

【专利技术属性】
技术研发人员:石永禄谢治宇余国家李佳慧李佩芸沈复民申恒涛
申请(专利权)人:成都考拉悠然科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1