【技术实现步骤摘要】
本专利技术涉及无人机视频数据解译，特别涉及一种基于多模态大模型的无人机视频摘要语义描述方法及系统。
技术介绍
1、随着无人机和传感器技术的快速进步，无人机利用传感器获取的视频数据量呈现爆炸式增长的趋势。快速准确从无人机视频数据中筛选高价值内容或关键信息，能够为高效理解视频内容提供支撑。然而，随着无人机探测设备性能的提升，获取的视频数据不仅需要较大的存储空间，而且从大量视频数据中快速找到有价值内容的难度增大，需要耗费大量的人力和时间，已远非人工处理可以应对。如何直观高效的查阅无人机视频数据，快速完成对视频数据核心内容的大致了解，并获取视频数据所包含的主要信息，已经成为目前实现对无人机视频数据高效理解所亟需解决的问题，并逐渐成为研究热点。
2、为了从大量无人机视频数据中快速直观高效的获取高价值内容和关键信息，需要依靠计算机自动化地筛选提取视频核心内容，并开展后续处理任务，因此亟需围绕无人机视频数据开展相关研究。其中，视频摘要生成与语义描述技术的结合能以简洁的图片列表和语义描述形式呈现长时视频中的有价值内容，可为大量视频理解提供有...
【技术保护点】
1.一种基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，包含：
2.根据权利要求1所述的基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，对待处理无人机视频数据进行预处理，包含：
3.根据权利要求2所述的基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，所述特征提取部分在提取输入视频帧空间特征与帧间时序关联特征时，依据图像RGB颜色直方图及学习特征来计算视频帧图像之间的余弦相似度，并利用余弦相似度来获取帧间时序关联特征。
4.根据权利要求1或2所述的基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，...
【技术特征摘要】
1.一种基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，包含：
2.根据权利要求1所述的基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，对待处理无人机视频数据进行预处理，包含：
3.根据权利要求2所述的基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，所述特征提取部分在提取输入视频帧空间特征与帧间时序关联特征时，依据图像rgb颜色直方图及学习特征来计算视频帧图像之间的余弦相似度，并利用余弦相似度来获取帧间时序关联特征。
4.根据权利要求1或2所述的基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，视频帧抽取，包含：
5.根据权利要求1所述的基于多模态大模型的无人机视频摘要语义描述方法，其特征在于，利用...
【专利技术属性】
技术研发人员：卢万杰，刘伟，牛朝阳，蓝朝桢，胡涛，李润生，王世举，吴亚杰，
申请(专利权)人：中国人民解放军网络空间部队信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。