本发明专利技术提供了一种面向广域视联网的多模态视频融合方法、装置、设备及介质，涉及图像处理领域。包括：通过遥感卫星、无人机和地面铁塔的摄像头对目标场景同步拍摄，获得多模态视频数据；将多模态视频数据输入多模态浅层特征提取模块，得到多模态融合浅层特征；按照时间顺序对多模态融合浅层特征进行分组处理，得到多组多模态融合浅层特征；将多组多模态融合浅层特征输入融合特征循环细化模块，通过融合特征循环细化模块在每个组内进行并行特征细化以及在不同组之间进行全局循环特征细化，得到多组多模态细化特征；将多组多模态细化特征输入视频重建模块，对多组多模态细化特征进行上采样得到重建视频，从而实现对大范围区域内目标的高精度检测。
【技术实现步骤摘要】
本专利技术涉及图像处理领域，尤其涉及一种面向广域视联网的多模态视频融合方法、装置、设备及介质。
技术介绍
1、广域视联网观测范围最远可达几十公里，对观测范围在几百甚至上千公里的场景（远郊、海域、边境地区等）仍然缺乏有效的通信与信息服务方式。天地一体广域视联网是指综合利用铁塔、无人机、卫星等设施，依托点位高、覆盖广的优势，可提供观测范围几十至上千公里范围内的高清视频监控与信息服务。
2、当前，天地一体广域视联网包括遥感卫星、无人机和地面铁塔多种视频采集设备，不同视频采集设备采集到的视频数据具有不同的应用场景和特点：遥感卫星能够提供较大的视场但分辨率较低，适用于大范围监测，但精度有限；无人机和地面铁塔则具有较小的视场和较高的分辨率，适合进行精细的局部观测，但监测范围较窄；同时无人机具有更高的灵活性，可以按照需求部署至铁塔无法部署到的区域，并且部署成本不高，可以相较于铁塔实现对更大区域的精细化监控。然而，这些视频数据均无法实现对大范围区域内目标的高精度检测。
技术实现思路
1、基于上述技术问题，本专利技本文档来自技高网...
【技术保护点】
1.一种面向广域视联网的多模态视频融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的面向广域视联网的多模态视频融合方法，其特征在于，将所述多模态视频数据输入多模态浅层特征提取模块，得到多模态融合浅层特征，包括：
3.根据权利要求1所述的面向广域视联网的多模态视频融合方法，其特征在于，所述融合特征循环细化模块包括多层；将所述多组多模态融合浅层特征输入融合特征循环细化模块，通过所述融合特征循环细化模块在每个组内进行并行特征细化，以及，通过所述融合特征循环细化模块在不同组之间进行全局循环特征细化，得到多组多模态细化特征，包括：
>4.根据权利要求1...
【技术特征摘要】
1.一种面向广域视联网的多模态视频融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的面向广域视联网的多模态视频融合方法，其特征在于，将所述多模态视频数据输入多模态浅层特征提取模块，得到多模态融合浅层特征，包括：
3.根据权利要求1所述的面向广域视联网的多模态视频融合方法，其特征在于，所述融合特征循环细化模块包括多层；将所述多组多模态融合浅层特征输入融合特征循环细化模块，通过所述融合特征循环细化模块在每个组内进行并行特征细化，以及，通过所述融合特征循环细化模块在不同组之间进行全局循环特征细化，得到多组多模态细化特征，包括：
4.根据权利要求1所述的面向广域视联网的多模态视频融合方法，其特征在于，所述融合特征循环细化模块包括多层，所述多组多模态融合浅层特征的组数是t；通过所述融合特征循环细化模块在每个组内进行并行特征细化，以及，通过所述融合特征循环细化模块在不同组之间进行全局循环特征细化，得到多组多模态细化特征，包括：
5.根据权利要求4所述的面向广域视联网的多模态视频融合方法，其特征在于，所述融合特征循环细化模块包括i层，通过所述融合特征循环细化模块，利用...
【专利技术属性】
技术研发人员：陶晓明，周雯雯，汪烈军，段一平，孔维坤，王子涵，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。