【技术实现步骤摘要】
一种基于综合特征和自然语言的车辆视频检索方法
[0001]本专利技术涉及交通控制系统
，尤其涉及一种基于综合特征和自然语言的车辆视频检索方法
。
技术介绍
[0002]车辆检索技术是智慧交通系统的一个关键组成部分，利用深度学习技术通过各路口摄像头在连续视频帧中自动检索目标车辆，应用于交通管理多个领域，包括监管交通违法行为和搜索肇事逃逸车辆等情景
。
[0003]基于综合特征和自然语言的车辆视频检索方法在交警部门的智慧监控系统发挥着重要的作用
。
基于综合特征和自然语言的车辆视频检索任务是指，检索给定的自然语言文本描述的特定车辆行驶轨迹视频片段
。
与基于图像的车辆检索不同，基于自然语言的车辆检索技术不仅需要考虑车辆外观，还需要考虑车辆与周围环境的关系
。
[0004]现有基于图像的车辆检索方法需要查询图像来检索交通监控视频中的相同车辆
。
由于查询图像通常难以给定，且在某些场景下存在遮挡
、
模糊等问题，大大降低了检
【技术保护点】
【技术特征摘要】
1.
一种基于综合特征和自然语言的车辆视频检索方法，其特征在于，包括以下步骤：基于城市交通监控视频构建车辆检索数据集；建立车辆局部特征提取器，并基于所述车辆局部特征提取器对所述交通监控视频进行局部视觉嵌入特征提取，得到局部视觉嵌入特征；建立车辆全局特征提取器，并基于所述车辆全局特征提取器对所述车辆检索数据集进行全局视觉嵌入特征提取，得到全部视觉嵌入特征；基于预训练的自然语言处理模型进行车辆文本嵌入特征学习，提取车辆查询文本描述的语义级特征，得到车辆文本特征；融合所述局部视觉嵌入特征和所述全部视觉嵌入特征，得到车辆视觉特征，基于损失函数将所述车辆视觉特征和所述车辆文本特征进行模态对齐，优化视觉特征和文本特征学习
。2.
如权利要求1所述的一种基于综合特征和自然语言的车辆视频检索方法，其特征在于，所述基于城市交通监控视频构建车辆检索数据集的具体方式：采集城市多摄像机交通监控视频，为所述交通监控视中的真实车辆轨迹提供自然语言描述，构建具有自然语言描述的车辆视频数据集；对所述车辆视频数据集中的自然语言描述进行预处理，得到所述按照7：2：1的比例划分训练集
、
验证集和测试...
【专利技术属性】
技术研发人员：孙健，张瑞轩，张宇航，刘冰慈，周俊扬，冯易达，戴涛，章其波，
申请(专利权)人：宁波善德电子集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。