一种无人机侦察视频信息提取与分层编目方法技术

本发明专利技术公开一种无人机侦察视频内容编目提取方法，属于视频检索技术领域。首先对无人机侦察视频提取关键帧与拼接视频全景图，实现对视频主要内容的提取，然后根据提取的图像及视频本身的辅助数据进行分层的，可基于应用拓展的编目。本发明专利技术可用于无人机侦察视频的检索，可实现基于视频内容的、高效的、全方位的检索。

Unmanned Aerial Vehicle Reconnaissance video information extraction and layered cataloguing method

The invention discloses a method for cataloging and extracting content of reconnaissance video of unmanned aerial vehicles, belonging to the technical field of video retrieval. First, key frame extraction and video panorama stitching of UAV video, extract the main content of the video, and then were stratified according to data of image and video assisted extraction itself, can be used to expand the catalog based on. The invention can be used for the retrieval of reconnaissance video of unmanned aerial vehicles, and can realize efficient and omnibearing retrieval based on video content.

【技术实现步骤摘要】
一种无人机侦察视频信息提取与分层编目方法
本专利技术属于视频检索
，具体涉及一种无人机侦察视频信息提取与分层编目方法。
技术介绍
现有的基于遥感图像数据的编目标准，有美国联邦地理数据委员会曾制定一系列美国国家地理空间数据标准，包括数字地理空间元数据内容标准、遥感条带数据内容标准、数字地理空间元数据内容标准——遥感元数据扩展等，其目的是方便数据生产商与数据用户之间实现数据共享，从而支持国家空间数据基础设施建设。国内也曾制定航天遥感数据编目检索方法，包含对卫星分类、传感器分类、日期分类、覆盖范围分类及应用领域分类的编目。以上提及的编目标准是面向遥感数据的普遍特性，且主要针对遥感数据的文本元数据，不能满足无人机侦察视频基于内容的应用需求。无人机侦察视频是遥感视频中的一类，是无人机侦察任务时获取的基础数据，同时也是诸多科研的重要情报来源。由于无人机成像载荷种类多、侦察范围广，使得无人机侦察视频数据量大，内容丰富。并且无人机侦察视频除去自身视频信息外，视频成像时期的测控数据及其他相关辅助数据对于后期情报提取、数据同步的工作有重要作用。鉴于以上，时间维与空间二维组合的无人机侦察视频相异于传统的一维数据，因此传统的数据编目方式难以支持无人机侦察视频的内容应用管理与检索。无人机侦察视频的编目需与视频内容紧密结合。基于视频内容的应用技术主要有关键帧提取与视频拼接。提取视频关键帧可形成高度概括视频的视频摘要，这些关键帧保留了原始视频的主要内容而省略大量细节，在无人机侦察视频的应用上，提取关键帧可以在无需观看整个视频的情况下一览无人机侦察任务所飞行的主要路线的主要侦察情报，减少视频检索的时间。视频序列的全景图拼接图，实现视频到图像的全局映射，提高检索的效率。但是至今，以上提及的文本元数据编目与基于视频内容的技术尚未形成系统的结合。在无人机侦察视频的检索应用中，将元数据与视频内容结合作为分类依据、索引条目会提高检索的效率，更符合用户的应用习惯，从而增加无人机侦察视频的有效利用率。
技术实现思路
本专利技术的目的是为了提高无人机侦察视频检索的效率与用户交互性，系统友好性，通过针对无人机视频的关键内容提取及与相关辅助信息元数据的编目设计，实现减少信息冗余的基于视频内容的高效视频检索。本专利技术方法在基于内容视频分析、处理和检索技术的基础上，结合无人机的遥感测控的数据信息与任务应用，自动提取无人机侦察视频的视频结构、时空信息、视觉内容信息及对视频内容的理解信息等特征作为索引，辅以传统的基于文本的视频检索方式，能够满足无人机侦察视频编目的自动化和人机交互需求，提高检索效率。本专利技术提供一种用于无人机侦察视频信息提取与分层编目方法，具体步骤如下：第一步，提取无人机侦察视频关键帧与拼接无人机侦察视频；提取的关键帧内容主要包括场景转换的关键转折帧及其相关辅助信息，所拼接的视频拼接图主要为场景转换后可以进行拼接的全景图。第二步，无人机侦察视频内容分层编目设计，编目对象包括：根据第一步中所提取的关键帧图像、视频拼接图以及无人机侦察视频原数据和相关的辅助数据。编目设计分为3层，分别为无人机侦察视频通用信息层、无人机侦察视频测控信息层和无人机侦察视频内容信息层，编目可根据应用需求向下拓展。本专利技术方法的优点和积极效果在于：（1）提取的无人机侦察视频的关键图像帧与拼接图可以有效概括该视频的内容；（2）设计的视频内容与视频相关辅助数据的结合可以全方位的表示视频；（3）利用视频、图像内容、测控信息及相关辅助信息的联合编目可实现对无人机侦察视频基于内容的、全方位、可拓展的高效检索。因此，使用本专利技术方法能提高视频检索效率，实现无人机侦察视频内容的基于内容的、全方位的高效检索。附图说明图1是本专利技术无人机侦察视频信息提取与分层编目方法的整体步骤图；图2是本专利技术步骤一中所设计提取及拼接流程图；图3是本专利技术步骤二中所设计的编目系统整体图；具体实施方式下面结合附图，对本专利技术的具体实施方法进行详细说明。本专利技术的无人机侦察视频信息提取与分层编目方法，整体流程图如图1所示，包括以下几个步骤：第一步，提取无人机侦察视频关键帧与拼接无人机侦察视频。该步骤包括从无人机侦察视频数据中提取视频帧，并对所提取的视频帧进行判断是否能进行拼接或者为关键帧。提取的关键帧内容主要包括场景转换的关键转折帧及其相关辅助信息，所拼接的视频拼接图主要为场景转换后可以进行拼接的全景图：第一步的步骤流程如图2所示，步骤1.1，提取视频帧，若提取成功则进行到步骤1.2，若提取失败，则表示该视频已提取完毕，视频提取工作结束；步骤1.2，对提取成功的视频帧进行判断，若为该视频的第一帧，则先设定为初始全景拼接图I0，并回到步骤1.1，进行下一视频帧提取；若不为视频的第一帧，则对该视频帧图像提取特征点，并与全景图进行特征点匹配与图像拼接；步骤1.3，若步骤1.2中全景图拼接成功，则以新拼接的全景图更新替换原有的全景图，并回到步骤1.1；若拼接失败，则将所提取的视频帧设定为关键帧，并输出之前已完成拼接的全景图。第二步，无人机侦察视频内容分层编目设计。编目对象包括：根据第一步中所提取的关键帧图像、视频拼接图以及无人机侦察视频原数据和相关的辅助数据。编目设计分为3层，分别为无人机侦察视频通用信息层、无人机侦察视频测控信息层和无人机侦察视频内容信息层，编目可根据应用向下拓展。如图3所示，为无人机侦察视频的内容编目整体系统，下面对编目的三个方面进行具体说明：步骤2.1，无人机侦察视频通用信息层编目设计。无人机侦察视频的通用信息层是指视频的一般属性，用于表达该视频最基本的性质，如表1所示，包括如视频的名字、大小、时长、拍摄时间、存储时间、格式类型等，可从视频本身读取。本层编目可实现对无人机侦察视频针对名字、拍摄与存储时间的视频一般属性检索。表1无人机侦察视频通用信息层编目表步骤2.2，无人机侦察视频测控信息层编目设计。无人机侦察视频测控信息层如图3所示，向下分为两层，包括无人机飞行期间的自身及外部环境的测控数据，如表2，表3所示。自身测控信息包括如无人机的型号、任务载荷类型、飞行时间、飞行高度、地理位置等，外部环境测控信息包括如温度、天气状况、空气颗粒度等，由无人机的传感器获取，以上数据可从无人机侦察视频的辅助数据中读取。本层编目实现视频与测控数据的联合记录存储，确保视频图像情报的客观性与真实性，可准确还原无人机飞行时视频图像与测控数据同步状态，实现数据与飞机状态及外部环境的高度同步，便于基于测控数据情报的视频检索。表2无人机侦察视频测控信息层——无人机测控信息编目表表3无人机侦察视频测控信息层——外部环境测控信息编目表步骤2.3，无人机侦察视频内容信息层编目设计。无人机侦察视频的内容信息层是指能够充分表示视频内容的数据信息，如图3所示，向下可分为3层，包括第一步中所提取关键帧图像、视频拼接图以及对视频中的出现的地域类型描述。如表4所示，为对地域的编目，如表5、6所示，为对所提取的视频关键帧图像与所拼接的视频全景图的相关元数据信息进行编目分类，图像编目包括图像名称、图像大小、图像格式、图像类型、图像源数据的视频名称、关键帧图像对应的视频时间位置等。本层编目可将对视频的检索转变为对图像及相关文本信息的检索，在省去观察整个视频寻本文档来自技高网...

【技术保护点】
无人机侦察视频信息提取与分层编目方法，包括以下几个步骤：第一步，提取无人机侦察视频关键帧与拼接无人机侦察视频；具体包括：步骤1.1，提取视频帧，若提取成功则进行到步骤1.2，若提取失败，则表示该视频已提取完毕，视频提取工作结束；步骤1.2，对提取成功的视频帧进行判断，若为该视频的第一帧，则先设定为初始全景拼接图I

【技术特征摘要】
1.无人机侦察视频信息提取与分层编目方法，包括以下几个步骤：第一步，提取无人机侦察视频关键帧与拼接无人机侦察视频；具体包括：步骤1.1，提取视频帧，若提取成功则进行到步骤1.2，若提取失败，则表示该视频已提取完毕，视频提取工作结束；步骤1.2，对提取成功的视频帧进行判断，若为该视频的第一帧，则先设定为初始全景拼接图I0，并回到步骤1.1，进行下一视频帧提取；若不为视频的第一帧，则对该视频帧图像提取特征点，并与全景图进行特征点匹配与图像拼接；步骤1.3，若步骤1.2中全景图拼接成功，则以新拼接的全景图更新替换原有的全景图，并回到步骤1.1；若拼接失败，则将所提取的视频帧设定为关键帧，并输出之前已完成拼接的全景图；第二步，无人机侦察视频内容分层编目设计；具体包括：步骤2.1，无人机侦察视频通用信息层编目设计；无人机侦察视频的通用信息层编目包括视频编号、视频名字、大小、格式、视频时长、拍摄时间、存储时间、存储路径、图像宽度、图像高度、帧速率、数据速率，上述数据通过无人机侦察视频获取，设定编目字符类型，形成无人机侦察视频通用信息层编目表；步骤2.2，无人机侦察视频测控信息层编目设计；无人机侦察视频测控信息层编目向下分为两层，包括无人机测控信息编目、外部环境测控信息编目，无人机测控信息编目包括侦察任务、无人机型号、任务载荷、最低飞行高度、最高飞行高度、GPS轨迹，上述数据通过无人机侦察视频的辅助数据中获取，设定编目字符类型，形成无人机测控信息编目表；外部环境测控信息编目包括温度、可见度、空气颗粒分布、湿度，上述数据通过无人机的传感器获取，设定编目字符类型，形成外部环境测控信息编目表；步骤2.3，无人机侦察视频内容信息层编目设计；无人机侦察视频内容信息层编...

【专利技术属性】
技术研发人员：丁文锐，黎盈婷，向锦武，李红光，刘硕，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11