本发明专利技术涉及一种基于语义推理和结构化描述的视频与图像检索系统及方法，属于计算机应用技术领域。该系统包括采集模块、结构化描述模块、语义匹配和推理模块、索引模块、检索模块、输入输出模块和中心控制模块。该方法中，先利用结构化描述模块对视频及图像进行结构化描述提取，再对描述结果进行语义匹配和推理，最后在匹配和推理结果集中检索得到与检索关键词具有语义相似性的视频结果集。从而有效避免了检索结果对于视频文字标题的过度依赖，加强了检索结果与视频内容本身的关联性，大幅提高了视频检索效率，且本发明专利技术的基于语义推理和结构化描述的视频与图像检索系统及方法的实现方式简单，实现成本低廉，应用范围也较为广泛。
【技术实现步骤摘要】
本专利技术涉及计算机应用
，特别涉及视频图像检索
，具体是指一种。
技术介绍
智能交通系统是未来交通系统的重要发展方向，其中建立交通视频的监控可以有效地协助交通警察准确地掌握所有监控路口、路段周围的车辆、行人的流量、交通治安情况等。除此之外，交通警察还可以通过查询交通监控录像，还原大型事故现场，以便将突发事件或恶性事故变得可控。但是由于视频监控的高清摄像系统记录的是各交通路口全天的所有车辆流通信息，由此可见保存下来的视频数据量将会非常庞大，这将导致交通警察需要花费大量的时间和精力来查询视频中的某一特定信息时，效率非常低。目如最常用的视频检索和查询方法是基于文本关键词检索。基于内容的文本关键词检索方法，是通过对视频进行智能分析，获取到一些有用的语义信息，然后根据这些分析结果来进行查询。比较常用的智能视频分析方法有运动检测、纹理分类等，但是针对交通视频的检索，这种视频分析方法过于单一和片面，很难满足实际应用需求中针对特定视频/图像的检索。经过对现有技术的检索发现，中国专利文献号CN102521321A公开了一种基于检索词歧义性和用户偏好的视频检索方法，此专利提出根据检索对应的点击记录生成检索词对应的歧义性描述信息，生成本次检索会话中用户的短期偏好描述信息及长期偏好描述信息，并将短期偏好描述信息及长期偏好描述信息拟合成用户偏好描述信息，根据用户选定的视频更新用户的短期偏好描述信息和长期偏好描述信息。中国专利文献号CN102508893A公开了一种视频多媒体检索服务应用和检索方法，用户使用电视机、计算机或者移动终端访问视频多媒体检索与服务应用平台，通过单位或个人的视频号或分类查询检索平台后端的视频多媒体数据库，取得相关的单位或个人信息，从而进行相关的活动。在已有的研究中，前者主要针对根据用户的长、短期偏好调整检索策略，后者通过视频号或分类查询检索平台取得相关的信息。虽然利用用户的检索偏好和视频号能一定程度地提高视频的检索效率，但是通过关键词检索得到的视频结果集有时会过于依赖于视频的标题和文字描述，但是视频的标题和文字描述有时候是不精确和不完整的。
技术实现思路
本专利技术的目的是克服了上述现有技术中的缺点，提供一种系统及方法先对即将存储入库的视频及图像进行结构化描述提取，再对描述结果进行语义匹配和推理，最后在匹配和推理结果集中进行数据挖掘，检索得到与检索关键词具有语义相似性的视频结果集，从而避免检索结果对于视频文字标题内容的过度依赖，加强检索结果与视频内容本身的关联性，提高视频检索效率，且实现方式简单，实现成本低廉，应用范围也较为广泛的。为了实现上述的目的，本专利技术的基于语义推理和结构化描述的视频与图像检索系统包括采集模块、结构化描述模块、语义匹配和推理模块、索引模块、检索模块、输入输出模块和中心控制模块。其中，采集模块用以从系统外部设备获得视频和图像信息，并将视频和图像信息进行格式处理后存储；结构化描述模块用以提取所述的视频和图像信息的结构化描述内容，产生关于视频和图像的结构化描述数据；语义匹配和推理模块用以根据自带的相关领域的知识库对所述的关于视频和图像的结构化描述数据分别进行语义匹配和语义推理，获得相应的匹配结果集和推理结果集；索引模块用以根据所述的关于视频和图像的结构化描述数据以及匹配结果集和推理结果集生成关于所述的视频和图像的索引信息；检索模块用以根据用户设定的关键词检索所述的索引信息，并将检索获得的与所述的关键词相关的视频和图像信息生成检索结果；输入输出模块用以提供用户关键词输入端，并向用户返回所述的检索结果；中心控制模块连接所述的采集模块、结构化描述模块、语义匹配和推理模块、索引模块、检索模块和输入输出模块，用以向所述各模块发送任务指令，调度各模块的运行。该基于语义推理和结构化描述的视频与图像检索系统中，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，用以产生人和计算机系统可识别的关于视频和图像的多层次结构化描述信息。该基于语义推理和结构化描述的视频与图像检索系统中，所述的语义匹配和推理模块包括语义匹配单元、语义推理单元、相关领域知识库和关键词扩展集合数据库，所述的关键词扩展集合数据库存储基于用户提供的关键词通过推理和匹配获得的关键词扩展集合；所述的语义匹配单元根据相关领域知识库存储的数据和所述的关键词扩展集合对所述的视频和图像的结构化描述数据进行语义匹配获得匹配结果集；所述的语义推理单元根据相关领域知识库存储的数据和所述的关键词扩展集合对所述的视频和图像的结构化描述数据进行语义推理获得推理结果集。本专利技术还提供一种利用所述的系统实现基于语义推理和结构化描述的视频与图像检索的方法，该方法包括以下步骤(201)所述的采集模块从系统外部的互联网、局域网或摄像机获得视频和图像信息，对所述的视频和图像信息进行格式处理后存储；(202)所述的结构化描述模块提取所述的视频和图像信息的结构化描述内容，产生关于视频和图像的结构化描述数据；(203)所述的语义匹配和推理模块根据相关领域知识库对所述的关于视频和图像的结构化描述数据分别进行语义匹配和语义推理，获得相应的匹配结果集和推理结果集；(204)所述的索引模块，用以根据所述的关于视频和图像的结构化描述数据以及匹配结果集和推理结果集建立关于所述的视频和图像的索引；(205)根据用户通过所述的输入输出模块的输入，所述的检索模块获得关键词；(206)所述的检索模块根据用户设定的关键词检索所述的索引，并将检索获得的与所述的关键词相关的视频和图像信息生成检索结果；(207)所述的输入输出模块显示所述的检索结果。该实现基于语义推理和结构化描述的视频与图像检索的方法中，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，所述的步骤(202)具体包括以下步骤(301)所述的语义关系单元确定所述的视频和图像信息中的对象的含义；(302)所述的时空分割单元，根据所述的对象含义从所述的视频和图像信息中分离出有意义的对象，所述的有意义的对象包括语义级别的对象形状信息和对象纹理信息；(303)所述的特征提取单元根据视频和图像信息的颜色特征和空间特征提取特征内容；(304)所述的对象识别单元根据已知训练对象集合对未知对象进行识别和分类；(305)根据上述的时空分割、特征提取和对象识别的结果，生成所述的关于视频和图像的多层次结构化描述数据。该实现基于语义推理和结构化描述的视频与图像检索的方法中，所述的语义匹配和推理模块包括语义匹配单元、语义推理单元、相关领域知识库和关键词扩展集合数据库，所述的步骤(203)具体包括以下步骤(401)所述的语义推理单元根据预设的本领域推理规则，对所述的结构化描述结果进行推理，得到推理结果集；(402)所述语义推理单元根据所述的推理结果集和关键词扩展集合，计算两个集合中对象的语义距离，判断是否与某个领域特定关键词具有语义相似性；(403)所述的语义匹配单元根据预设的本领域匹配规则，对所述的结构化描述结果进行匹配，得到匹配结果集；(404)计算检索词与所述的匹配结果集和推理结果集中的关键词之间的语义距离。该实现基于语义推理和结构化描述的视频与图像检索的方法中，所述的步骤(本文档来自技高网...
【技术保护点】
一种基于语义推理和结构化描述的视频与图像检索系统，其特征在于，所述的系统包括：采集模块，用以从系统外部设备获得视频和图像信息，并将视频和图像信息进行格式处理后存储；结构化描述模块，用以提取所述的视频和图像信息的结构化描述内容，产生关于视频和图像的结构化描述数据；语义匹配和推理模块，用以根据自带的相关领域的知识库对所述的关于视频和图像的结构化描述数据分别进行语义匹配和语义推理，获得相应的匹配结果集和推理结果集；索引模块，用以根据所述的关于视频和图像的结构化描述数据以及匹配结果集和推理结果集生成关于所述的视频和图像的索引信息；检索模块，用以根据用户设定的关键词检索所述的索引信息，并将检索获得的与所述的关键词相关的视频和图像信息生成检索结果；输入输出模块，用以提供用户关键词输入端，并向用户返回所述的检索结果；中心控制模块，连接所述的采集模块、结构化描述模块、语义匹配和推理模块、索引模块、检索模块和输入输出模块，用以向所述各模块发送任务指令，调度各模块的运行。
【技术特征摘要】
【专利技术属性】
技术研发人员：李逸，胡传平，梅林，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。