一种基于图像识别与匹配的视频搜索系统技术方案

一种基于图像识别与匹配的视频搜索系统，包括：服务器端和用户端两部分，所述服务器端包括：视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；所述用户端包括：用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块。本发明专利技术提供一种利用图片搜索视频的方法，具有良好的用户体验，用户可以通过上传一张图片便可以获得与图片内容相关的视频资料信息，返回搜索结果准确、信息量大，可以充分地利用互联网络上的海量视频资源。

【技术实现步骤摘要】
一种基于图像识别与匹配的视频搜索系统
本专利技术涉及一种视频搜索系统，涉及互联网搜索及视频处理。
技术介绍
早在2011年，全球互联网消费者总流量中视频播放的流量所占比例已经超过了50％，还不包括通过P2P方式下载视频文件所消耗的流量。视频信息已占据了互联网所有信息的主要部分。而且，视频中蕴含了极其丰富的信息，这是文字信息所无法替代的。而对于如此丰富的信息资源，目前的索引方式仅仅是通过视频发布者对其添加的非常简短的描述来实现，可见视频中被浪费掉的潜在资源是非常丰富的。我们希望通过这种方式，充分利用视频中的潜在资源，为用户提供更加丰富的搜索结果信息，为一些特殊的行业领域，例如历史视频文献、新闻视频追踪提供一种新的解决方案。现在中也有少量通过图片搜索视频的服务平台，但是基本上都集中在国外，且多为概念产品。少量提供者也很难提供精确的搜索结果，充分利用视频特征。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供一种通过图片搜索视频的服务系统及使用平台，用户通过一张图片就可以获得图片相关的视频资料或影像文献的信息、图片的来源以及图片的主体内容。为用户提供了一种更加便捷有效地查找视频资料的方式，提供更加丰富的搜索结果展示形式。本专利技术技术解决方案：一种基于图像识别与匹配的视频搜索系统，包括服务器端和用户端两部分。服务器端包括视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；用户端包括用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块。视频采集模块，实现搜索信息数据库原始资源的构建；通过网络爬虫获取网络视频资料或使用合作视频网站现有的视频内容资源，采集视频资料及其附加的文字描述、评论信息，将所获得的视频资源送入视频预处理模块，将所获得的文字资料送往视频文字特征采集模块；视频文字特征采集模块，获取视频文字的特征；利用获取到的视频的文字描述、评论信息，通过关键词提取，获得文字信息的关键字，获得的信息送往视频文字信息分析模块；视频文字信息分析模块，获取视频资料的文字特征；利用视频文字信息的关键词，分析关键词与视频内容的相关程度，得到描述视频特征的文字关键词，所获得的数据送往服务器数据库；视频预处理模块，获得无污染的视频影像；由于原始视频资料可能会有台标、嵌入式字幕等信息，这些信息出现在画面上会对视频原始内容产生一定的干扰，此模块对此类信息进行特征提取并清除，将获得的视频送往视频内容分析模块；视频内容分析模块，获得视频的内容信息；通过对视频播放过程中画面的整体动态变化的分析，获得视频的内容风格，拆分视频场景，分析场景之间的联系；将所获得的上述数据送往视频特征提取模块；视频特征提取模块，获得视频画面的特征；通过所获得的视频场景信息及整体的视频内容风格，对视频每个场景提取画面特征信息，其中包括画面的变化特征、画面图像特征以及画面中物体的特征。通过视频内容分析模块中所获得的场景联系特征对上述信息进行校正，最终获得视频特征，将其送往服务器数据库模块；服务器数据库模块，接收视频特征并储存，以备用户搜索；其信息会被服务器控制模块调用，以进行下一步的处理；图像特征提取模块，获得用户上传待搜索图片的特征；对用户上传图片进行图像特征分析，并对用户可能添加的文字信息进行特征分析，获得用户待搜索内容的特征，将其送往服务器控制模块；服务器控制模块，返回用户搜索结果；利用从图像特征提取模块获得用户上传图片的特征信息，在服务器数据库模块中进行查找匹配，将特征符合的视频资源即搜索结果返回，数据发送到用户端的视频搜索信息展示模块；用户反馈信息分析处理模块，校正数据库中视频的特征信息；对从搜索结果用户反馈模块获得的用户反馈信息进行分析，校正数据库中视频的特征信息，校正后的信息仍被送入服务器数据库模块进行存储；用户搜索信息上传模块，获得用户待搜索的内容；基于Html网页实现，将用户上传和输入的待搜索信息上传到图像特征提取模块，所发送信息包括用户搜索内容和用户的ID；视频搜索结果展示模块，向用户展示搜索结果；基于Html网页实现，将用户通过用户搜索信息上传模块上传的内容的搜索结果，即服务器控制模块返回的搜索结果，在用户端进行展示；搜索结果用户反馈模块，获得用户对搜索结果的反馈信息；在客户端视频搜索结果展示模块展示搜索结果时，记录用户获得搜索结果后，选择了那些结果进行浏览，对搜索结果项的浏览时间等信息，将这些信息提交给用户反馈信息分析处理模块进行分析处理。本专利技术与现有技术相比的优点在于：(1)相对于文字搜索，本专利技术可以更提供更加丰富的搜索结果展示形式，相对于常见的搜索文字信息，搜索的视频资料蕴含更加丰富的内容和信息；(2)相对于视频搜索，本专利技术可以提供更多的搜索条件选择，搜索结果充分利用视频画面内容信息，搜索结果更加有效；(3)综合使用视频画面特征和文字描述特征确定视频特征，搜索结果更加准确；(4)采集用户反馈信息，根据用户浏览搜索结果的选择以及浏览时间，评判用户对搜索结果项的满意程度，对视频特征进行反馈校正，使视频特征信息更加精准；(5)Html网页实现，用户在使用时登陆网站，无需安装任何插件。附图说明图1为搜索结果展示界面(部分)；图2为本专利技术的模块流程图；图3为本专利技术的模块结构图；图4为本专利技术中视频特征权值确定的工作流程。具体实施方式如图3所示，本专利技术视频搜索系统，包括服务器端和用户端两部分。服务器端包括视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；用户端包括用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块。视频采集模块，由于视频版权限制，暂不使用网络爬虫对互联网上传播的视频进行下载采集分析，使用合作视频网站现有的视频内容资源，获得视频文件，然后利用网络爬虫，获得视频所在页面的文字材料，包括但不限于视频评论、分类、标题、相关视频链接等；视频文字特征采集模块，现有视频网站对视频都有视频分类，这个分类可能来自于视频发布者自己添加，可能会不太准确，但提供了一个可以参考基本特征。对同一基本特征的视频，将其视频的文字描述信息汇总，进行聚类分析，提出这些文字信息中所主要包含的关键词，记为此类视频的基础词，那么对于每一个视频来说，其文字描述信息在基础词中出现的词语可记为这个视频文字信息的关键词，这一部分关键词仅仅来自于文字材料，可能与视频内容无关，分析出的词语例如：“很好”，“演员”，“美剧”，“张艺谋”，“家居”，“楼上”，“抢沙发”，“优酷”等。视频文字信息分析模块，在视频文字特征采集模块中获取到的文字关键词可能与视频无关。以上一段中的例子分析，其中“张艺谋”、“美剧”、“家居”等词语与视频内容有关；“很好”、“演员”虽然与视频内容相关，但是描述过于宽泛，对视频特征基本没有作用；“楼上”、“抢沙发”、“优酷”等词语对视频内容特征完全没有意义。本模块需要对三类词语进行分辨，将后两类词语删除，将第一类词语按照出现次数进行加权，作为视频的文字关键词。本文档来自技高网...

【技术保护点】
一种基于图像识别与匹配的视频搜索系统，其特征在于：包括服务器端和用户端两部分，所述服务器端包括：视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；所述用户端包括：用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块；视频采集模块，实现搜索信息数据库原始资源的构建；通过网络爬虫获取网络视频资源或使用合作视频网站现有的视频资源，采集视频影像及其附加的文字描述、评论信息，将所获得的视频资源送入视频预处理模块，将所获得的文字描述、评论信息送往视频文字特征采集模块；视频文字特征采集模块，获取视频文字的特征；利用获取到的视频的文字描述、评论信息，通过关键词提取，获得文字信息的关键字，获得的信息送往视频文字信息分析模块；视频文字信息分析模块，获取视频资料的文字特征；利用视频文字信息的关键词，分析关键词与视频内容的相关程度，得到描述视频特征的文字关键词，所获得的数据送往服务器数据库；视频预处理模块，获得无污染的视频影像；由于原始视频资料可能会有台标信息、嵌入式字幕信息，这些信息出现在画面上会对视频原始内容产生干扰，此模块对上述这些信息进行特征提取并清除，将获得的视频送往视频内容分析模块；视频内容分析模块，获得视频的内容信息；通过对视频播放过程中画面的整体动态变化的分析，获得视频的内容风格，拆分视频场景，分析场景之间的联系；将所获得的上述数据送往视频特征提取模块；视频特征提取模块，获得视频画面的特征；通过所获得的视频场景信息及整体的视频内容风格，对视频每个场景提取画面特征信息，其中包括画面的变化特征、画面图像特征以及画面中物体的特征，通过视频内容分析模块中所获得的场景联系特征对每个场景的画面特征信息进行校正，最终获得视频特征，将其送往服务器数据库模块；服务器数据库模块，接收视频特征并储存，以备用户搜索；其信息会被服务器控制模块调用，以进行下一步的处理；图像特征提取模块，获得用户上传待搜索图片的特征；对用户上传图片进行图像特征分析，并对用户可能添加的文字信息进行特征分析，获得用户待搜索内容的特征，将其送往服务器控制模块；服务器控制模块，返回用户搜索结果；利用从图像特征提取模块获得用户上传图片的特征信息，在服务器数据库模块中进行查找匹配，将特征符合的视频资源即搜索结果返回，数据发送到用户端的视频搜索信息展示模块；用户反馈信息分析处理模块，校正数据库中视频的特征信息；对从搜索结果用户反馈模块获得的用户反馈信息进行分析，校正数据库中视频的特征信息，校正后的信息仍被送入服务器数据库模块进行存储；用户搜索信息上传模块，获得用户待搜索的内容；基于Html网页实现，将用户上传和输入的待搜索信息上传到图像特征提取模块，所发送信息包括用户搜索内容和用户的ID；视频搜索结果展示模块，向用户展示搜索结果；基于Html网页实现，将用户通过用户搜索信息上传模块上传的内容的搜索结果，即服务器控制模块返回的搜索结果，在用户端进行展示；搜索结果用户反馈模块，获得用户对搜索结果的反馈信息；在客户端视频搜索结果展示模块展示搜索结果时，记录用户获得搜索结果后，选择了那些结果进行浏览，对搜索结果项的浏览时间等信息，将这些信息提交给用户反馈信息分析处理模块进行分析处理。...

【技术特征摘要】
1.一种基于图像识别与匹配的视频搜索系统，其特征在于：包括服务器端和用户端两部分，所述服务器端包括：视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；所述用户端包括：用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块；视频采集模块，实现搜索信息数据库原始资源的构建；通过网络爬虫获取网络视频资源或使用合作视频网站现有的视频资源，采集视频影像及其附加的文字描述、评论信息，将所获得的视频资源送入视频预处理模块，将所获得的文字描述、评论信息送往视频文字特征采集模块；视频文字特征采集模块，获取视频文字的特征；利用获取到的视频的文字描述、评论信息，通过关键词提取，获得文字信息的关键字，获得的信息送往视频文字信息分析模块；视频文字信息分析模块，获取视频资料的文字特征；利用视频文字信息的关键词，分析关键词与视频内容的相关程度，得到描述视频特征的文字关键词，所获得的数据送往服务器数据库；视频预处理模块，获得无污染的视频影像；由于原始视频资料可能会有台标信息、嵌入式字幕信息，这些信息出现在画面上会对视频原始内容产生干扰，此模块对上述这些信息进行特征提取并清除，将获得的视频送往视频内容分析模块；视频内容分析模块，获得视频的内容信息；通过对视频播放过程中画面的整体动态变化的分析，获得视频的内容风格，拆分视频场景，分析场景之间的联系；将所获得的上述数据送往视频特征提取模块；视频特征提取模块，获得视频画面的特征；通过所获得的视频场景信息及整体的视频内容风格，对视频每个场景提取画面特征信息，其中包括画面的变化特征、画面图像特征以及画面中物体的特征，通过视频内容分析模块中所获得的场景联系特征对每个场景的画面特征信息进行校正，最终获得视频特征，将其送往服务器数据库模块；服务器数据库模块，接收视频特征并储存，以备用户搜索；其信息会被服务器控制模块调用，以进行下一步的处理；图像特征提取模块，获得用户上传待搜索图片的特征；对用户上传图片进行图像特征分析，并对用户可能添加的文字信息进行特征分析，获得用户待搜索内容的特征，将其送往服务器控制模块；服务器控制模块，返回用户搜索结果；利用从图像特征提取模块获得用户上传图片的特征信息，在服务器数据库模块中进行查找匹配，将特征符合的视频资源即搜索结果返回，数据发送到用户端的视频搜索信息展示模块；用户反馈信息分析处理模块，校正数据库中视频的特征信息；对从搜索结果用户反馈模块获得的用户反馈信息进行分析，校正数据库中视频的特征信息，校正后的信息仍被送入服务器数据库模块进行存储；用户搜索信息上传模块，获得用户待搜索的内容；基于Html网页实现，将用户上传和输入的待搜索信息上传到图像特征提取模块，所发送信息包括用户搜索内容和用户的ID；视频搜索结果展示模块，向用户展示搜索结果；基于Html网页实现，将用户通过用户搜索信息上传模块上传的内容的搜索结果，即服务器控制模块返回的搜索结果，在用户端进行展示；搜索结果用户反馈模块，获得用户对搜索结果的反馈信息；在客户端视频搜索结果展示模块展示搜索结果时，记录用户获得搜索结果后，选择了那些结果进行浏览，对搜索结果项的浏览时间等信息，将这些...

【专利技术属性】
技术研发人员：袁政，夏正林，冮一江，杨梦婕，荣文戈，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11