分布式视频垂直搜索方法及系统技术方案

本发明专利技术提供了一种分布式视频垂直搜索方法及系统，该方法包括离线处理步骤和在线处理步骤，在离线处理中包括：视频采集、视频存储、视频信息的索引创建；在线处理步骤中包括：用户交互、视频检索。本发明专利技术的有益效果是本发明专利技术基于视频领域，提出一种基于Hadoop和ElasticSearch的分布式视频垂直搜索的技术方案，对于海量视频数据，提出一种有效的分布式搜索方案，解决了海量视频的批量快速采集、实时搜索等问题，从而实现了高效的实时搜索、离线处理海量视频的快速采集工作。

【技术实现步骤摘要】
分布式视频垂直搜索方法及系统
本专利技术涉及视频搜索领域，尤其涉及分布式视频垂直搜索方法及系统。
技术介绍
随着web2.0以及互联网的快速发展，互联网上面的资源量迅速的增长，呈现一种爆炸式的增长速度。如何从海量的、种类繁多的信息资源中找到自己需要的视频信息，给搜索引擎带来挑战，也是目前技术中的不足、以及要解决的问题。
技术实现思路
为了解决现有技术中的问题，本专利技术提供了一种分布式视频垂直搜索方法。本专利技术提供了一种分布式视频垂直搜索方法，其特征在于，包括离线处理步骤和在线处理步骤；离线处理步骤中包括:A.视频采集步骤:获取视频数据资源；B.视频存储步骤:将视频采集步骤中获取的视频数据资源存入数据库中；C.视频信息的索引创建步骤:创建分布式索引；在线处理步骤中包括:用户交互步骤:提供搜索输入界面、以及返回展示界面；视频检索步骤:根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。作为本专利技术的进一步改进，在所述视频采集步骤中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频本文档来自技高网...

【技术保护点】
一种分布式视频垂直搜索方法，其特征在于，包括离线处理步骤和在线处理步骤；离线处理步骤中包括：A.视频采集步骤：获取视频数据资源；B.视频存储步骤：将视频采集步骤中获取的视频数据资源存入数据库中；C.视频信息的索引创建步骤：创建分布式索引；在线处理步骤中包括：用户交互步骤：提供搜索输入界面、以及返回展示界面；视频检索步骤：根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。

【技术特征摘要】
1.一种分布式视频垂直搜索方法，其特征在于，包括离线处理步骤和在线处理步骤； 离线处理步骤中包括: A.视频采集步骤:获取视频数据资源； B.视频存储步骤:将视频采集步骤中获取的视频数据资源存入数据库中； C.视频信息的索引创建步骤:创建分布式索引； 在线处理步骤中包括: 用户交互步骤:提供搜索输入界面、以及返回展示界面； 视频检索步骤:根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示。2.根据权利要求1所述的分布式视频垂直搜索方法，其特征在于: 在所述视频采集步骤中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频开放平台服务器，获取视频JSON格式的数据并解析成自己定义的视频类的格式，循环获取直到Map任务结束； 在所述视频存储步骤中，视频存储过程运行于Hadoop集群和HBase集群之上，通过Reduce过程把视频采集步骤中获取的视频信息进行解析，再获取分布式数据库HBase的存储入口，将视频信息存入事先定义的视频库中，循环直到Reduce任务结束； 在视频信息的索引创建步骤中，视频信息的索引创建运行于HBase集群和ElasticSearch集群之上，首先获取HBase数据库中的视频信息，再通过封装ElasticSearch的索引创建接口来创建分布式索引分片和索引副本，索引存储于ElasticSearch集群之上,直到HBase视频库中视频数据创建完毕,此过程结束； 视频检索步骤运行于ElasticSearch集群之上。3.根据权利要求2所述的分布式视频垂直搜索方法，其特征在于，在所述视频采集步骤中包括如下步骤: Al.视频分片，设置分片个数； A2.生成视频连接URL; A3.根据生成的URL，访问开放平台的服务器，获取URL对应的视频数据，其格式为JSON类型； A4.根据获取的JSON类型的视频数据，利用相应的JSON解析接口对JSON数据进行解析，并转化为自己定义的视频类； 在所述视频存储步骤中包括如下步骤: B1.完成视频类的解析过程，把视频信息解析成对应的视频属性信息； B2.接收视频属性信息，并调用分布式数据库HBase的写入接口把相应的视频信息存入的数据库中。4.根据权利要求3所述的分布式视频垂直搜索方法，其特征在于，在所述视频信息的索引创建步骤中包括如下步骤: Cl.连接HBase分布式数据库，获取视频信息； C2.将获取的视频信息打包成JSON类型的数据； C3.获得JSON类型的视频信息，经过一个hash过程把相应的视频分配到对应的索引分片当中建立索引，索引完成后进彳丁副本的创建；C4.判断数据库中视频数据是否完成，如是，则结束；否则跳到步骤Cl继续执行。5.根据权利要求4所述的分布式视频垂直搜索方法，其特征在于，在所述在线处理步骤中包括如下步骤: 第一步:用户通过用户查询接口方便的输入查询关键词，提交给检索服务器； 第二步:检索服务器负责把用户提交的查询关键词分发给各个节点服务器；第三步:各个节点服务器接收到检索服务器发送过来的检索请求后，自动检索本节点上索引分片，完成并行搜索的过程，并把结果返回； 第四步:检索服务器接收各个节点服务器返回的视频数据，并把其视频数据进行融合，以供返回给用户； 第五步:将检索服务器返回的视频数据显示给用户。6.一种分布式视频垂直搜索系统，其特征在于...

【专利技术属性】
技术研发人员：何震宇，张高伟，陈明明，刘伟，
申请(专利权)人：何震宇，
类型：发明
国别省市：广东;44