一种风电设备的视频分布式存储与检索方法技术

本发明专利技术公开了一种风电设备的视频分布式存储与检索方法，首先将监控视频设备产生的视频数据写入本地缓冲区；将本地缓冲区中的视频数据上传到HDFS中，删除缓冲区中上传成功的视频数据；将视频名称和视频路径写入HBase视频表；设定视频数据的目标图像，并存储到HBase图像表中；对视频数据的目标图像进行分布式特征信息提取，将特征信息写入HBase图像表中；调用MapReduce分布式计算框架，实现对视频图像的并行检索。本发明专利技术解决风电视频数据量大、存储困难、利用率低等技术问题，不再需要人工检索，为大数据时代下新能源信息化建设提供技术支撑。

【技术实现步骤摘要】
一种风电设备的视频分布式存储与检索方法
本专利技术属于新能源发电
，具体涉及一种风电设备的视频分布式存储与检索方法。
技术介绍
风电综合数据具有复杂性、体量巨大及多源异构等特点，现有的关系数据库已经无法满足风电生产运营数据的存储需求，表现在以下几个方面：1)风电生产数据体量为TB或PB级，关系数据库已无法处理；2)数据访问时输入输出耗时，数据响应速度受到关系数据库的制约，导致大数据快速访问能力较低；3)针对视频图像、图片、文档等非结构化数据缺乏处理能力；4)对海量数据分析处理的可扩展性差。
技术实现思路
为解决上述问题，本专利技术提出一种风电设备的视频分布式存储与检索方法，解决风电视频数据量大、存储困难、利用率低等技术问题。本专利技术采用如下技术方案，一种风电设备的视频分布式存储与检索方法，具体步骤如下：1)将监控视频设备产生的视频数据写入本地缓冲区；2)将本地缓冲区中的视频数据上传到Hadoop的分布式系统文件(HadoopDistributeFileSystem，HDFS)中，删除缓冲区中上传成功的视频数据；将视频名称和视频路径写入Hadoop数据库(HadoopDatabase，HBase)视频表；3)设定视频数据的目标图像，并存储到HBase图像表中；4)对视频数据的目标图像进行分布式特征信息提取，将特征信息写入HBase图像表中；5)调用MapReduce分布式计算框架，实现对视频图像的并行检索。优选地，所述步骤2)具体为，调用HDFS中数据流写入函数将本地缓冲区中的视频数据上传到HDFS中，调用文件删除函数删除缓冲区中上传成功的视频数据。优选地，所述步骤4)中对视频数据中预设的目标图像进行分布式特征信息提取，包括对目标图像进行颜色特征、纹理特征和形状特征提取。优选地，所述步骤4)中对预设的目标图像进行颜色特征信息提取具体为，利用RGB颜色直方图算法提取图像中红色、绿色和蓝色的统计分布信息。优选地，所述步骤4)中对预设的目标图像进行纹理特征信息提取具体为，利用Tamura特征算法提取图像的纹理特征，所述纹理特征包括粗糙度、对比度和方向度。优选地，所述步骤4)中对预设的目标图像进行形状特征信息提取具体为，利用边缘直方图算法对图像进行边缘算子计算和边缘方向量化，通过直方图统计，实现对图像的形状和边缘信息提取。优选地，所述步骤5)的具体步骤如下：51)基于待检测图像的时间和地点获取HBase图像表中目标图像子集；HBase图像表为预设存储在HBase中以风机为主键的数据表，包括风机名称、视频名称、目标图像名称、目标图像特征信息、存储时间和监控地点；52)对待检索图像进行分布式特征信息提取；53)将待检索图像的特征信息与步骤51)中得到的目标图像子集的特征信息进行特征匹配，得到相似度；54)对相似度进行排序，得到相似度最高的N个目标图像，所述N为预设值；55)基于目标图像名称得到对应的视频名称；56)根据视频名称对HBase视频表进行扫描，得到对应的视频路径；57)读取对应视频。专利技术所达到的有益效果：本专利技术公开了一种风电设备的视频分布式存储与检索方法，解决风电视频数据量大、存储困难、利用率低等技术问题。本专利技术首先利用Hadoop分布式文件系统实现海量视频数据的分布式存储，然后利用MapReduce分布式处理框架，分别采用RGB颜色直方图算法、Tamura特征算法边缘直方图算法，对视频图像颜色、纹理和形状三个方面进行特征提取，并将特征结果写入HBase分布式数据库，最后利用MapReduce分布式计算框架，实现对图像的并行检索。本专利技术通过大数据技术和图像特征识别实现了风电设备海量视频分布式存储，弥补了关系数据库的不足，同时提高了数据访问能力，实现了图像的快速处理，摒弃视频数据中的冗余信息，进行并行检索，不再需要人工检索，为大数据时代下新能源信息化建设提供技术支撑。附图说明图1是本专利技术实施例的一种风电设备的视频分布式存储与检索方法流程图。图2是本专利技术实施例的一种分布式图像特征信息提取方法流程图。具体实施方式下面根据附图并结合实施例对本专利技术的技术方案作进一步阐述。本专利技术提出一种风电设备的视频分布式存储与检索方法，如图1所示，具体步骤如下：1)将监控视频设备产生的视频数据写入本地缓冲区；所述本地缓冲区为指定的本地文件夹，即将监控视频设备产生的视频数据以流的形式写入动态调整的本地文件夹中；2)将本地缓冲区中的视频数据上传到HDFS中，删除缓冲区中上传成功的视频数据；将视频名称和视频路径写入HBase视频表；所述步骤2)具体为，调用HDFS中数据流写入函数将本地缓冲区中的视频数据上传到HDFS中，调用文件删除函数删除本地缓冲区中上传成功的视频数据。这一过程不断循环进行，直到本地缓冲区的所有文件上传到HDFS中，并且把本地缓冲区文件全部清空为止。当完成视频数据写入HDFS文件系统后，即实现视频数据的分布式数据存储，将视频名称和视频路径写入HBase视频表，用于视频图像检索。3)设定视频数据的目标图像，并存储到HBase图像表中；可选取视频数据中风机关键部位、风电场关键监控点的图像作为目标图像，并存储到HBase图像表。4)对视频数据的目标图像进行分布式特征信息提取，将特征信息写入HBase图像表中；首先从HDFS中读取目标图像，然后调用MapReduce分布式框架对视频数据中的目标图像进行特征信息提取，包括对目标图像进行颜色特征、纹理特征和形状特征提取。对目标图像进行颜色特征信息提取具体为，利用RGB颜色直方图算法提取图像中红色、绿色和蓝色的统计分布信息。对目标图像进行纹理特征信息提取具体为，利用Tamura特征算法提取图像的纹理特征，所述纹理特征包括粗糙度、对比度和方向度。对目标图像进行形状特征信息提取具体为，利用边缘直方图算法对图像进行边缘算子计算和边缘方向量化，通过直方图统计，实现对图像的形状和边缘信息提取。最后将目标图像特征信息写入HBase，并判断是否存在下一目标图像，如果存在重复本步骤过程，如图2所示。5)调用MapReduce分布式计算框架，实现对视频图像的并行检索。所述步骤4)的具体步骤如下：51)基于待检测图像的时间和地点获取HBase图像表中目标图像子集；所述待检测图像的时间和地点均可自行设定；HBase图像表为预设存储在HBase中以风机为主键的数据表，包括风机名称、视频名称、目标图像名称、目标图像特征信息、存储时间和监控地点；根据指定的地点和时间范围信息确定搜索范围，在HBase图像表中根据存储时间和监控地点的复合行键作为前缀扫描器参数，获取目标图像子集；52)对待检索图像进行分布式特征信息提取；需要提取的特征可自行设定。53)将待检索图像的特征信息与步骤51)中得到的目标图像子集的特征信息进行特征匹配，得到相似度；54)对相似度进行排序，得到相似度最高的N个目标图像，所述N为预设值；55)基于目标图像名称得到对应的视频名称；根据目标图像名称对HBase图像表进行扫描，得到目标图像对应的视频名称；56)根据视频名称对HBase视频表进行扫描，得到对应的视频HDFS路径；57)读取HDFS中对应视频。将得到的目标图像以及对应读取的视频一起返回给用户。以上所述仅为本专利技术的优选实施方式，用以本文档来自技高网...

【技术保护点】
1.一种风电设备的视频分布式存储与检索方法，其特征在于，包括以下步骤：1)将监控视频设备产生的视频数据写入本地缓冲区；2)将本地缓冲区中的视频数据上传到HDFS中，删除缓冲区中上传成功的视频数据；将视频名称和视频路径写入HBase视频表；3)设定视频数据的目标图像，并存储到HBase图像表中；4)对视频数据的目标图像进行分布式特征信息提取，将特征信息写入HBase图像表中；5)调用MapReduce分布式计算框架，实现对视频图像的并行检索。

【技术特征摘要】
1.一种风电设备的视频分布式存储与检索方法，其特征在于，包括以下步骤：1)将监控视频设备产生的视频数据写入本地缓冲区；2)将本地缓冲区中的视频数据上传到HDFS中，删除缓冲区中上传成功的视频数据；将视频名称和视频路径写入HBase视频表；3)设定视频数据的目标图像，并存储到HBase图像表中；4)对视频数据的目标图像进行分布式特征信息提取，将特征信息写入HBase图像表中；5)调用MapReduce分布式计算框架，实现对视频图像的并行检索。2.根据权利要求1所述的一种风电设备的视频分布式存储与检索方法，其特征在于，所述步骤2)具体为，调用HDFS中数据流写入函数将本地缓冲区中的视频数据上传到HDFS中，调用文件删除函数删除缓冲区中上传成功的视频数据。3.根据权利要求1所述的一种风电设备的视频分布式存储与检索方法，其特征在于，所述步骤4)中对视频数据中预设的目标图像进行分布式特征信息提取，包括对目标图像进行颜色特征、纹理特征和形状特征提取。4.根据权利要求3所述的一种风电设备的视频分布式存储与检索方法，其特征在于，所述步骤4)中对预设的目标图像进行颜色特征信息提取具体为，利用RGB颜色直方图算法提取图像中红色、绿色和蓝色的统计分布信息。5.根据权利要求3所述的一...

【专利技术属性】
技术研发人员：成月良，王伟，朱守让，张滔，陈球，王传秀，戴秋平，
申请(专利权)人：国电南瑞南京控制系统有限公司，
类型：发明
国别省市：江苏,32