昆虫机器人海量图像数据并行处理平台制造技术

本发明专利技术公开了一种昆虫机器人海量图像数据并行处理平台。该平台包括刺激背包、昆虫机器人行为记录采集平台以及图像数据并行预处理集群平台，适用于动物电刺激、受激后行为记录存储和视频图像分布式并行预处理分析。构建基于Hadoop一主五从节点集群模型，并自定义适配于视频领域的MapReduce处理算法；对于海量离线的行为记录数据进行并行预处理分析，在MapReduce框架处理优化创新设计上，本发明专利技术设计出了一套新型图像并行处理模型，包括图像数据类型输入输出设计以及通用的预处理算法接口。本发明专利技术能够完成昆虫机器人的精确遥控遥测和环路控制以及行为的数据采集，并具有对海量数据高效预处理的能力。数据高效预处理的能力。数据高效预处理的能力。

【技术实现步骤摘要】
CH050-10CM工业面阵相机，分辨率2432
×
2048，最大帧率140fps。采用以TTL信号触发进行外触发硬件解决多台相机的同步拍摄问题，同时利用三块DALSA相机采集卡用于缓存相机采集的高通量视频数据，并以高性能服务器磁盘阵列RAID，提高传输速率和通过数据校验提供容错能力。
[0008]c.在a、b所述采集系统的基础上构建并行处理集群平台，利用采集到的海量数据基于Hadoop一主五从节点构建集群模型，以离线将采集到海量未经处理的昆虫行为图像数据的上传至分布式存储系统HDFS中，其中采用FFmpeg将视频切割为图像后再将图像转换为javacv可识别的流数据，为d所述的并行处理模块作前置准备。
[0009]d.所述的d采用MapReduce并行计算框架，程序分布式运行在六个节点上。由于Hadoop只定义了面向文本数据的基本数据类型，默认是无法支持图像数据类型，本平台设计出匹配在MapReduce下合适的图像文件数据类型接口，并可根据文件格式类型自动转换成相应程序所需数据流文件，同时设计出图像处理算法的接口，可搭载不同预处理算法对图像进行包括但不限灰度化、中值滤波、图像增强、边缘检测、聚类算法等。
[0010]本专利技术的有益效果：本专利技术以图像序列处理的效率研究过程中引入MapReduce并行处理技术，在以高通量数据记录平台和基于Hadoop并行计算集群的框架下，将记录平台采集的数据作为数据源，对在海量图像处理上表现的性能和优势进行分析，并提出改进优化策略，构建了高效并行的高速运动海量图像处理系统的体系结构。
[0011]本专利技术实现了图像数据到Hadoop可直接处理的数据类型的转换，对外提供了支持Mapper端搭载不同图像处理算法接口实现并行图像处理功能。同时针对大数据量中海量小文件，在集群框架处理优化设计上，要把大量的小文件通过组合，建立索引，以此合并成一个大文件，减少分片数量从而提高集群处理效率。
附图说明
[0012]图1为昆虫数据采集记录系统总体设计图；图2为Hadoop计算机集群执行过程；图3为MapReduce并行图像处理执行过程；图4为单一Map任务处理过程。
具体实施方式
[0013]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，下面结合附图和实施例对本专利技术进一步说明。
[0014]以下结合附图1对本专利技术作进一步说明。本专利技术面向昆虫机器人的控制神经性实验系统建设基于其行为数据的分布式并行处理实验平台，基于MapReduce分布式并行处理技术应用于昆虫机器人平台视频处理领域，提升本平台对采集到海量图像数据的高效处理能力；该平台解决了多相机同步记录、高通量数据记录采集存储的问题，能够实时完成昆虫机器人的环路控制和行为数据并行预处理等实验，针对昆虫机器人快速飞行时的图像数据能够进行海量数据处理并包含计算和存储功能的并行数据处理，具体内容如下：1. 昆虫机器人运动姿态和轨迹数据采集记录系统工作流程：通过多目高速高清摄像机将昆虫在电刺激状态下的行为动作进行拍摄记录，在拍摄过
程中通过信号触发器进行外触发硬件同步相机，以高性能磁盘阵列作为高效记录器无损存储高通量数据，将视频数据传送到PC端上位机进行显示和存储。
[0015]2.基于MapReduce的分布式处理集群平台：图2为MapReduce分布式执行过程，MapReduce作为一种编程模式，采用了分治思想。Hadoop框架实现了以MapReduce思想为主导的分布式并行计算编程，其组件将作业任务分解成Map和Reduce放置到TaskTracker子节点服务器进行运算。子节点收到处理请求后，利用InputFormat对HDFS中的数据进行加载，区别于HDFS中的Block是物理分片，此处进行逻辑分片split。RecordReader将各个分片的数据从HDFS中读取出来以键值对输出作为Map函数进行输入，用户程序利用自定逻辑编写Map函数进而输出中间结果Shuffle进行归并，接着传给Reduce函数合并大量来自不用节点Map函数的输出结果，并最终写入HDFS中。
[0016]3、基于图像并行处理的框架模型改造：Hadoop在最开始的设计中，主要是为了满足海量的互联网数据管理的需求，而在MapReduce模型下进行图像文件并行处理时，不能简单地像文本文件一样对图像文件进行分割或者组合。所以在图像领域，系统并不直接支持处理图像。同时Hadoop只定义了面向文本数据的基本数据类型，默认是无法支持图像数据类型。要实现对图像数据的并行处理，需要实现图像数据到Hadoop可直接处理的数据类型的转换。根据MapReduce模型对HDFS中存储的数据进行处理的基本原理及计算流程，得到相关处理流程如图3所示。本专利技术主要对当前MapReduce框架进行以下方面的创新扩展：a、图像数据输入设计在 MapReduce 中键值对的数据类型必须支持序列化，在 Hadoop中的自定义数据类型都需要实现 Writable接口或 WritableComparable<T>接口，其中实现前者只能作为值类型，实现后者既可以作为值类型也可以作为键类型。传统的 MapReduce 处理图像数据需要设计相应的值类型来存储图像数据，而本模型的输入文件采用的是图片在 HDFS 中的路径，这些路径信息是以字符串的形式存储在文本文件中，因此键和值类型直接采用Hadoop 默 认 提 供 的 LongWritable 和 Text 数 据 类 型 ，LongWritable 以文本行信息得出帧存储位置进而定义帧单位，而Text 用来存储每行中记录的图像路径信息。相比传统方法，本模型在输入阶段只需要输入图像的存储路径，网络传输量要比输入图像数据要少，Map函数从分片中获取数据时网络传输量也会减少。图像数据在 Map 阶段完成后就直接存储至 HDFS 中，没有了图像的 Reduce 阶段，进一步地减少了模型中图像数据的传输量。
[0017]b、文件输出过程的优化当输入为大量小图像文件时，传统的基于图像数据类型的并行处理模型的方法都是提前将大量小图像文件转换一个大文件进行处理，而本模型采用以图像在HDFS 中的存储路径作为值来传递 Map 函数所需参数的方法来解决这个问题，图像数据的获取是在 Map函数中完成的，见图4。
[0018]模型从 FileInputFormat 生成的切片中获取需要的键值对并且传递给 Map 函数。当 Map 函数接收到键值对参数，会根据值中的数据以及定义好的 FSDataInPutStream，连接到 HDFS 中的对应路径下读取所需要图像的二进制数据流。模型的数据处理是采用的 OpenCV的方式，利用 OpenCV提供的数据类型 Mat，将数据流中的 二 进 制 数 据 转 换 为 Mat 类 型 后 ，直 接 调 用 基 于OpenCV 的图像处理算法实现
图像在 Hadoop 中的并行处理，利用 OpenCV 简化了图像处理算法的编写。在图像数据处理完成后，返回一个 Mat 类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.昆虫机器人海量图像数据并行处理平台，其特征在于：包括：多视点高帧高清相机采集系统和分布式存储系统HDFS；其中多视点高帧高清相机采集系统采集昆虫多视点飞行姿态和轨迹的图像帧序列来构建数据库，为后续边缘检测及姿态分析提供行为数据；基于Hadoop框架构建一主五从集群服务器，以离线将采集到海量未经处理的昆虫行为图像数据的上传至所述的分布式存储系统HDFS中；其中海量图像帧数据自动加载至集群的并行图像处理模块中；并行图像处理模块改造了MapReduce编程模式，使其应用于海量图像处理领域，提升平台对海量图像的处理效率。2.根据权利要求1所述的昆虫机器人海量图像数据并行处理平台，其特征在于：所述的多视点高帧高清相机采集系统以多视点同步相机记录昆虫运动飞行姿态和轨迹；包含PC端发送给昆虫机器人电刺激指令的控制窗口以及多相机监控窗口，该窗口还包含电刺激信号的频率和刺激个数选择和调整按钮，视频录制及标定；包含六台海康MV-CH050-10CM工业面阵相机，分辨率2432
×
2048，最大帧率140fps；包含高精度TTL同步信号控制器，用于同步触发六台高清高帧工业相机；包含三块DALSA 相机采集卡，用于缓存相机采集的高通量视频数据；包含高性能服务器磁盘阵列RAID，提高传输速率和通过...

【专利技术属性】
技术研发人员：洪慧，金华华，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：