一种基于深海大型底栖动物自动识别的样本库构建方法技术

本发明专利技术公开了一种基于深海大型底栖动物自动识别的样本库构建方法，所述方法包括：对获取的深海视频进行预处理；从预处理后的视频中提取视频图像并进行图像分割，获取有效轮廓；将有效轮廓分别和预先建立的图片样本库的每个类别子库的所有样本进行轮廓相似度对比，计算每个类别的轮廓相似度的平均值，选择平均值最小的类别作为暂定类别；所述图像样本库包括若干个类别子库，一个类别子库中存储一个类型的大型底栖动物的图片样本；如果最小平均值不大于暂定类别的轮廓相似度阈值，则确定该视频图像中大型底栖动物的类别为暂定类别，将该视频加入暂定类别对应的类别子库中，否则，将其存入样本临时库，进行人工识别。

A method of building sample base based on automatic recognition of benthos in deep sea

【技术实现步骤摘要】
一种基于深海大型底栖动物自动识别的样本库构建方法
本专利技术涉及深海底栖生物观测，具体涉及一种基于深海大型底栖动物自动识别的样本库构建方法。
技术介绍
深海大型底栖动物是水生生态系统中最重要的组成部分，其生长过程及生活状况不仅可以指征深海环境变化，还可以在一定程度上反映特定时间内深海环境的质量状况，因此大型底栖动物一直是海洋领域研究热点，但是，海洋生物的复杂性和多样性给海洋研究造成巨大的困难和挑战。随着深海观测技术的发展，众多深海观测平台通过布设深海自主水下机器人(AUV)、水下摄像机等设备进行深海大型底栖动物观测。然而，由于深海观测获得的视频数据量巨大，如何自动快速识别深海大型底栖动物一直是相关领域学者关注的重点。随着深度学习的快速发展，基于神经网络的目标识别方法已经被应用于多个科学领域并受到各行各业的认可。神经网络是一种模仿人脑信息加工过程的智能化信息处理技术，具有自组织性、自适应性以及较强的稳健性。代表性的神经网络模型包括Hopfield网络、前馈神经网络、径向基神经网络(RBF)、马尔可夫链(MC)、卷积神经网络(CNN)、支持向量机等，人工神经网络事先进行监督或无监督的样本训练，得到合适的网络权值，识别时只需调用训练好的网络结构进行分类即可，因此该算法耗时较短。同时，神经网络可进行信息分布存储、大规模自适应并行处理的同时还具有容错性高、鲁棒性强等优点，然而，所有神经网络应用的基础是丰富的样本库，由于海底大型底栖动物样本库的缺失导致神经网络在海底大型底栖动物自动识别领域的应用受到严重制约，从而限制了海底大型底栖动物识别技术的发展。本专利技术充分考虑了深海观测领域对海底大型底栖动物自动识别技术的迫切需求，提出一种以网络图片和深海视频图像为数据源，通过比较大型底栖动物轮廓相似度辅助大型底栖动物识别的深海大型底栖动物样本库构建方法，该方法所构建的样本库可为后续海底大型底栖动物识别提供基础训练数据支撑。传统海洋生物识别技术采用目视解译方法，仅依靠人的眼睛判断视频中的生物种类，但目视解译首先需要了解各类深海大型底栖动物特征，然后根据特征分析深海视频中的动物，确定底栖动物的类别，全过程人工参与导致了过高的主观性且对解译人员的专业性有较高要求，而且随着海洋大型底栖动物种类和数量的增多，人工识别方法已无法满足海洋生物识别技术对识别效率、识别准确度和普适性的要求。利用网络爬虫技术搜集相关深海大型底栖动物的图片是目前深海观测领域常用的一种样本库构建方法。其中涉及网页抓取技术，首先把URL地址中指定的网络资源从网络流中读取出来，保存到本地，然后利用Google和百度等搜索引擎所提供基于文本的图像检索功能快速抓取检索图片。但由于目前网络上深海大型底栖动物相关图片较少，且网络图片和观测视频获取的图片存在一定的差异，仅靠网络爬虫技术获取样本会严重影响样本库质量，从而会影响使用此样本库进行动物识别的精度。
技术实现思路
本专利技术的目的是解决目前海底观测网海底大型底栖动物样本库缺失问题，以海底观测所得视频数据为深海大型底栖动物样本库中样本的主要来源，有效消除了图片样本和视频数据的差异，提高了样本库中样本的质量。本专利技术以网络搜集海底大型底栖动物图片作为辅助数据，进行轮廓数据提取，据此对视频数据样本进行初步识别，有效减少人工参与，提高样本库构建的效率与精度。本专利技术通过截取不同帧的视频图像作为样本，作为海底大型底栖动物不同形态的视频图像存入样本库，使得所获样本更加全面。针对目前缺乏快速准确构建海底大型底栖动物样本库技术手段的现状，本专利技术提出了一种基于深海大型底栖动物自动识别的样本库构建方法，所述方法包括：对获取的深海视频进行预处理；从预处理后的视频中提取视频图像并进行图像分割，获取有效轮廓；将有效轮廓分别和预先建立的图片样本库的每个类别子库的所有样本进行轮廓相似度对比，计算每个类别的轮廓相似度的平均值，选择平均值最小的类别作为暂定类别；所述图像样本库包括若干个类别子库，一个类别子库中存储一个类型的大型底栖动物的图片样本；如果最小平均值不大于暂定类别的轮廓相似度阈值，则确定该视频图像中大型底栖动物的类别为暂定类别，将该视频加入暂定类别对应的类别子库中，否则，将其存入样本临时库，进行人工识别。作为上述方法的一种改进，所述预处理包括：视频剪切、视频图像增强和视频图像去噪。作为上述方法的一种改进，所述从预处理后的视频中提取视频图像并进行图像分割，获取有效轮廓；具体包括：每5s提取一帧视频图像，采用基于区域生长的分割方法对视频图像进行图像分割；若分割后视频图像的对象中包含像素数大于100的图斑，则该对象是大型底栖动物目标的有效轮廓；若视频图像中有效轮廓个数大于2，则将视频图像标记为混合样本，并在入库时备注说明该样本为混合样本。作为上述方法的一种改进，所述将有效轮廓分别和预先建立的图片样本库的每个类别子库的所有样本进行轮廓相似度对比，计算每个类别的轮廓相似度的平均值，具体包括：计算视频图像的有效轮廓和每个类别子库的所有样本的轮廓相似度：基于Hu矩特征，利用OPENCVcvMatchShapes函数比较视频图像的有效轮廓和每个类别子库的一个样本的相似度大小；函数返回值为轮廓相似度；若函数返回值为0，则代表两个轮廓完全相同，返回值越大，轮廓相似度越低，返回值最大为1；计算平均值其中n为一个类别子库的所有样本的个数，Ti为视视频图像的有效轮廓和第i个样本轮廓的轮廓相似度。作为上述方法的一种改进，所述将该视频加入该类别的子库中，具体为：选取视频图像前后间隔2s的相邻帧视频图像，作为大型底栖动物不同形态的视频图像样本加入该类别的子库中。作为上述方法的一种改进，所述一个类别子库的建立的步骤包括：获取一个类型的大型底栖动物的图片样本；对所有的图片样本进行标准化，形成图片样本集；采用基于区域生长的分割方法提取图片样本集中每个图片样本的动物轮廓；计算该类别子库的轮廓相似度阈值。作为上述方法的一种改进，所述提取图片样本集中每个图片的动物轮廓，具体包括：基于图片的RGB值，从一个像素开始，合并相邻同质的成对像素，通过多次迭代，从而将图像分割成包含多个相似或相同像素的图斑，该图斑为动物轮廓；所述合并相邻同质的成对像素的过程为：计算成对相邻像素的异质性f：其中，c为视频图像RGB的3个图层，nm为合并后对象的像素个数，σm为合并后对象的标准方差，n1、n2为合并前两个相邻对象的像素个数，σ1、σ2为合并前两个相邻对象的标准方差，Em为合并后对象区域的实际边界长度，E1、E2为合并前两个相邻对象区域的实际边界长度，Lm为包含合并后影像区域范围的矩形边界长度，L1、L2为包含合并前影像区域范围的两个矩形边界长度；判断成对相邻像素的异质性是否小于50，如果小于50，则判断相邻像素为相同或相似的像素，进行合并。作为上述方法的一种改进，所述计算该类别子库的轮廓相似度阈值，具体为：本文档来自技高网...

【技术保护点】
1.一种基于深海大型底栖动物自动识别的样本库构建方法，所述方法包括：/n对获取的深海视频进行预处理；/n从预处理后的视频中提取视频图像并进行图像分割，获取有效轮廓；/n将有效轮廓分别和预先建立的图片样本库的每个类别子库的所有样本进行轮廓相似度对比，计算每个类别的轮廓相似度的平均值，选择平均值最小的类别作为暂定类别；所述图像样本库包括若干个类别子库，一个类别子库中存储一个类型的大型底栖动物的图片样本；/n如果最小平均值不大于暂定类别的轮廓相似度阈值，则确定该视频图像中大型底栖动物的类别为暂定类别，将该视频加入暂定类别对应的类别子库中，否则，将其存入样本临时库，进行人工识别。/n

【技术特征摘要】
1.一种基于深海大型底栖动物自动识别的样本库构建方法，所述方法包括：
对获取的深海视频进行预处理；
从预处理后的视频中提取视频图像并进行图像分割，获取有效轮廓；
将有效轮廓分别和预先建立的图片样本库的每个类别子库的所有样本进行轮廓相似度对比，计算每个类别的轮廓相似度的平均值，选择平均值最小的类别作为暂定类别；所述图像样本库包括若干个类别子库，一个类别子库中存储一个类型的大型底栖动物的图片样本；
如果最小平均值不大于暂定类别的轮廓相似度阈值，则确定该视频图像中大型底栖动物的类别为暂定类别，将该视频加入暂定类别对应的类别子库中，否则，将其存入样本临时库，进行人工识别。


2.根据权利要求1所述的基于深海大型底栖动物自动识别的样本库构建方法，其特征在于，所述预处理包括：视频剪切、视频图像增强和视频图像去噪。


3.根据权利要求2所述的基于深海大型底栖动物自动识别的样本库构建方法，其特征在于，所述从预处理后的视频中提取视频图像并进行图像分割，获取有效轮廓；具体包括：
每5s提取一帧视频图像，采用基于区域生长的分割方法对视频图像进行图像分割；
若分割后视频图像的对象中包含像素数大于100的图斑，则该对象是大型底栖动物目标的有效轮廓；
若视频图像中有效轮廓个数大于2，则将视频图像标记为混合样本，并在入库时备注说明该样本为混合样本。


4.根据权利要求3所述的基于深海大型底栖动物自动识别的样本库构建方法，其特征在于，所述将有效轮廓分别和预先建立的图片样本库的每个类别子库的所有样本进行轮廓相似度对比，计算每个类别的轮廓相似度的平均值，具体包括：
计算视频图像的有效轮廓和每个类别子库的所有样本的轮廓相似度：
基于Hu矩特征，利用OPENCVcvMatchShapes函数比较视频图像的有效轮廓和每个类别子库的一个样本的相似度大小；函数返回值为轮廓相似度；若函数返回值为0，则代表两个轮廓完全相同，返回值越大，轮廓相似度越低，返回值最大为1；
计算平均值其中n为一个类别子库的所有样本的个数，Ti为视频图像的有效轮廓和第i个样本轮廓的轮廓相似度。


5.根据权利要求1所述的基于深海大型底栖动物自动识别的样本库构建方法，其特征在于，所述将该视频加入该类别的子库中，具体为：选取视频图像前后间隔2s的相邻帧视频图像，作为大型底栖动物不同形态的视频图像样本加入该类别的子库中。


6.根据权利要求5所述的基于深海大型底栖动物自动识别的样本库构建方法，其特征在于，所述一个类别子库的建立的步骤包括：
获取一个类型的大型底栖动物的图片样本；
对所...

【专利技术属性】
技术研发人员：宋晓阳，郭永刚，张飞，杨杰，常永国，
申请(专利权)人：中国科学院声学研究所，
类型：发明
国别省市：北京;11