一种基于图像特征识别鱼体方向的方法及系统技术方案

本申请公开了一种基于图像特征识别鱼体方向的方法及系统。所述方法包括：将待测试鱼体图像输入已创建完成改进的卷积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；将鱼体矩形框内图像转化为灰度图；将灰度图以中心线为中心一分为二；分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝向。所述系统包括：卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、鱼体腹背朝向输出模块；本申请采用了改进的改进的卷积神经网络模型，得到了鱼体头尾朝向以及鱼体腹背朝向，从而解决了现有技术中存在识别率与处理量较低的问题。

【技术实现步骤摘要】
一种基于图像特征识别鱼体方向的方法及系统
本申请涉及图像识别
，具体而言，涉及一种基于图像特征识别鱼体方向的方法及系统。
技术介绍
目前，随着水产品加工产业的发展以及劳动力成本的持续增加，加工企业对技术与装备的需求日益增长，如何在加工过程中识别原料，提高加工效率越来越受关注。目前国内已有的识别鱼的方向的技术主要是根据鱼头和鱼尾重量的差异、顺鳞逆鳞摩擦角度不同等，实现头尾识别，根据鱼体两侧的对称性、横向的不对称性和腹背厚度差异等。然而现有技术中存在识别率与处理量较低的问题，目前尚未提出有效解决方案。
技术实现思路
本申请的主要目的在于提供一种基于图像特征识别鱼体方向的方法及系统，以解决相关技术中识别率与处理量较低的的问题。为了实现上述目的，第一方面，本申请提供了一种基于图像特征识别鱼体方向的方法，包括如下步骤：将待测试鱼体图像输入已创建完成的改进的卷积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；将鱼体矩形框内图像转化为灰度图；将灰度图以中心线为中心一分为二；分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝向。所述已创建完成的改进的卷积神经网络模型，其创建过程如下：获取历史鱼体图像数据并进行标记分类以及矩形框坐标；利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立改进的卷积神经网络模型，并进行初始化；将历史鱼体图像数据以及标记分类结果数据输入到改进的卷积神经网络进行训练，得到预测的鱼体图像数据的分类以及矩形框坐标；利用损失函数，将预测的鱼体图像数据的分类以及矩形框坐标与标记分类以及矩形框坐标做比较，若二者差距大于预设定阈值，则改变改进的卷积神经网络模型的参数，直到差距小于等于预设定阈值，则停止训练，输出已经创建完成的改进的卷积神经网络模型。所述利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立改进的卷积神经网络模型，过程如下：将所述历史鱼体图像数据、标记分类结果以及矩形框坐标依次按照顺序分别输入到第一卷积层、第一激活层、第二卷积层、第二激活层、第一池化层、第三卷积层、第三激活层、第四卷积层、第四激活层、第二池化层中，得到第一特征图；将所述第一特征图进行下采样得到第二特征图；将所述第一特征图依次按照顺序分别输入到第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第三池化层、第九卷积层、第九激活层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第四池化层，得到第三特征图；将第二特征图与第三特征图进行拼接，得到第四特征图；将第四特征图依次分别输入到第十四卷积层和第十四激活层中，得到第五特征图，并以所述第五特征图中的每个点为中心生成九个锚框，锚框中框选的即为选择的特征数据；将所述特征数据依次顺序输入第一全连接层、第十五激活层以及softmax函数，得到过滤后的特征数据；所述过滤后的特征数据经过非极大值抑制，得到抑制后的特征数据；将抑制后的特征数据分别输入第一结构与第二结构，分别预测的鱼体图像数据的分类以及矩形框坐标，所述第一结构包括：第二全连接层、第十六激活层以及softmax函数；所述第二结构包括：第十五卷积层、第十七激活层以及回归层。分类中第二全连接层、第十六激活层以及softmax函数，原理于上述基本相同，只是最后softmax的输出结果有多少个是取决于一开始我们标记的类别有几个，比如标记目标为鱼头，鱼尾，鱼体，那么softmax输出就为3个，其中数值最大的类别就是网络判定的类别。第二结构包括中第十五卷积层的卷积核为1*1*36，9个锚框(anchors)，每个有4个参数(center_x,center_y,width,height),也就是目标矩形框的中心点(center_x，center_y)和长宽(width,height)。所述第一卷积层的卷积核为3×3×16，所述第二卷积层的卷积核为3×3×96，所述第三卷积层的卷积核为3×3×96，所述第四卷积层的卷积核为3×3×128，第五卷积层的卷积核为3×3×128，第六卷积层的卷积核为3×3×128，第七卷积层的卷积核为3×3×128，第八卷积层的卷积核为3×3×38第九卷积层的卷积核为3×3×384，第十卷积层的卷积核为3×3×256，第十一卷积层的卷积核为3×3×256，第十二卷积层的卷积核为3×3×256，第十三卷积层的卷积核为3×3×128，第十四卷积层的卷积核为3×3×256，第十五卷积层的卷积核为1×1×36。所述第一激活层～第十七激活层采用激活函数ReLU，公式如下：通过激活层将所有负值去除。p表示任意数值。所述池化层，其输入为分为M×N/4个小区域，每个区域为2×2，即有4个元素，公式为：即每个小区域中取数值最大的一个，经过池化层的输出层大小为：(M/2)×(N/2)，其中，i，j表示任意自然数，Px表示池化层输入矩阵,Pool表示池化层输出矩阵。所述九个锚框的尺寸是固定的，长宽比为1:1,1:2和2:1，若锚框超出特征图的边界，则去除掉超出边界的锚框，剩下的锚框继续参加训练。所述softmax函数，公式为：其中，i，j表示任意自然数，e为自然常数，Si为第i个softmax函数分类输出结果。所述回归层，采用回归算法，过程如下：假设标记矩形框坐标为(Gcenter_x,Gcenter_y,Gwidth,Gheight),而所述抑制后的特征数据中的锚框的矩形框为(Acenter_x,Acenter_y,Awidth,Aheight)，那么需要找到一个关系，使得：F(Acenter_x,Acenter_y,Awidth,Aheight)≈(Gcenter_x,Gcenter_y,Gwidth,Gheight)采用线性回归的方法，公式为：其中，d(B)是预测值，也就是映射关系，WT是需要学习的参数的转置矩阵，(B)是输入的特征图的向量；目标是让损失函数尽量小，损失函数的公式为：其中ti是真实值，i表示任意自然数。优化函数的公式为：其中，为优化函数输出结果，λ为正则化惩罚项。第二方面，本申请还提供了一种基于图像特征识别鱼体方向的系统，包括：卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、鱼体腹背朝向输出模块；所述卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、鱼体腹背朝向输出模块依次顺序相连接；所述卷积神经网络模块用于将待测试鱼体图像输入已创建完成改进的卷积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；所述鱼体头尾朝向输出模块用于根据鱼体各部分本文档来自技高网...

【技术保护点】
1.一种基于图像特征识别鱼体方向的方法，其特征在于，包括如下步骤：/n将待测试鱼体图像输入已创建完成的改进的卷积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；/n根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；/n将鱼体矩形框内图像转化为灰度图；/n将灰度图以中心线为中心一分为二；/n分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝向。/n

【技术特征摘要】
1.一种基于图像特征识别鱼体方向的方法，其特征在于，包括如下步骤：
将待测试鱼体图像输入已创建完成的改进的卷积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；
根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；
将鱼体矩形框内图像转化为灰度图；
将灰度图以中心线为中心一分为二；
分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝向。


2.如权利要求1所述的基于图像特征识别鱼体方向的方法，其特征在于，所述已创建完成的改进的卷积神经网络模型，其创建过程如下：
获取历史鱼体图像数据并进行标记分类以及矩形框坐标；
利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立改进的卷积神经网络模型，并进行初始化；
将历史鱼体图像数据以及标记分类结果数据输入到改进的卷积神经网络进行训练，得到预测的鱼体图像数据的分类以及矩形框坐标；
利用损失函数，将预测的鱼体图像数据的分类以及矩形框坐标与标记分类以及矩形框坐标做比较，若二者差距大于预设定阈值，则改变改进的卷积神经网络模型的参数，直到差距小于等于预设定阈值，则停止训练，输出已经创建完成的改进的卷积神经网络模型。


3.如权利要求2所述的基于图像特征识别鱼体方向的方法，其特征在于，所述利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立改进的卷积神经网络模型，过程如下：
将所述历史鱼体图像数据、标记分类结果以及矩形框坐标依次按照顺序分别输入到第一卷积层、第一激活层、第二卷积层、第二激活层、第一池化层、第三卷积层、第三激活层、第四卷积层、第四激活层、第二池化层中，得到第一特征图；
将所述第一特征图进行下采样得到第二特征图；
将所述第一特征图依次按照顺序分别输入到第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第三池化层、第九卷积层、第九激活层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第四池化层，得到第三特征图；
将第二特征图与第三特征图进行拼接，得到第四特征图；
将第四特征图依次分别输入到第十四卷积层和第十四激活层中，得到第五特征图，并以所述第五特征图中的每个点为中心生成九个锚框，锚框中框选的即为选择的特征数据；
将所述特征数据依次顺序输入第一全连接层、第十五激活层以及softmax函数，得到过滤后的特征数据；
所述过滤后的特征数据经过非极大值抑制，得到抑制后的特征数据；
将抑制后的特征数据分别输入第一结构与第二结构，分别预测的鱼体图像数据的分类以及矩形框坐标，所述第一结构包括：第二全连接层、第十六激活层以及softmax函数；所述第二结构包括：第十五卷积层、第十七激活层以及回归层。


4.如权利要求3所述的基于图像特征识别鱼体方向的方法，其特征在于，所述第一卷积层的卷积核为3×3×16，所述第二卷积层的卷积核为3×3×96，所述第三卷积层的卷积核为3×3×96，所述第四卷积层的卷积核为3×3×128，第五卷积层的卷积核为3×3×128，第六卷积层的卷积核为3×3×128，第七卷积层的卷积核为3×3×128，第八卷积层的卷积核为3×3×38第九卷积层的卷积核为3×3×384，第十卷积层的卷积核为3×3×256，第十一卷积层的卷...

【专利技术属性】
技术研发人员：肖哲非，倪锦，沈建，马田田，欧阳杰，冯志华，
申请(专利权)人：中国水产科学研究院渔业机械仪器研究所，
类型：发明
国别省市：上海;31