一种生猪体尺视觉测量的特征点选取及测量方法技术

本发明专利技术提供了一种生猪体尺视觉测量的特征点选取及测量方法。包括以下步骤：对猪舍进行图像采集，并基于张正友相机标定法计算相机畸变参数，对图像的径向畸变进行校正；将图像输入YOLOv5得到猪只的检测框，并根据检测框从图像中对猪只进行切割提取，得到单只猪只的图像；对猪只特征点进行选取，建立新的猪只特征点数据集，融合注意力机制获取图像中的猪只特征点；设计基于深度神经网络的猪只特征点评估算法，根据识别出的特征点坐标对猪只体态进行判断并对体尺数据能否测量进行评估；采用仿射变换、结合采集设备安装位置的数据对猪只体尺进行测量。该方法提高了猪只体尺测量过程中的检测效率，对养猪生产过程的智能化实现，提升养殖水平具有重要意义。养殖水平具有重要意义。养殖水平具有重要意义。

【技术实现步骤摘要】
一种生猪体尺视觉测量的特征点选取及测量方法


[0001]本专利技术涉及计算机视觉、图像处理和牲畜养殖
，具体为一种生猪体尺视觉测量的特征点选取及测量方法。

技术介绍

[0002]发展规模化、集约化、智能化的现代化生猪养殖管理模式是提高养殖生产效率和降低单猪成本的必经之路。现有猪场养殖在生产过程中对猪只巡检、生长、健康状态表观评判方面还主要依赖人工，误检、漏检率高，无法满足规模生产与防疫需要。围绕生猪养殖过程中生猪体尺自动测量展开研究，对养猪生产过程的智能化实现，提升养殖水平具有重要的研究意义。
[0003]现阶段我国对猪只体尺的测量主要停留在人工测量阶段，不采用人工的猪只体尺自动测量技术的应用较少。对于这两类方法，人工测量会存在测量效率低、精确度不够高、存在人猪染病风险等问题；对于猪只体尺自动测量技术，主要包括两类方法进行测量，第一类是采用算法提取牲畜轮廓，再使用包络线等方法提取体尺信息，另一类是采用深度相机等设备对牲畜点云进行提取，再根据点云计算牲畜体尺。这些方法虽然可以良好的计算出牲畜体尺，但是也具备较大局限性，第一类存在要求较合适的拍摄角度、牲畜姿态笔直、牲畜不能过于密集等问题，第二类则存在设备要求较高、牲畜同样不能过于密集等问题。考虑到以上问题，本专利技术提出了融合注意力机制的特征点检测算法对图像中的生猪进行特征点检测，以生猪身上的特征点作为生猪体尺测量的依据。
[0004]特征点检测技术在过去多用于人体姿态的估计，注意力机制是近年深度学习领域的研究热点之一，其通过对模型中不同部分赋予不同权重，从中抽取出更加重要关键的信息，优化模型得到更准确的预测。将注意力机制融合入SimpleBaselines特征点检测算法对图像中的生猪进行特征点检测，可以为生猪体尺测量提供参考。
[0005]本专利技术针对养殖猪舍中的猪只体尺测量问题，采用目标检测技术分离出猪只个体，设计猪只特征点并利用融合注意力机制的SimpleBaselines算法对猪只特征点进行识别，设计猪只特征点评估算法对猪只姿态以及体尺信息能否进行测量进行评估，最后根据设备安装角度等数据，采用仿射变换等计算得到猪只体尺数据，解决了目前猪只体尺自动测量技术中对猪只体态要求较高、猪群过于密集时无法测量猪只体尺等问题。

技术实现思路

[0006]为解决上述问题，本专利技术公开了提供一种生猪体尺视觉测量的特征点选取及测量方法，本专利技术要解决的技术问题：一是对养殖猪舍中的猪只进行个体图像提取并基于体尺测量方式设计猪只特征点；二是对猪只特征点进行良好的检测识别并对特征点进行算法评估；三是基于养殖猪舍安装设备信息以及识别出的猪只特征点提出一种猪只体尺计算方法。
[0007]为解决上述技术问题，达到本专利技术的目的，本专利技术采取的技术方案如下：
[0008]一种生猪体尺视觉测量的特征点选取及测量方法，包括以下步骤：
[0009]步骤S1、在养殖猪舍搭建图像采集设备，在猪舍中架设导轨以及巡检设备，在巡检设备上安置摄像头，通过交换机与主机连接采集图像并采用张正友相机标定法进行径向畸变矫正，并测量得到安装设备在养殖猪舍中的位置信息。
[0010]步骤S2、获得采集图像构建生猪养殖数据集，将数据集输入YOLOv5(You Only Look Once version 5)，通过骨干网络提取图像特征信息，从特征中得到猪只的检测包围框，从而对猪只从图像中进行个体分离。
[0011]步骤S3、根据大量统计测试，对猪只身体上的特征点进行设计，以SimpleBaselines算法为基础，在其中融合注意力机制，获取图像中猪只的特征点信息，并将仅包含单个个体的猪只图像中的特征点坐标还原至采集的猪舍养殖环境图像中。
[0012]步骤S4、基于深度神经网络设计猪只特征点评估算法，其输入为识别出的特征点坐标，输出为猪只姿态与体尺信息是否可以通过图像进行测量。
[0013]步骤S5、采用仿射变换将拍摄的猪舍养殖环境图像变换成正上方往下拍摄的视角，并将猪只特征点坐标变换至仿射变换后的图像中的对应点的坐标。
[0014]步骤S6、根据得到的猪只特征点在图像中的坐标信息，结合设备安装角度以及高度、长度等信息，对猪只体尺进行计算。
[0015]进一步，所述步骤S1的具体过程如下：
[0016]步骤S11、在养殖猪舍内部的过道上方架设导轨，安装可以进行横向移动的巡检机器设备，在巡检机器设备上安装摄像头，可以对猪舍中其中一侧的猪栏进行图像采集；
[0017]步骤S12、根据张正友相机标定法，对相机畸变参数进行计算，求出径向畸变三阶公式中的畸变参数k1、k2、k3，再根据径向畸变公式对图像进行矫正，其中(x,y)是矫正前图像中像素坐标，是矫正后对应像素坐标：
[0018][0019][0020]步骤S13、采用网线将巡检设备、以及摄像头连接至交换机上，再从交换机牵引网线与养殖猪舍外围放置的主机相连接，通过主机可以对巡检设备以及摄像头进行控制，从而采集得到相应的图像数据。
[0021]进一步，所述步骤S2的具体过程如下：
[0022]步骤S21、采用labelme对采集图像进行标注，采用方框对每头猪只进行框选，保存得到json格式标注文件。将得到每张图像的标注文件进行转换得到对应信息的的txt文本文件后，与图像一起作为数据集输入YOLOv5进行训练；
[0023]步骤S22、提取YOLOv5检测后图像中的猪只识别框，根据框左上角的坐标(x0,y0)以及尺寸(h,w)对图像中的单个猪只进行裁取，用于后续特征点检测。
[0024]进一步，所述步骤S21及S22中的YOLOv5是一种单阶段目标检测算法：图像输入YOLOv5后首先会通过骨干网络初步提取图像特征，随后根据初步提取的特征计算得到三种不同大小的特征分别用于检测图像中的不同大小的猪只。
[0025]进一步，所述步骤S21及S22中的YOLOv5的骨干网络主要由下采样、残差结构以及空间金字塔池化操作共同组成，养殖猪舍采集图像输入骨干网络计算可以提取得到三个大
小的特征图，在这三个大小的特征图上分别采用FPN(Feature Pyramid Network)以及PAN(Perceptual Adversarial Network)结构最后得到预测结果，其中FPN结构是指将面积较小的特征层通过上采样的方式与面积较大的特征层进行融合，PAN结构则于FPN相反，将面积较大的特征层信息通过下采样与面积较小的特征层进行融合。
[0026]进一步，所述步骤S3的具体过程如下：
[0027]步骤S31、从图像中选取100头以上的猪只，采用边缘检测、质心算法、包络线等方法获取猪只身体上的多个特征点，进行统计与测试，从多种猪只特征点选取其中可以用于猪只体尺计算的出现频率较高的特征点。由此设计选取了左右耳根、左右前腿、肩胛骨中心、尾巴根部这六个点作为猪只特征点用于表征猪只特征信息，进而用于猪只体尺计算。左耳根、右耳根记为点1、点2，左前腿、右前腿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生猪体尺视觉测量的特征点选取及测量方法，其特征在于：包括以下步骤：步骤S1、在养殖猪舍中架设导轨以及巡检设备，在巡检设备上安装摄像头，通过交换机与主机连接采集图像；步骤S2、获得采集图像构建生猪养殖图像数据集，图像输入YOLOv5，通过骨干网络提取图像特征信息，特征信息经过卷积计算得到猪只检测包围框左上角在图像中的坐标以及长宽大小，从而将猪只从图像中进行分离；步骤S3、根据大量统计测试设计猪只特征点，以SimpleBaselines算法为基础，融合注意力机制，获取图像中猪只的特征点信息，并根据猪只检测包围框的左上角坐标将仅包含单个个体猪只的图像中的特征点坐标还原至采集的猪舍养殖环境图像中；步骤S4、基于深度神经网络设计猪只特征点评估算法，其输入为识别出的特征点坐标，输出为猪只姿态与体尺信息是否可以通过图像进行测量；步骤S5、采用仿射变换将拍摄的猪舍养殖环境图像变换成正上方往下拍摄的视角，并将猪只特征点坐标变换至仿射变换后的图像中的对应点的坐标；步骤S6、根据得到的猪只特征点在图像中的坐标信息，结合设备安装角度以及高度、长度信息，对猪只体尺进行计算。2.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法，其特征在于：所述步骤S1的具体步骤如下：步骤S11、在养殖猪舍内部的过道上方架设导轨，安装可以进行横向移动的巡检机器设备，在巡检机器设备上安装摄像头，对猪舍中其中一侧的猪栏进行图像采集；步骤S12、根据张正友相机标定法，对相机畸变参数进行计算，求出径向畸变三阶公式中的畸变参数k1、k2、k3，再根据径向畸变公式对图像进行矫正，其中(x,y)是矫正前图像中像素坐标，是矫正后对应像素坐标：是矫正后对应像素坐标：步骤S13、采用网线将巡检设备以及摄像头连接至交换机上，再从交换机牵引网线与养殖猪舍外围放置的主机相连接，通过主机对巡检设备以及摄像头进行控制，从而采集得到相应的图像数据。3.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法，其特征在于：所述步骤S2的具体步骤如下：步骤S21、采用labelme对采集图像进行标注，采用方框对每头猪只进行框选，保存得到json格式标注文件；将标注文件转换至对应信息的txt文本文件，与图像一起形成数据集输入YOLOv5进行训练；步骤S22、提取图像的猪只检测框，根据检测框的坐标(x0,y0)以及尺寸(h,w)对图像中的单个猪只图像进行截取，用于后续特征点检测。4.根据权利要求3所述的一种生猪体尺视觉测量的特征点选取及测量方法，其特征在于：所述步骤S21及S22中的YOLOv5是一种单阶段目标检测算法，YOLOv5包括骨干网络、颈网络、头网络三个部分，其输入是640
×
640
×
3大小的图像，图像经过算法的三个部分处理后
输出三种大小的识别结果，最后通过极大值抑制的方式得到图像中的猪只识别框。5.根据权利要求1所述的一种生猪体尺视觉测量的特征点选取及测量方法，其特征在于：所述步骤S3的具体步骤如下：步骤S31、从图像中选取100头以上的猪只，采用边缘检测、质心算法、包络线方法获取猪只身体上的多个特征点，进行统计与测试，从多种猪只特征点选取其中用于猪只体尺计算的出现频率较高的特征点；由此设计选取左右耳根、左右前腿、肩胛骨中心、尾巴根部这六个点作为猪只特征点用于表征猪只特征信息，进而用于猪只体尺计算；左耳根、右耳根记为点1、点2，左前腿、右前腿记为点3、点4，尾巴根部为点5，肩胛骨中心记为点6；步骤S32、将步骤S22中得到的个体猪只图像输入融合了注意力机制的SimpleBaselines中，通过骨干网络提取特征，再利用...

【专利技术属性】
技术研发人员：秦文虎，杨雨锟，孙立博，
申请(专利权)人：东南大学，
类型：发明
国别省市：