一种基于深度相机的体重预估方法、系统及终端技术方案

本发明专利技术属于体重数据识别技术领域，公开了一种基于深度相机的体重预估方法、系统及终端。采集RGB样本图像和体重测算图像以及深度图像，对所述RGB样本图像中的被测对象背部位置进行标注；根据标注的被测对象背部位置训练特征检测模型，并利用所述特征检测模型确定RGB体重测算图像中的被测对象背部位置，再确定深度图像中被测对象背部的平均深度信息；对所述RGB体重测算图像和深度图像加载到分类模型前的预处理以及归一化处理中。本发明专利技术通过无接触式的AI估重有效解决了背景技术存在的问题，基于深度相机的体重预估方法在生猪养殖中，对于猪只在不同的生长阶段实时更换了换不同种类饲料，及时掌握了猪在每个生长阶段的体重数据。重数据。重数据。

【技术实现步骤摘要】
一种基于深度相机的体重预估方法、系统及终端


[0001]本专利技术属于体重数据识别
，尤其涉及一种基于深度相机的体重预估方法、系统及终端。

技术介绍

[0002]猪的体重是生猪养殖过程中的核心指标，贯穿猪只的饲喂、育肥、生产、销售全过程。但是猪的体重数据获取难度大，首先磅秤笨重、操作不便、成本高，无法做到灵活多点位部署，导致猪只测重困难，而且频繁赶猪“有接触”测重增加猪只染病风险，操作过程中容易造成猪只甚至猪群的应激反应，影响猪只生长。
[0003]通过上述分析，现有技术存在的问题及缺陷为：
[0004](1)现有技术在生猪养殖中，因获得实时数据准确度低，不能根据猪只在不同的生长阶段需要换不同种类饲料，不能及时掌握猪在每个生长阶段的体重数据，及时加以干预。
[0005](2)现有技术中，不能根据市场需求，对猪重区间进行精准分级，不能为企业提供有效的数据支持。
[0006](3)现有技术没有和智能饲喂系统结合，使得精准喂料的效果比较差。

技术实现思路

[0007]为克服相关技术中存在的问题，本专利技术公开实施例提供了一种基于深度相机的体重预估方法、系统及终端。
[0008]所述技术方案如下：基于深度相机的体重预估方法包括以下步骤：
[0009]采集RGB样本图像和体重测算图像以及深度图像，对所述RGB样本图像中的被测对象背部位置进行标注；
[0010]根据标注的被测对象背部位置训练特征检测模型，并利用所述特征检测模型确定RGB体重测算图像中的被测对象背部位置，再确定深度图像中被测对象背部的平均深度信息；
[0011]对所述RGB体重测算图像和深度图像加载到分类模型前的预处理以及归一化处理中；
[0012]根据归一化的RGB体重测算图像信息、深度信息以及获取到的真实被测对象重量信息训练重量分类模型；
[0013]根据所述重量分类模型预测新的RGB图像与深度图像对应的被测对象体重。
[0014]在一个实施例中，所述根据标注的被测对象背部位置训练特征检测模型，并利用所述特征检测模型确定RGB体重测算图像中的被测对象背部位置，具体包括：
[0015]获取所述RGB样本图像中所述被测对象背部的候选区域；
[0016]利用多层卷积神经网络提取所述候选区域的特征；
[0017]根据提取的特征确定所述RGB体重测算图像为候选区域；
[0018]利用soft
‑
nms算法对所述候选区域进行筛选，得到所述RGB体重测算图像中的被
测对象背部区域。
[0019]在一个实施例中，所述利用多层卷积神经网络提取所述候选区域的特征具体包括：
[0020]将获取的RGB样本图像输入到旋转目标检测网络，所述旋转目标检测网络包括：backbone模块、Neck模块、Prediction模块，在所述旋转目标检测网络中，图像经过backbone模块处理后，得到输入图像的特征信息，经过Neck模块处理后，对所述backbone模块获取的特征进行提取融合；经过Prediction模块处理后，根据特征最终确定检测目标候选区域分类为背部候选区域；
[0021]所述backbone模块为Focus结构加CSP1_X结构特征提取框架，用于对图像的特征进行提取；所述Focus结构包括切片操作以及32个卷积核，切片操作是将图像层分成多片小块操作，进行后续特征提取；所述CSP1_X结构包括多个CBM模块与多个残差组件，CBM模块包括卷积层、批量标准化层以及Mish激活函数；
[0022]所述Neck模块为空间金字塔池化SPP、路径聚合网络PANet和CSP2_X结构，用于增加感受野以及收集组合目标特征；所述空间金字塔池化SPP结构多尺度特征融合送入全连接层，所述路径聚合网络PANet增加由下到上的金字塔特征，提取所有特征层信息的自适应池化层；
[0023]所述Prediction模块使用CIOU_Loss作边界框的损失函数，并在Predicition模块中预测目标框中心坐标x，y与长宽w，h的基础上增添了旋转角度信息，用于使目标检测框贴合被测对象轮廓；所述CIOU_Loss基于DIOU_Loss进行改进，用于对预测的矩形形状和真实框不一致的结果进行惩罚，通过公式(1)检测效果；
[0024][0025][0026]其中，IOU是预测框与真实框的交集与并集之比，v为新加的惩罚因子，包含了要预测的框宽w和框高h，Distance_2是两个框中心点的距离，Distance_C是覆盖两个框的最小封闭矩形的对角线长度。
[0027]在一个实施例中，经过所述旋转目标检测网络处理后，对所述候选区域利用soft
‑
nms算法软式非极大抑制方法进行筛选；所述soft
‑
nms算法处理拥挤目标，图像根据模型分类器得到同一目标的多个检测框，将检测框按得分排序，并保留得分最高的框，同时降低与该框重叠面积，再根据置信度阈值剔除多余框，同时增加对旋转矩形的支持，最终将目标被测对象背部的检测框识别出来。
[0028]在一个实施例中，所述确定深度图像中被测对象背部的平均深度信息中，根据RGB体重测算图像中被测对象的区域坐标点信息，映射到深度信息图像上，根据背部区域坐标信息计算深度信息图背部区域平均深度信息；
[0029]深度摄像头根据公式(2)，用视差矩阵计算被测对象背部每个像素点到深度摄像头的距离信息：
[0030][0031]其中，distance为深度摄像头到被测对象背部距离信息，f为深度摄像头相机的焦距信息，焦距信息位像素距离；b为双目相机之间的距离信息；disparity为视差矩阵；
[0032]根据公式(3)计算平均深度信息：
[0033][0034]其中，vg_distance为平均深度信息；all_pix_distance为被测对象背部区域所有像素距离值之和，pix_num为被测对象背部区域像素数。
[0035]在一个实施例中，对所述RGB体重测算图像和深度图像加载到分类模型前的预处理以及归一化处理中，具体包括：
[0036](1)根据被测对象背部区域深度信息和预设归一化深度信息值，将裁剪出来图像的宽高信息根据实际深度和归一化深度值按比例根据公式(4)进行缩放；
[0037][0038]其中，PIC为缩放后的被测对象背部图像像素值；depth为被测对象背部平均区域深度信息值；pic为裁剪出来的图像宽度像素值；DEPTH为归一化的深度信息值；
[0039](2)裁剪被测对象背部区域的图像并进行图像填充；
[0040]根据缩放的图像大小，按照预设的图像比例进行补全，如公式(5)和公式(6)；
[0041]w_add＝W
‑
w
ꢀꢀ
(5)
[0042]其中，w_add为需要填充的宽度像素数，W为预设图像宽度像素数，w为背部区域宽度像素数，图像左右两端分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机的体重预估方法，其特征在于，该方法包括以下步骤：采集RGB样本图像和体重测算图像以及深度图像，对所述RGB样本图像中的被测对象背部位置进行标注；根据标注的被测对象背部位置训练特征检测模型，并利用所述特征检测模型确定RGB体重测算图像中的被测对象背部位置，再确定深度图像中被测对象背部的平均深度信息；对所述RGB体重测算图像和深度图像加载到分类模型前的预处理以及归一化处理中；根据归一化的RGB体重测算图像信息、深度信息以及获取到的真实被测对象重量信息训练重量分类模型；根据所述重量分类模型预测新的RGB图像与深度图像对应的被测对象体重。2.根据权利要求1所述的基于深度相机的体重预估方法，其特征在于，所述根据标注的被测对象背部位置训练特征检测模型，并利用所述特征检测模型确定RGB体重测算图像中的被测对象背部位置，具体包括：获取所述RGB样本图像中所述被测对象背部的候选区域；利用多层卷积神经网络提取所述候选区域的特征；根据提取的特征确定所述RGB体重测算图像为候选区域；利用soft
‑
nms算法对所述候选区域进行筛选，得到所述RGB体重测算图像中的被测对象背部区域。3.根据权利要求2所述的基于深度相机的体重预估方法，其特征在于，所述利用多层卷积神经网络提取所述候选区域的特征具体包括：将获取的RGB样本图像输入到旋转目标检测网络，所述旋转目标检测网络包括：backbone模块、Neck模块、Prediction模块，在所述旋转目标检测网络中，图像经过backbone模块处理后，得到输入图像的特征信息，经过Neck模块处理后，对所述backbone模块获取的特征进行提取融合；经过Prediction模块处理后，根据特征最终确定检测目标候选区域分类为背部候选区域；所述backbone模块为Focus结构加CSP1_X结构特征提取框架，用于对图像的特征进行提取；所述Focus结构包括切片操作以及32个卷积核，切片操作是将图像层分成多片小块操作，进行后续特征提取；所述CSP1_X结构包括多个CBM模块与多个残差组件，CBM模块包括卷积层、批量标准化层以及Mish激活函数；所述Neck模块为空间金字塔池化SPP、路径聚合网络PANet和CSP2_X结构，用于增加感受野以及收集组合目标特征；所述空间金字塔池化SPP结构多尺度特征融合送入全连接层，所述路径聚合网络PANet增加由下到上的金字塔特征，提取所有特征层信息的自适应池化层；所述Prediction模块使用CIOU_Loss作边界框的损失函数，并在Predicition模块中预测目标框中心坐标x，y与长宽w，h的基础上增添了旋转角度信息，用于使目标检测框贴合被测对象轮廓；所述CIOU_Loss基于DIOU_Loss进行改进，用于对预测的矩形形状和真实框不一致的结果进行惩罚，通过公式(1)检测效果；
其中，IOU是预测框与真实框的交集与并集之比，v为新加的惩罚因子，包含了要预测的框宽w和框高h，Distance_2是两个框中心点的距离，Distance_C是覆盖两个框的最小封闭矩形的对角线长度。4.根据权利要求3所述的基于深度相机的体重预估方法，其特征在于，经过所述旋转目标检测网络处理后，对所述候选区域利用soft
‑
nms算法软式非极大抑制方法进行筛选；所述soft
‑
nms算法处理拥挤目标，图像根据模型分类器得到同一目标的多个检测框，将检测框按得分排序，并保留得分最高的框，同时降低与该框重叠面积，再根据置信度阈值剔除多余框，同时增加对旋转矩形的支持，最终将目标被测对象背部的检测框识别出来。5.根据权利要求1所述的基于深度相机的体重预估方法，其特征在于，所述确定深度图像中被测对象背部的平均深度信息中，根据RGB体重测算图像中被测对象的区域坐标点信息，映射到深度信息图像上，根据背部区域坐标信息计算深度信息图背部区域平均深度信息；深度摄像头根据公式(2)，用视差矩阵计算被测对象背部每个像素点到深度摄像头的距离信息：其中，distance为深度摄像头到被测对象背部距离信息，f为深度摄像头相机的焦距信息，焦距信息位像素距离；b为双目相机之间的距离信息；disparity为视差矩阵；根据公式(3)计算平均深度信息：其中，vg_distance为平均深度信息；all_pix_distance为被测对象背部区域所有像素距离值之和，pix_num...

【专利技术属性】
技术研发人员：刘青源，邵远超，于总昱，方雅媚，
申请(专利权)人：青岛不愁网信息科技有限公司，
类型：发明
国别省市：