估计牦牛体尺、体重的方法和相应的便携式计算机装置制造方法及图纸

本发明专利技术提出一种基于3D视觉估计牦牛体尺的方法，包括：利用图像采集设备采集牦牛的侧面图像；由侧面图像提取前景图像；在所提取的前景图像中识别牛体关键点；利用被识别的牛体关键点信息，自动提取牦牛体尺信息。还提出一种基于3D视觉估计牦牛体重的方法，包括执行前述基于3D视觉估计牦牛体尺的方法；以提取的牦牛体尺信息作为输入，利用牦牛体重估计模型，预测牦牛体重值。替换地，又提出一种基于3D视觉估计牦牛体重的方法，包括：利用图像采集设备采集牦牛的侧面图像；由侧面图像提取前景图像；利用卷积神经网络从前景图像直接预测体重值。本发明专利技术还提出一种相应的便携式计算装置。

Method for estimating body size and weight of yak and corresponding portable computer device

The invention provides a 3D visual estimation method based on Yak body size include the use of side image acquisition equipment acquisition yak; extract the foreground image by the side image recognition; bovine body key points in the foreground image is extracted using the identified cattle; the key point information, automatic extraction of yak body size information. 3D also provides a visual estimation method based on the weight of yak, including the implementation of the 3D visual estimation method based on body size of yak yak body size; to extract information as input, using yak yak weight estimation model, forecast. Alternatively, this paper presents a 3D visual estimation method, based on the weight of yak include: the use of side image acquisition equipment acquisition yak; extract the foreground image from the side image; forecast the foreground image from direct weight value by using convolutional neural network. The invention also provides a corresponding portable computing device.

【技术实现步骤摘要】
估计牦牛体尺、体重的方法和相应的便携式计算机装置
本专利技术总体地涉及估计牦牛的体尺、体重的方法，特别是涉及利用神经网络估计牦牛的体尺、体重的方法。本专利技术还涉及用于执行所述方法的相应便携式计算机装置。
技术介绍
随着科学技术的发展与大数据时代的来临，畜牧业的信息化与智能化是促进我国畜牧业快速、健康发展的重中之重。借助智能化、自动化的数据采集与计算机辅助分析，可以提升畜牧业的生产规模、降低人力成本、增强生产效率。对于畜牧产业中的牦牛，据统计全世界现有牦牛约2200万头，而中国占到其中的90％以上，是养殖牦牛的第一大国。牛类的体尺指标主要包含体高、体长、体斜长、胸围、管围、腰角宽等参数。随着生物研究的发展和牧民养殖经验的不断积累，人们已经认识到对牛体的测量有着广泛的应用和价值，包括监视并预测牛的生长速率、发育状态、身体特征和饮食状态，以利于家畜的鉴定、买卖与选育，也可用于估计屠宰后的肉量与品质。因此，对于牦牛的体尺与体重的测量具有很实际的经济价值。然而现阶段在实际应用中，牧民对牦牛的体尺与体重指标的测量仍然非常低效、繁琐，例如体高、体长、胸围等的体尺指标需要养殖人员亲手用尺测量，而体重指标则需将牦牛逐一驱赶至体重秤上测量，这种测量方式需要耗费大量的人力物力，具有一定的危险性，测量的体尺指标也并不精确，而且还会造成对牦牛的应激反应，对牦牛的健康存在不利影响。而在相关的学术研究中，利用体尺指标来估计体重、基于图像的体尺体重测算，也都存在着相应的不足。现有的对牦牛体尺、体重测量或估计的方案及相应缺点：体尺体重指标的传统测量方法一直以来，对于牦牛的体尺测量都必须由牧民手工完成，要求牛姿态端正地站立在平地，使用测丈、卷尺和圆形测定器等工具进行测量；对于体重的测量，往往是需要将牛驱赶至一个特制的、含称重装置的区域中，记录下称得的重量。这样的测量方式存在很多不足之处，由于牦牛体型较大，难以控制，因此对每一头牛的每一项体尺指标都需要单独人工测量，工作量大；另外由于人工操作问题，获得的体尺指标的精度也可能存在一定偏差；此外，由于需要直接接触牛体，有可能会造成牛的应激反应，有可能存在危险或对牛的健康不利。利用体尺指标来估计体重由于测量牦牛体重对人力和机械的要求过高，相对来说体尺的测量更加简单，因此中外一些学者提出了利用牦牛体尺指标来估计体重的方式。具体方法是使用测距工具来人工测量牦牛的多个体尺指标，同时用称重装置得到牦牛体重，利用统计学方法拟合归纳出牦牛体重与体尺指标的关系，得到拟合公式后只需再测量某头牛的体尺指标，即可用公式计算估计出其相应的体重。利用体尺指标来估计体重的方案是可行的，解决了难以对牦牛直接称重的难题，然而使用测量工具人工进行体尺指标的测量，仍然存在之前讨论中体尺指标测量的诸多弊端，如耗费人力成本、造成牛的应激反应以及测量指标不精确或不全面等等。基于图像和视觉方法的体尺体重测量研究随着近年来计算机图像采集和处理技术的不断进步，以及3D技术的发展和3D传感器的普及，更多的基于计算机图像和2D/3D视觉的方法被尝试应用于对牦牛等家畜的体尺测量与体重估计。现有的基于视觉方法的牦牛体尺体重估计方法，形式是通过采集家畜俯视、侧视、正视的深度图，来提取体尺关键点，计算体尺指标，并用于估计家畜体重。这种方法具有很强的现实意义，降低了牧民和科研工作者测算家畜体尺体重的难度。但是现有工作仍存在一定的不足之处，最核心的缺点在于已有工作基本上都是限制性空间的体尺测量，即需要将家畜活体稳定在特定空间、特定位置和特定设备之处，这样的方式利于批量获得大量数据，通用性较强，但是测量装置往往结构复杂、成本较高，并局限于装置的固定位置，不能移动，还会对家畜有一定的应激影响。
技术实现思路
本专利技术的目的在于，克服在限制性空间内测量或估计体尺和/或体重的缺点。根据本专利技术的一个方面，提出一种基于3D视觉估计牦牛体尺的方法，包括以下步骤：-利用图像采集设备采集牦牛的侧面图像；-由侧面图像提取前景图像；-在所提取的前景图像中识别牛体关键点；-利用被识别的牛体关键点信息，自动提取牦牛体尺信息。有利地，所述提取前景图像步骤可包括利用侧面图像的原始点云的3D信息进行牛体前景图像的初步提取步骤。有利地，所述初步提取步骤可包括：-删除噪点，并做降采样处理；-识别地面平面并将地面部分切除，根据地面法向量将点云坐标系归一化；-按距离聚类，提取牦牛牛体点云。有利地，所述提取前景图像步骤可还包括优化提取步骤，在所述初步提取步骤获得的前景图像基础上，借助牦牛身体的彩色信息，通过设定颜色阈值，获得优化的前景图像，其中，所述颜色阈值可动态调节。根据一个实施方式，所述识别牛体关键点步骤可以利用人工辅助标注进行。替换地，根据另一实施方式，所述识别牛体关键点步骤可以利用神经网络深度学习方法进行。有利地，所述神经网络深度学习方法可以利用CNN卷积神经网络。有利地，利用已经人工标注关键点的一定数量的图像信息，使用X、Y、Z、R、G、B六个通道，将图像按照空间结构排列成矩阵作为输入，人工标注的关键点的X、Y、Z坐标作为输出，使用CNN卷积神经网络进行训练，得到模型；利用模型实现体尺关键点的自动获取。例如，所述CNN卷积神经网络可以是三层CNN卷积神经网络。例如，识别16个牛体关键点，分别位于嘴部、牛头上边缘、牛头下边缘、颈部上边缘、颈部下边缘、耆甲最高点、肩胛前端、背部、腹部、臀部、后腿上部、足部左前、足部右前、足部左后、足部右后、尾部外边缘。有利地，在自动提取牦牛的体尺信息时，可以将被识别的牛体关键点信息与原始点云图像结合以进行提取。例如，所提取的牦牛体尺信息可包括体厚、背高、体高、臀高、腿高、平均体高、体长、体斜长、腹部周长、腿间距、最大腹宽、平均腹宽、侧面表面积中的若干个或全部。特别地，体长、体斜长、最大腹宽、平均腹宽、腹部周长、腿间距和平均高度是牛体上的曲线长度。有利地，所述图像采集设备可以与平板电脑或智能手机以有线或无线的方式相连或安装于其上。例如，所述图像采集设备可以是立体摄像头或两个彩色摄像头。根据本专利技术的另一方面，提出一种基于3D视觉估计牦牛体重的方法，包括以下步骤：-执行前述基于3D视觉估计牦牛体尺的方法；-以提取的牦牛体尺信息作为输入，利用牦牛体重估计模型，预测牦牛体重值。有利地，基于所述牦牛体尺信息、牛体关键点坐标、牛的自然情况，利用单一的机器学习回归模型或集成学习方法训练预测牦牛体重的模型。特别地，所述单一的机器学习回归模型可以利用随机决策森林算法。特别地，所述集成学习方法可以利用Stacking方法结合随机决策森林、线性回归、高斯过程回归、神经网络学习算法中的一个或多个。替换地，还提出一种基于3D视觉估计牦牛体重的方法，包括以下步骤：-利用图像采集设备采集牦牛的侧面图像；-由侧面图像提取前景图像；-利用卷积神经网络从前景图像直接预测体重值。有利地，所述提取前景图像步骤可包括利用侧面图像的原始点云的3D信息进行牛体前景图像的初步提取步骤。有利地，所述初步提取步骤可包括：-删除噪点，并做降采样处理；-识别地面平面并将地面部分切除，根据地面法向量将点云坐标系归一化；-按距离聚类，提取牦牛牛体点云。有利地，所述提取前景图像步骤可还包括优化提取步骤，在所述初步提取步本文档来自技高网...

【技术保护点】
一种基于3D视觉估计牦牛体尺的方法，包括以下步骤：‑利用图像采集设备采集牦牛的侧面图像；‑由侧面图像提取前景图像；‑在所提取的前景图像中识别牛体关键点；‑利用被识别的牛体关键点信息，自动提取牦牛体尺信息。

【技术特征摘要】
1.一种基于3D视觉估计牦牛体尺的方法，包括以下步骤：-利用图像采集设备采集牦牛的侧面图像；-由侧面图像提取前景图像；-在所提取的前景图像中识别牛体关键点；-利用被识别的牛体关键点信息，自动提取牦牛体尺信息。2.如权利要求1所述的方法，其中，所述提取前景图像步骤包括利用侧面图像的原始点云的3D信息进行牛体前景图像的初步提取步骤。3.如权利要求2所述的方法，其中，所述初步提取步骤包括：-删除噪点，并做降采样处理；-识别地面平面并将地面部分切除，根据地面法向量将点云坐标系归一化；-按距离聚类，提取牦牛牛体点云。4.如权利要求2或3所述的方法，其中，所述提取前景图像步骤还包括优化提取步骤，在所述初步提取步骤获得的前景图像基础上，借助牦牛身体的彩色信息，通过设定颜色阈值，获得优化的前景图像，其中，所述颜色阈值可动态调节。5.如权利要求1所述的方法，其中，所述识别牛体关键点步骤利用人工辅助标注进行。6.如权利要求1所述的方...

【专利技术属性】
技术研发人员：史元春，刘思奇，喻纯，陶品，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11