基于CLIP模型的牲畜分娩监测预警系统与方法技术方案

本发明专利技术公开了基于CLIP模型的牲畜分娩监测预警系统与方法，包括有如下的监测预警系统：S1：采集和获取目标猪的彩色图像以及热红外图像信息；S2：获得目标猪的体态变化日志、饲食日志、行为日志和孕检信息；S3：将采集到的图像和文字信息输入到CLIP模型中，通过计算图像和文本的匹配。本发明专利技术中通过采集和获取目标猪的彩色图像、热红外图像信息以及目标猪的体态变化日志、饲食日志、行为日志和孕检的文本信息，并将信息打包合并到CLIP模型中，利用CLIP模型的训练任务，预测猪的图片与大数据图像相匹配，通过猪分娩大数据对测试运行后的数据进行比对，并将目标猪分娩的情状差异比对出来，得到目标猪需要预警注意的分娩信息。得到目标猪需要预警注意的分娩信息。得到目标猪需要预警注意的分娩信息。

【技术实现步骤摘要】
基于CLIP模型的牲畜分娩监测预警系统与方法


[0001]本专利技术涉及畜牧业
，具体涉及基于CLIP模型的牲畜分娩监测预警系统与方法。

技术介绍

[0002]CLIP模型是利用text信息监督视觉任务自训练，本质就是将分类任务转化成了图文匹配任务，效果可与全监督方法相当；比如在猪(如猪)分娩以及待分娩阶段，对猪的监测预警是必不可少的，为了防止猪出现早产、流产、难产以及幼崽畸形或是携带疾病等情况，利用猪的彩色图像、热红外图像信息以及猪的日常文本信息输入到CLIP模型中进行匹配，结合大数据比对出猪分娩可能存在的问题和状况，为此，现提出基于CLIP模型的牲畜分娩监测预警系统与方法。

技术实现思路

[0003]本专利技术的目的是提供基于CLIP模型的牲畜分娩监测预警系统与方法，以解决技术中的上述不足之处。
[0004]为了实现上述目的，本专利技术提供如下技术方案：基于CLIP模型的牲畜分娩监测预警系统与方法，包括有如下的监测预警系统：
[0005]①
、热红外图像采集单元以及彩色图像采集单元；
[0006]②
、目标猪的体态变化日志单元、饲食日志单元、行为日志单元和孕检信息单元；
[0007]③
、含有猪分娩大数据的CLIP模型。
[0008]根据权利要求1所述的基于CLIP模型的牲畜分娩监测预警系统与方法，其特征在于：还包括有如下的监测预警方法：
[0009]S1：在目标猪活动范围内铺设热红外摄像头和监控摄像头，以1h*600张～1h*1000张的数量分别拍摄目标猪的热红外图像信息以及彩色图像信息，并记录在SD卡中，并且承载SD卡的终端设备设定为超出7*24h自动删除前24h记录的热红外图像信息以及彩色图像信息；
[0010]S2：与S1同步进行，人工记录目标猪的体态变化、进食和排便(排便量以划定目标猪经常活动的区域和划定时间为准，划定时间是以间隔1h，2h，
……
5h，以此类推，以此时间段内记录目标猪的排便量)、行为以及孕检信息，以一式两份文本格式留存；
[0011]S3：将S1和S2中获得的热红外图像信息、彩色图像信息以及文本信息打包合并输入到CLIP模型中，并在CLIP模型中下载Conceptual Captions数据集，将下载的数据集进行清洗，将下载的空图片或者不完整的图片数据过滤，同时针对CLIP模型中的开源代码进行调整；
[0012]S4：利用CLIP模型中的命令行工具对输入的目标猪信息进行测试运行，通过猪分娩大数据对测试运行后的数据进行比对，其中利用FREAK算法，对热红外图像信息以及彩色图像信息进行特征提取，建立矩阵D，D的每一行是一个FREAK二进制描述符，即每一行有n个
元素，并对矩阵D的每一列计算其均值，每一列都有一个均值，以均值最接近0.5的排在第一位，均值离0.5越远的排在越靠后，对列进行排序；选取前512列作为最终的二进制描述，由于FREAK描述符自身的圆形对称采样结构使其具有旋转不变性，采样的位置好半径随着尺度的变化使其具有尺度不变性，对每个采样点进行高斯模糊，也具有一定的抗噪性能，像素点的强度对比生成二进制描述子使其具有光照不变性，因此由上述产生的二进制描述可以用来进行特征匹配，同时用O表示局部梯度信息，M表示采样点对个数，G表示采样点对集合，P
O
表示采样点对的位置，则获得如下公式：
[0013][0014]再由计算机计算公式，得到不同图片512bit的二进制描述符，该描述符的列是高方差到低方差的排列，而高方差表征了模糊信息，低方差表征了细节信息，与人眼视网膜相似，人眼先处理的是模糊信息，再处理细节信息，因此，选取前128bit即16bytes进行匹配(异或)，若两个待匹配的特征点前16bytes距离小于设定的阈值，则再用剩余的位信息进行匹配，这种方法可以剔除掉90％的不相关匹配点，获得目标猪分娩的情状与大数据之间的比对差异情况，从而得到目标猪需要预警注意的分娩信息。
[0015]作为本专利技术一种优选的方案，所述
②
中的的体态变化日志主要记录目标猪的乳房是否胀大有光泽，两侧乳头是否外胀呈八字分开，以及临产的目标猪是否腹围变小，阴门松懈，尾根附近塌陷等情况。
[0016]作为本专利技术一种优选的方案，所述
①
中的热红外图像采集单元以及彩色图像采集单元，为围绕目标猪活动范围铺设的若干热红外摄像头和监控摄像头。
[0017]作为本专利技术一种优选的方案，所述
②
中饲食日志主要针对记录目标猪的进食量变化，排便量变化。
[0018]作为本专利技术一种优选的方案，所述
②
中的行为日志主要记录目标猪在待分娩期间是否有起卧不安，在圈舍内来回走动，叼草絮窝，排零星粪便行为，以及目标猪的阴门是否红肿，伴有黏液流出，频频排尿行为。
[0019]作为本专利技术一种优选的方案，所述步骤S1中需要融合深度神经网络与条件随机场方法，对动物行为的视频关键帧进行像素级标注，并在视频序列的时空图基础上定义马尔科夫随机场与单变量势函数，利用深度神经网络方法提取运动检测子，结合轨迹分析检测子，对其分布区域进行长时分析，实现动物运动行为检测。
[0020]作为本专利技术一种优选的方案，所述步骤S4中目标猪分娩的情状差异包括有：目标猪是否存在流产、早产、难产现象，以及猪腹中幼崽是否存在畸形、携带疾病的情况。
[0021]在上述技术方案中，本专利技术提供的技术效果和优点：
[0022]本专利技术中通过采集和获取目标猪的彩色图像、热红外图像信息以及目标猪的体态变化日志、饲食日志、行为日志和孕检的文本信息，并将信息打包合并到CLIP模型中，利用CLIP模型的训练任务，预测猪的图片与大数据图像相匹配，通过猪分娩大数据对测试运行后的数据进行比对，并将目标猪分娩的情状差异比对出来，得到目标猪需要预警注意的分娩信息。
附图说明
[0023]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0024]图1为本专利技术提出的基于CLIP模型的牲畜分娩监测预警系统与方法的系统框架示意图。
具体实施方式
[0025]为了对本专利技术的技术方案和实现方式做出更清楚地解释和说明，以下介绍实现本专利技术技术方案的几个优选的具体实施例。
[0026]下文的描述本质上仅是示例性的而并非意图限制本公开、应用及用途。应当理解，在所有这些附图中，相同或相似的附图标记指示相同的或相似的零件及特征。各个附图仅示意性地表示了本公开的实施方式的构思和原理，并不一定示出了本公开各个实施方式的具体尺寸及其比例。在特定的附图中的特定部分可能采用夸张的方式来图示本公开的实施方式的相关细节或结构，本文所引用的各种出版物、专利和公开的专利说明书，其公开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于CLIP模型的牲畜分娩监测预警系统与方法，其特征在于：包括有如下的监测预警系统：
①
、热红外图像采集单元以及彩色图像采集单元；
②
、目标猪的体态变化日志单元、饲食日志单元、行为日志单元和孕检信息单元；
③
、含有猪分娩大数据的CLIP模型。2.根据权利要求1所述的基于CLIP模型的牲畜分娩监测预警系统与方法，其特征在于：还包括有如下的监测预警方法：S1：在目标猪活动范围内铺设热红外摄像头和监控摄像头，以1h*600张～1h*1000张的数量分别拍摄目标猪的热红外图像信息以及彩色图像信息，并记录在SD卡中，并且承载SD卡的终端设备设定为超出7*24h自动删除前24h记录的热红外图像信息以及彩色图像信息；S2：与S1同步进行，人工记录目标猪的体态变化、进食和排便(排便量以划定目标猪经常活动的区域和划定时间为准，划定时间是以间隔1h，2h，
……
5h，以此类推，以此时间段内记录目标猪的排便量)、行为以及孕检信息，以一式两份文本格式留存；S3：将S1和S2中获得的热红外图像信息、彩色图像信息以及文本信息打包合并输入到CLIP模型中，并在CLIP模型中下载ConceptualCaptions数据集，将下载的数据集进行清洗，将下载的空图片或者不完整的图片数据过滤，同时针对CLIP模型中的开源代码进行调整；S4：利用CLIP模型中的命令行工具对输入的目标猪信息进行测试运行，通过猪分娩大数据对测试运行后的数据进行比对，其中利用FREAK算法，对热红外图像信息以及彩色图像信息进行特征提取，建立矩阵D，D的每一行是一个FREAK二进制描述符，即每一行有n个元素，并对矩阵D的每一列计算其均值，每一列都有一个均值，以均值最接近0.5的排在第一位，均值离0.5越远的排在越靠后，对列进行排序；选取前512列作为最终的二进制描述，由于FREAK描述符自身的圆形对称采样结构使其具有旋转不变性，采样的位置好半径随着尺度的变化使其具有尺度不变性，对每个采样点进行高斯模糊，也具有一定的抗噪性能，像素点的强度对比生成二进制描述子使其具有光照不变性，因此由上述产生的二进制描述可以用来进行特征匹配，同时用O表示局部梯度信息，M表示采样点对个数，G表示采样点对集合，P
O

【专利技术属性】
技术研发人员：张斌斌，张永新，李德光，沈家全，徐国梁，潘梦蝶，
申请(专利权)人：洛阳师范学院，
类型：发明
国别省市：