本发明专利技术公开了一种基于Kinect相机的仔猪异常行为识别系统，属于猪只行为检测技术领域，其中包括对仔猪抱团、拱腹、独处、打斗、啃栏、腹泻六种异常行为的识别。利用Kinect相机采集实际养殖场景中仔猪的视频图像数据集；将利用Kinect相机同时得到的可见光视频图像和红外视频图像进行连续帧提取，将帧提取后的两种图像进行融合生成融合图像；选取最优算法，建立仔猪异常行为识别分类模型；将模型载入本发明专利技术所设计的客户端APP，得到移动应用程序，识别用户上传的仔猪异常行为图像得到识别结果。本发明专利技术通过将不同图像中的有用信息融合到一起，有效提高检测的准确性，使整套流程中的猪只异常行为识别模块得以最优实现。只异常行为识别模块得以最优实现。只异常行为识别模块得以最优实现。
【技术实现步骤摘要】
基于Kinect相机的仔猪异常行为识别方法及系统
[0001]本专利技术涉及猪只行为检测
，具体而言涉及一种基于Kinect相机的仔猪异常行为识别方法及系统。
技术介绍
[0002]仔猪是猪的幼年形态，在整个生猪饲养环节中处在最脆弱、最关键的一环，是养猪业的重点关注对象。仔猪的行为呈现出它们生长环境的福利水平程度，对断奶早期仔猪异常行为监测不到位很容易会降低猪只的福利水平，甚至严重时会影响仔猪的健康和生长发育，给养殖业带来巨大的损失。
[0003]目前，对仔猪的异常行为检测多采用人工巡检或人工视频监控。人工巡视无法24小时连续、定点进行，并且人工巡视除工作环境恶劣外，还不可避免地会引入人畜交叉干扰的风险和引发仔猪应激行为，不利于健康养殖；人工视频监控虽然一定程度上改善了养殖人员的工作环境，降低了人畜交叉感染的可能，但仍存在工作强度高、容易漏检等问题。因此识别系统重点是采集实际养殖场景中仔猪的视频图像并对其进行分析处理；当前的图像采集方法大多采用可见光图像采集设备，可见光图像中获取的场景中信息往往相对单一、有限，一些对生猪养殖监测有意义的信息没能很好的加以利用。利用Kinect相机同时采集实际养殖场景中仔猪的可见光视频图像和红外视频图像不仅布线安装简单，还可以通过图像融合为生猪养殖提供更多、更可靠的信息，这对构建基于计算机视觉技术的仔猪异常行为检测系统而言意义非凡。
[0004]因此，本专利技术提出了一种基于Kinect相机的仔猪异常行为识别方法及系统，能够有效识别仔猪异常行为的类别，及时进行相应的预防处理，对降低仔猪死亡率、提高规模化养殖效率具有重要意义。
技术实现思路
[0005]有鉴于此，本专利技术公开了一种基于Kinect相机的仔猪异常行为识别方法及系统。该系统能够精准实现对实际养殖场景中仔猪的异常行为识别。
[0006]为了实现上述目的，本专利技术提供一种基于Kinect相机的仔猪异常行为识别方法及系统，包括：集成平台、数据库、云平台及客户端。
[0007]所述集成平台，用于对仔猪行为的实时观察以及采集实际养殖场景中仔猪视频数据信息，并实时传输实际养殖场景中仔猪视频图像数据至数据库，接收客户端提出的仔猪异常行为识别请求，同时将接收到的获取仔猪异常行为结果请求发送给云平台；所述数据库，用于整合并存储从所述集成平台传输的实际养殖场景中仔猪异常行为视频图像数据，生成视频图像数据集，同时接收客户端上传的实际养殖场景中仔猪异常行为视频图像数据；所述云平台，用于从所述数据库中提取所存储的实际养殖场景中仔猪异常行为视频图像数据，对接收到的实际养殖场景中生猪异常行为视频图像数据进行预处理，并对预
处理后的图像进行异常行为识别，得到仔猪异常行为识别结果，并发送到所述客户端；所述客户端，用于接收待识别视频图像的识别结果，同时将用户采集的实际养殖场景中仔猪视频图像数据上传至数据库存储，定期下载下来以丰富数据集。
[0008]优选的，所述集成平台，还包括：实时监控模块和视频图像采集模块；其中，所述实时监控模块，用于对仔猪异常行为状态的观察；所述图像采集模块，用来确定图像采集区域并获取实际养殖场景中仔猪行为的视频图像。
[0009]优选的，所述图像采集模块，包括一台Kinect相机，Kinect相机采集猪栏内仔猪的活动视频，并将视频信号传送给数据库。
[0010]优选的，在猪栏上方安装Kinect相机，安装位置选取以视野最好能够覆盖猪栏内全部区域，同时能够清晰拍摄到仔猪的活动行为为原则，所述Kinect相机采集猪栏内仔猪活动视频图像包括同时得到视频采集区域的可见光视频图像和红外视频图像，摄像时间、位置和角度等信息保持精确一致。
[0011]优选的，所述云平台，还包括：图像融合模块、仔猪异常行为识别模块和离线更新模块；其中，图像融合模块，用于输出细节、纹理、边缘清晰的高质量融合图像；异常行为识别模块用于识别出实际养殖场景中仔猪的异常行为类别，离线更新模块根据数据库中更新的已标注仔猪异常行为图像数据对分类模型进行离线训练更新，以得到更优的算法模型。
[0012]优选的，所述图像融合模块，包括：获取实际养殖场景中仔猪异常行为预处理后的可见光图像和红外图像；利用基于小波变换与深度密集卷积神经网络相结合的网络模型对红外图像与可见光图像进行融合，该网络由混合特征提取层、融合层和图像重建层组成。其中混合特征提取层由小波和密集网络组成；小波网络将源图像的特征图分解为低频和高频分量，密集网络用于提取图像的显著特征，即深层特征；融合层旨在整合小波网络提取的低频和密集网络提取的深层特征；图像重建层输出细节、纹理、边缘清晰的高质量融合图像。
[0013]优选的，所述实际养殖场景中仔猪异常行为识别模块，包括：利用基于改进后YOLO v5s模型，运用迁移学习的思想，预训练模型参数；将异常行为图像输入网络，在特征提取层引入SimAM模块，通过能量函数对输入特征图计算注意力权重，赋予重要信息更大的权重，以增强模型特征学习能力；最后，在特征融合层加入 CARAFE方法替换原有的上采样方式，CARAFE 利用输入特征图预测上采样核并且基于此来进行特征重组，减少特征信息处理过程中的损失，更好地恢复仔猪异常行为细节，最终达到实现更高识别准确率的目的。将训练好的算法模型，植入客户端，识别未分类的仔猪异常行为视频图像，得到识别结果；并且将客户端取得的实际养殖场景中仔猪异常行为视频图像上传至数据库，图像数据可以进一步用于优化算法模型。
[0014]优选的，所述异常行为识别，包括：设计客户端APP，创建一个端到端的应用程序；用户安装后，使用选择本地视频数据进行仔猪异常行为检测，点击识别按钮，APP在识别结果界面给出模型预测的仔猪异常行为类别和异常行为发生的视频片段；最后将客户端获取的仔猪异常行为视频图像上传至数据库存储整合。
[0015]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于Kinect相机的仔猪异常行为识别方法及系统，利用客户端上传和视频图像采集同时构建数据库，以此丰富数据集；将多源信息进行融合，提高了图像的边缘清晰度，增强了图像的细节特征；利用基于改进后的YOLO v5s模型，运用迁移学习的思想，预训练模型参数；将异常行为
图像输入网络，在特征提取层引入SimAM模块，通过能量函数对输入特征图计算注意力权重，赋予重要信息更大的权重，以增强模型特征学习能力；最后，在特征融合层加入 CARAFE方法替换原有的上采样方式，CARAFE 利用输入特征图预测上采样核并且基于此来进行特征重组，减少特征信息处理过程中的损失，更好地恢复仔猪异常行为细节，最终达到实现更高识别准确率的目的。该专利技术设计有离线更新模块能够对分类模型进行随时更新完善，保证了异常行为识别模块能够及时将仔猪的异常行为进行识别预测，并及时采取相应的人工干预和应急措施。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于Kinect相机的仔猪异常行为识别方法及系统，其特征在于，包括：集成平台、数据库、云平台及客户端；所述集成平台，用于对仔猪行为的实时观察以及采集实际养殖场景中仔猪视频图像数据信息，并实时传输实际养殖场景中仔猪视频图像数据至数据库，接收客户端提出的仔猪异常行为识别请求，同时将接收到的获取仔猪异常行为结果请求发送给云平台；所述数据库，用于整合并存储从集成平台传输的实际养殖场景中仔猪视频图像数据，生成视频图像数据集，同时接收客户端上传的实际养殖场景中仔猪视频图像数据；所述云平台，用于从数据库中提取所存储的实际养殖场景中仔猪异常行为视频图像数据，对接收到的实际养殖场景中仔猪异常行为视频图像数据进行预处理，并对预处理后的图像进行异常行为识别，得到仔猪异常行为识别结果，并发送到所述客户端；所述客户端，用于接收待识别视频图像数据的识别结果，同时将用户采集的实际养殖场景中仔猪视频图像数据上传至数据库存储，定期下载下来以丰富数据集。2.如权利要求1所述的系统，其特征在于，所述集成平台，还包括：实时监控模块和视频图像采集模块；其中，所述实时监控模块，用于对仔猪异常行为状态的实时观察；所述图像采集模块，用来确定图像采集区域并获取实际养殖场景中仔猪行为的视频图像数据。3.如权利要求2所述的系统，其特征在于，所述视频图像采集模块，包括Kinect相机，Kinect相机采集猪栏内仔猪的活动视频，并将视频信号传送给数据库。4.如权利要求3所述的系统，其特征在于，在猪栏上方安装Kinect相机，安装位置以视野最好能够覆盖猪栏内全部区域并且能够清晰的拍摄到仔猪的活动行为为原则灵活选择，所述Kinect相机采集猪栏内仔猪活动视频图像包括同时得到视频采集区域的可见光视频图像和红外视频图像，摄像时间、位置和角度等信息保持精确一致。5.如权利要求1所述的系统，其特征在于，所述云平台，还包括：图像融合模块、仔猪异常行为识别模块和离线更新模块；其中，图像融合模块，用于输出细节、纹理、边缘清晰的高质量融合图像；异...
【专利技术属性】
技术研发人员：李东明，王娟，程雪，李娜，刘景艳，任振辉，彭小雪，邹亮，
申请(专利权)人：河北农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。