【技术实现步骤摘要】
本申请涉及计算机视觉，特别涉及一种牲畜行为的识别方法、装置、电子设备和存储介质。
技术介绍
1、随着畜牧业的规模化发展，牲畜行为识别作为现代养殖业的关键组成部分，在提高农场生产效率、动物福祉监测和疾病预防等方面发挥着重要作用。由于计算机视觉和深度学习技术的快速发展，牲畜行为识别领域取得了巨大的进展。
2、在牲畜行为识别的研究中，传统上主要采用可见光相机进行图像捕获和分析。可见光相机的使用广泛，因其成本低、易于操作、适用于多种场景等特点而备受青睐。通过可见光图像，研究人员可以获取关于牲畜的外貌特征、颜色、体型等信息，从而实现行为识别、分类和监测。然而，可见光相机受到光照条件的限制，特别是在夜间或恶劣天气下，图像质量可能会受到影响，导致行为识别的准确性差。
技术实现思路
1、本申请实施例的提供了一种牲畜行为的识别方法、装置、电子设备和存储介质，通过结合可见光图像视频流和深度图像视频流确定牲畜目标的行为标签和距离，用以更加准确的对牲畜的行为进行识别。
2、第一方面，提供一种牲畜行为的识别方法，所述方法包括：基于深度相机对目标区域进行拍摄，获取可见光图像视频流和深度图像视频流，所述深度相机设置于移动机器人上；基于训练好的目标识别模型，对所述可见光图像视频流进行检测，并在检测到所述可见光图像视频流中存在牲畜目标时，获取所述牲畜目标的行为标签和所述牲畜目标在像素坐标系中的像素坐标数据；从所述深度图像视频流中获取包括所述牲畜目标的深度图像，并基于所述像素坐标数据和所述深度
3、第二方面，提供一种牲畜行为的识别装置，所述装置包括：获取模块，用于基于深度相机对目标区域进行拍摄，获取可见光图像视频流和深度图像视频流，所述深度相机设置于移动机器人上；检测模块，用于基于训练好的目标识别模型，对所述可见光图像视频流进行检测，并在检测到所述可见光图像视频流中存在牲畜目标时，获取所述牲畜目标的行为标签和所述牲畜目标在像素坐标系中的像素坐标数据；确定模块，用于从所述深度图像视频流中获取包括所述牲畜目标的深度图像，并基于所述像素坐标数据和所述深度图像，确定所述牲畜目标与所述深度相机之间的距离；标示模块，用于基于所述行为标签和所述距离，在所述可见光图像视频流中对所述牲畜目标进行标示。
4、第三方面，提供一种移动机器人，包括处理器和深度相机，所述处理器被配置为执行如第一方面所述的牲畜行为的识别方法。
5、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的牲畜行为的识别方法。
6、通过应用以上技术方案，先利用设置在移动机器人上的深度相机对目标区域进行拍摄，获取可见光图像视频流和深度图像视频流，然后基于训练好的目标识别模型检测可见光图像视频流中是否存在牲畜目标，在存在牲畜目标时，获取牲畜目标的行为标签和像素坐标数据，并基于像素坐标数据和深度图像视频流中对应的深度图像确定牲畜目标与深度相机之间的距离，最后在可见光图像视频流中标示出牲畜目标的行为标签和距离。通过结合可见光图像视频流和深度图像视频流，实现在准确对牲畜进行行为识别的同时，准确对牲畜进行实时测距，进而可更加高效准确的对牲畜的行为进行识别。
本文档来自技高网...【技术保护点】
1.一种牲畜行为的识别方法，其特征在于，所述方法包括：
2.如权利要求1所述的牲畜行为的识别方法，其特征在于，基于所述像素坐标数据和所述深度图像，确定所述牲畜目标与所述深度相机之间的距离，包括：
3.如权利要求2所述的牲畜行为的识别方法，其特征在于，基于所述像素点高度、所述深度相机的焦距和所述牲畜目标的身高或身长确定所述距离，包括：
4.如权利要求2所述的牲畜行为的识别方法，其特征在于，所述内参矩阵是通过利用标定板对所述深度相机进行标定之后获取的。
5.如权利要求1所述的牲畜行为的识别方法，其特征在于，所述目标识别模型部署在所述移动机器人的开发板中，所述目标识别模型的部署过程包括：
6.如权利要求5所述的牲畜行为的识别方法，其特征在于，基于预设测试数据对所述目标识别模型进行测试的过程包括：
7.如权利要求5所述的牲畜行为的识别方法，其特征在于，所述目标识别模型基于YOLO系列、Faster RCNN、MaskRCNN、SSD、CenterNet和DyHead中的任一种，所述开发板为JetsonNano开发板，
8.一种牲畜行为的识别装置，其特征在于，所述装置包括：
9.一种移动机器人，其特征在于，包括处理器和深度相机，所述处理器被配置为执行如权利要求1-7任一项所述的牲畜行为的识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的牲畜行为的识别方法。
...【技术特征摘要】
1.一种牲畜行为的识别方法，其特征在于，所述方法包括：
2.如权利要求1所述的牲畜行为的识别方法，其特征在于，基于所述像素坐标数据和所述深度图像，确定所述牲畜目标与所述深度相机之间的距离，包括：
3.如权利要求2所述的牲畜行为的识别方法，其特征在于，基于所述像素点高度、所述深度相机的焦距和所述牲畜目标的身高或身长确定所述距离，包括：
4.如权利要求2所述的牲畜行为的识别方法，其特征在于，所述内参矩阵是通过利用标定板对所述深度相机进行标定之后获取的。
5.如权利要求1所述的牲畜行为的识别方法，其特征在于，所述目标识别模型部署在所述移动机器人的开发板中，所述目标识别模型的部署过程包括：
6.如权利要求5所述的牲畜行为的识别方法，其特征在于，基于预设测试数据...
【专利技术属性】
技术研发人员：房建东，仝磊，王秀玲，赵于东，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。