基于图像和音频混合的异常猪只识别装置、系统和方法制造方法及图纸

本发明专利技术实施例提供了一种基于图像和音频混合的异常猪只识别装置、系统和方法，获取群养栏内猪只的群体图像集和群体声音数据，通过识别模块中的识别模型根据群体图像集和群体声音数据对每一猪只是否为异常猪只进行识别。识别模型中包括融合处理子模型，融合处理子模型根据通过群体图像集和群体声音数据确定的任一猪只的体征变化信息和个体声音数据，输出任一猪只是否为异常猪只的识别结果。通过图像和声音的结合，有利于提高对异常猪只识别的准确性，检测结果可靠性高。同时无需人工检测，提高了异常猪只的检测效率，有利于有效地进行疫情防控，降低损失。

【技术实现步骤摘要】
基于图像和音频混合的异常猪只识别装置、系统和方法
本专利技术涉及机器学习
，尤其是涉及一种基于图像和音频混合的异常猪只识别装置、系统和方法。
技术介绍
猪只是否健康对猪只的生长、产仔造成严重影响，从而带来经济损失。早发现、早处置是疫情防控的重要手段。现有的方法中通常由人工定期对每一猪只进行检测或者通过人工观察，从群养栏中筛选出表现异常的猪只。针对这些表现异常的猪只进行进一步地的检测，以通过检测对可能存在的传染病进行防控，或者尽早对猪只存在的问题进行治疗，降低损失。可见，现有的方法通过人工检测对猪只进行疫情防控，以降低损失，人工检测效率低，且检测结果可靠性低。
技术实现思路
本专利技术实施例提供一种基于图像和音频混合的异常猪只识别装置、系统和方法，用以解决现有的方法通过人工检测对猪只进行疫情防控，以降低损失，人工检测效率低，且检测结果可靠性低的问题。针对以上技术问题，第一方面，本专利技术实施例提供一种基于图像和音频混合的异常猪只识别装置，包括获取模块和识别模块；所述获取模块获取在预设时间段内对圈养本文档来自技高网...

【技术保护点】
1.一种基于图像和音频混合的异常猪只识别装置，其特征在于，包括获取模块和识别模块；/n所述获取模块获取在预设时间段内对圈养有猪只的群养栏进行红外图像采集和/或摄像得到的群体图像集，以及在所述预设时间段内，对所述群养栏内猪只采集的群体声音数据；/n所述识别模块将所述群体图像集和所述群体声音数据输入识别模型，得到由所述识别模型输出的所述群养栏的每一猪只是否为异常猪只的识别结果；/n其中，所述识别模型中包括融合处理子模型，所述融合处理子模型根据任一猪只的体征变化信息和个体声音数据的组合，输出所述任一猪只是否为异常猪只的结果；所述任一猪只的体征变化信息根据所述群体图像集中与所述任一猪只对应的个体图像集...

【技术特征摘要】
1.一种基于图像和音频混合的异常猪只识别装置，其特征在于，包括获取模块和识别模块；
所述获取模块获取在预设时间段内对圈养有猪只的群养栏进行红外图像采集和/或摄像得到的群体图像集，以及在所述预设时间段内，对所述群养栏内猪只采集的群体声音数据；
所述识别模块将所述群体图像集和所述群体声音数据输入识别模型，得到由所述识别模型输出的所述群养栏的每一猪只是否为异常猪只的识别结果；
其中，所述识别模型中包括融合处理子模型，所述融合处理子模型根据任一猪只的体征变化信息和个体声音数据的组合，输出所述任一猪只是否为异常猪只的结果；所述任一猪只的体征变化信息根据所述群体图像集中与所述任一猪只对应的个体图像集确定；所述任一猪只的个体声音数据根据所述群体声音数据和所述群体图像集确定。


2.根据权利要求1所述的基于图像和音频混合的异常猪只识别装置，其特征在于，所述识别模型还包括图像分割子模型、体征提取子模型、输入子单元、声音定位子模型和声音分离子单元：
所述图像分割子模型根据所述群体图像进行图像分割，得到每一猪只对应的个体图像集；对任一猪只，所述体征提取子模型用于根据所述任一猪只对应的个体图像集提取所述任一猪只的体征变化信息；
所述输入子单元用于根据所述群体声音数据，获取在任一时间点采集的群体声音数据，将在所述任一时间点采集的群体声音数据输入所述声音定位子模型；
所述声音定位子模型根据采集群体声音数据的拾音设备在所述群养栏的位置，以及在任一时间点采集的群体声音数据，确定在所述任一时间点采集的群体声音数据对应的主声源位置；所述声音分离子单元，根据所述声音定位子模型输出的各时间点采集的群体声音数据对应的主声源位置，以及根据所述群体图像集确定的各猪只在不同时间点的猪只位置，输出与每一猪只对应的个体声音数据；
所述融合处理子模型根据所述体征提取子模型对所述任一猪只输出的体征变化信息和所声音分离子单元输出的所述任一猪只对应的个体声音数据的组合，输出所述任一猪只是否为异常猪只的结果；
其中，所述主声源位置表示在所述任一时间点，所述群养栏内发出最大分贝声音的猪只所在的位置。


3.根据权利要求2所述的基于图像和音频混合的异常猪只识别装置，其特征在于，所述声音分离子单元用于：
根据所述群体图像集获取在任一时间点对所述群养栏进行红外图像采集和/或摄像得到的单帧图像，并根据所述声音定位子模型获取与在所述任一时间点采集的群体声音数据对应的主声源位置；
根据所述单帧图像中各猪只的位置，判断是否存在与所述主声源位置之间的距离小于或等于预设距离阈值的猪只，若是，将与所述主声源位置距离最近的猪只作为定位猪只，将在所述任一时间点采集的群体声音数据作为与所述定位猪只对应的群体声音数据；
从所述预设时间段中的各时间点采集的群体声音数据中，获取与所述任一猪只对应的群体声音数据，对与所述任一猪只对应的群体声音数据进行降噪，得到与所述任一猪只对应的个体声音数据。


4.根据权利要求2所述的基于图像和音频混合的异常猪只识别装置，其特征在于，所述图像分割子模型的建立过程包括：
获取若干在采样时间段对群养栏的猪只进行红外图像采集和/或摄像得到的群体图像集，作为样本群体图像集，从所述样本群体图像集中分割出每一猪只对应的样本个体图像集；
以所述样本群体图像集作为输入，以分割出的每一猪只对应的样本个体图像集作为输出，通过机器学习进行模型训练得到所述图像分割子模型。


5.根据权利要求2所述的基于图像和音频混合的异常猪只识别装置，其特征在于，所述体征提取子模型的建立过程包括：
获取任一样本猪只的样本个体图像集，所述样本个体图像集包括如下图像中的至少一种：对所述任一样本猪只处于咳嗽状态的第一时间段内连续采集的第一图像子集、对所述任一样本猪只处于打瞌睡状态的第二时间段内连续采集的第二图像子集、对所述任一样本猪只在采样时间段内连续采集的红外图像子集；
以所述样本个体图像集作为输入，以样本体征变化信息作为输出，通过机器学习进行模型训练得到所述体征提取子模型；其中，样本体征变化信息包括如下信息中的至少一种：与所述第一图像子集对应的在所述第一时间段内所述任一样本猪只发生咳嗽的信息、与所述第二图像子集对应的在所述第二时间段内所述任一样本猪只打瞌睡的信息、与所述红外图像子集对应的猪只体温变化信息；
其中，第一时间段内、所述第二时间段为采集样本群体图像集...

【专利技术属性】
技术研发人员：鞠铁柱，陈春雨，张兴福，苍岩，何恒翔，
申请(专利权)人：北京小龙潜行科技有限公司，
类型：发明
国别省市：北京;11