一种基于人工智能和BIM的马匹情绪识别方法与系统技术方案

本发明专利技术公开了一种基于人工智能和BIM的马匹情绪识别方法与系统，包括马舍BIM构建单元、图像检测与获取单元、马关键点检测单元、模型优化单元、情绪识别单元和存储单元。利用枪球联动采集马舍中的马首图像，经过关键点检测网络得到马匹关键点热力图，将标注有关键点的标准马首模型透视变换到二维成像平面上与马匹关键点热力图进行拟合配准，最终得到与图像匹配的真实马首三维模型，由此得到马耳在空间的位置信息，将空间中马耳的摆动区域分成三个区间，根据耳尖在空间中的坐标位置，可判断出马耳状态，由此可识别马匹的情绪状态。将马舍的BIM模型通过WebGIS技术进行可视化，养殖人员可以在Web上进行检索、查询和分析，直观了解马匹的情绪状态。

【技术实现步骤摘要】
一种基于人工智能和BIM的马匹情绪识别方法与系统
本专利技术涉及动物情绪识别
，特别是涉及一种基于人工智能和BIM的马匹情绪识别方法与系统。
技术介绍
马耳朵是马表达情绪的一个很重要的身体部位，目前对马匹的情绪判断主要依赖于人工观察，一方面观察人员劳动强度大，且工作环境差，长时间在马舍中观察将严重影响工作人员的健康；另一方面由于仅靠人工观察，因人手紧、成本高以及人的疲劳和认知程度等因素会导致信息不准和疏漏等现象发生。现有技术中，基本都是通过穿戴式传感器来获取动物的特征参数，从而识别其情绪，这种方法复杂且需要一定硬件设备支持，穿戴设备本身也会影响到动物的情绪，会使情绪识别结果不准确。专利文献CN110457999A公开了一种基于深度学习和SVM的动物姿态行为估计与心情识别方法，该方法利用深度学习的猫或狗的姿态估计模型和SVM多分类算法，去识别猫或狗的情绪。但该方法获取姿态的关键点繁多，且局限于识别猫与狗的情绪。
技术实现思路
本专利技术的目的在于提供一种直观且识别率高的马匹情绪识别方法与系统。为实现上述目的，本专利技术所提供的技术方案为：一种基于人工智能和BIM的马匹情绪识别方法，包括：S1：构建马舍BIM，通过WebGIS技术对BIM内部信息可视化；S2：利用枪球联动采集马舍中马首图像，先用枪机采集马舍图像，当目标检测网络检测到有马首存在时调用球机采集马首图像；S3：将球机采集到的马首图像送入马关键点检测网络进行关键点检测，得到马关键点热力图，马关键点包括：马匹嘴巴、耳根和耳尖；S4：对通过建模软件得到的标准马首模型进行透视变换，得到三维模型的二维投影平面图，将二维投影平面图与马关键点热力图进行配准拟合，得到真实马首三维模型以及关键点三维坐标；S5：将真实马首三维模型通过坐标变换转换到马舍BIM中，对马耳空间姿态进行可视化，并根据马耳姿态识别相应的马匹情绪：将空间中的马右耳摆动区域分为前向区间L1、后向区间L2、右向区间L3；马左耳摆动区域分为前向区间L1’、后向区间L2’、左向区间L3’，当左、右马耳耳尖三维坐标分别在L1’、L1区间时，马的两只耳朵朝向前面，判定马很警觉；当左、右马耳耳尖三维坐标分别在L2’、L2区间时，马的两只耳朵朝向后面，几乎平靠着颈部，判定马非常愤怒或烦燥；当左、右马耳耳尖三维坐标在L3’、L3区间时，马的两只耳朵分别偏向两侧，判定马处于平静、轻松的状态；S6：将马耳姿态和情绪结果发送到马舍BIM中，对马匹情绪状态可视化；进一步地，所述步骤S2中采集马舍中马首图像具体方法为：用枪机采集马舍图像，将马舍图像输入到目标检测网络，目标检测编码器对图像进行特征提取，输出为第一特征图；目标检测解码器对第一特征图进行上采样输出马首包围框的宽、高以及中心坐标；当目标检测网络检测到图像中有马首存在时，调用球机对焦马首包围框中心坐标采集马首图像。进一步地，所述步骤S3中马关键点检测方法具体如下：将球机采集到的马首图像输入到马关键点检测网络，马关键点检测编码器对图像进行特征提取，输出为第二特征图；马关键点检测解码器对第二特征图进行上采样输出为马关键点热力图；对马关键点热力图进行后处理，得到马首各个关键点位置，将马首各个关键点顺势连接。进一步地，所述步骤S4中真实马首三维模型建模方法如下：建模软件获得标准马首模型后，标注出马首关键点和根节点，根节点定义为从嘴部关键点向两耳根连线作垂线，垂线与两耳根连线的交点即为根节点，结合球机参数通过透视变换把模型的关键点投影到二维成像平面上；将投影得到的二维图像的根节点与马关键点热力图的根节点对齐，计算马关键点热力图中马头部各个关键点和三维模型的二维投影关键点之间的欧式距离，通过不断调整模型的形状和姿态参数，使得欧氏距离最小，最终得到与图像匹配的真实马首三维模型。一种基于人工智能和BIM的马匹情绪识别系统，其特征在于，该系统包括：设置于马舍顶部用于采集大范围马舍图像的枪机；布设于马舍顶部用于采集马首图像的球机；马舍BIM构建单元，用于构建马舍BIM，通过WebGIS技术对BIM内部信息可视化；图像检测与获取单元，用于利用枪球联动采集马舍中的马首图像，具体地，先用枪机采集马舍图像，当目标检测网络检测到有马首存在时调用球机采集马首图像；马关键点检测单元，用于将马首图像送入马关键点检测网络进行关键点检测，得到马关键点热力图，其中，马关键点包括：马匹嘴巴、耳根和耳尖；模型优化单元，用于对通过建模软件得到的标准马首模型进行透视变换，获取三维模型的二维投影平面图，并将二维投影平面图与马关键点热力图进行配准拟合，得到真实马首三维模型以及马关键点三维坐标；情绪识别单元，用于将真实马首三维模型通过坐标变换转换到马舍BIM中，对马耳空间姿态进行可视化，并根据马耳姿态识别相应的马匹情绪：将空间中的马右耳摆动区域分为前向区间L1、后向区间L2、右向区间L3；马左耳摆动区域分为前向区间L1’、后向区间L2’、左向区间L3’，当左、右马耳耳尖三维坐标分别在L1’、L1区间时，马的两只耳朵朝向前面，判定马很警觉；当左、右马耳耳尖三维坐标分别在L2’、L2区间时，马的两只耳朵朝向后面，几乎平靠着颈部，判定马非常愤怒或烦燥；当左、右马耳耳尖三维坐标在L3’、L3区间时，马的两只耳朵分别偏向两侧，判定马处于平静、轻松的状态；存储单元，用于将马耳姿态和情绪结果存储到马舍BIM中，对马匹情绪状态可视化。本专利技术的优点在于：1.马耳目标较小，通过枪球联动采集马首图像，对马首图像进行分析，提高了马首关键点坐标定位准确度。2.通过后处理坐标分析的方式设定规则对马耳空间姿态进行识别，相比分类神经网络，无需大量样本进行训练，识别更快速。3.通过图像配准可直接得到真实马首三维模型的三维坐标，无需进行复杂的向量、角度计算，能直接判断马耳在空间中的姿态。4.马舍BIM通过WebGIS技术进行可视化并与枪球联动检测结果联系起来，养殖人员能直观及时地了解拍摄区域内马匹的情绪状态，实现更系统、快捷的养殖管理。附图说明图1为本专利技术方法的流程示意图。图2为三维马首关键点与根节点示意图。图3为马右耳空间划分示意图。图4为马左耳空间划分示意图。具体实施方式下面结合附图来对本专利技术进行详细说明：如图1所示，示出了本方法的流程示意图，本方法具体步骤如下：S1：以马舍信息为基础，建立起马舍BIM，模型主要包含获取相机感知信息、相应的地理位置信息以及当前环境的信息。通过WebGIS技术将马舍场景展现在Web中，该Web可展现最新的马舍模型和内部信息。S2：利用枪球联动采集马舍中马首图像，先用枪机采集马舍图像，当目标检测网络检测到有马首存在时调用球机采集马首图像。S3：把球机采集到的马首图像送入马关键点检测网络进行关键点检测本文档来自技高网...

【技术保护点】
1.一种基于人工智能和BIM的马匹情绪识别方法，其特征在于，该方法包括：/nS1：构建马舍BIM，通过WebGIS技术对BIM内部信息可视化；/nS2：利用枪球联动采集马舍中马首图像，先用枪机采集马舍图像，当目标检测网络检测到有马首存在时调用球机采集马首图像；/nS3：将球机采集到的马首图像送入马关键点检测网络进行关键点检测，得到马关键点热力图，马关键点包括：马匹嘴巴、耳根和耳尖；/nS4：对通过建模软件得到的标准马首模型进行透视变换，得到三维模型的二维投影平面图，将二维投影平面图与马关键点热力图进行配准拟合，得到真实马首三维模型以及马关键点三维坐标；/nS5：将真实马首三维模型通过坐标变换转换到马舍BIM中，对马耳空间姿态进行可视化，并根据马耳姿态识别相应的马匹情绪：/n将空间中的马右耳摆动区域分为前向区间L1、后向区间L2、右向区间L3；马左耳摆动区域分为前向区间L1’、后向区间L2’、左向区间L3’，当左、右马耳耳尖三维坐标分别在L1’、L1区间时，马的两只耳朵朝向前面，判定马很警觉；当左、右马耳耳尖三维坐标分别在L2’、L2区间时，马的两只耳朵朝向后面，几乎平靠着颈部，判定马非常愤怒或烦燥；当左、右马耳耳尖三维坐标在L3’、L3区间时，马的两只耳朵分别偏向两侧，判定马处于平静、轻松的状态；/nS6：将马耳姿态和情绪结果存储到马舍BIM中，对马匹情绪状态可视化。/n...

【技术特征摘要】
1.一种基于人工智能和BIM的马匹情绪识别方法，其特征在于，该方法包括：
S1：构建马舍BIM，通过WebGIS技术对BIM内部信息可视化；
S2：利用枪球联动采集马舍中马首图像，先用枪机采集马舍图像，当目标检测网络检测到有马首存在时调用球机采集马首图像；
S3：将球机采集到的马首图像送入马关键点检测网络进行关键点检测，得到马关键点热力图，马关键点包括：马匹嘴巴、耳根和耳尖；
S4：对通过建模软件得到的标准马首模型进行透视变换，得到三维模型的二维投影平面图，将二维投影平面图与马关键点热力图进行配准拟合，得到真实马首三维模型以及马关键点三维坐标；
S5：将真实马首三维模型通过坐标变换转换到马舍BIM中，对马耳空间姿态进行可视化，并根据马耳姿态识别相应的马匹情绪：
将空间中的马右耳摆动区域分为前向区间L1、后向区间L2、右向区间L3；马左耳摆动区域分为前向区间L1’、后向区间L2’、左向区间L3’，当左、右马耳耳尖三维坐标分别在L1’、L1区间时，马的两只耳朵朝向前面，判定马很警觉；当左、右马耳耳尖三维坐标分别在L2’、L2区间时，马的两只耳朵朝向后面，几乎平靠着颈部，判定马非常愤怒或烦燥；当左、右马耳耳尖三维坐标在L3’、L3区间时，马的两只耳朵分别偏向两侧，判定马处于平静、轻松的状态；
S6：将马耳姿态和情绪结果存储到马舍BIM中，对马匹情绪状态可视化。


2.根据权利要求1所述的方法，其特征在于，所述步骤S2中采集马舍中马首图像具体方法如下：
用枪机采集马舍图像，将马舍图像输入到目标检测网络，目标检测编码器对图像进行特征提取，输出为第一特征图；目标检测解码器对第一特征图进行上采样输出马首包围框的宽、高以及中心坐标；当目标检测网络检测到图像中有马首存在时，调用球机对焦马首包围框中心坐标采集马首图像。


3.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：
将球机采集到的马首图像输入到马关键点检测网络，马关键点检测编码器对马首图像进行特征提取，输出为第二特征图；马关键点检测解码器对第二特征图进行上采样输出为马关键点热力图；对马关键点热力图进行后处理，得到马首各个关键点位置，将马首各个关键点顺势连接。


4.根据权利要求1所述的方法，其特征在于，所述步骤S4中真实马首三维模型建模方法具体如下：
建模软件获得标准马首模型后，标注出马首关键点和根节点，根节点定义为从嘴部关键点向两耳根连线作垂线，垂线与两耳根连线的交点即为根节点，结合球机参数通过透视变换把模型的关键点投影到二维成像平面上；将投影得到的二维图像的根节点与马关键点热力图的根节点对齐，计算马关键点热力图中马头部各个关键点和三维模型的二维投影关键点之间的欧式距离，通过不断调整模型的形状和姿态参数，使得欧氏距离最小，最终得到与图像匹配的真实马首三维模型。


5.一种基于人工智能和BIM的马匹情绪识别系统，其特征在于，该系统包括...

【专利技术属性】
技术研发人员：夏永，毛军勇，
申请(专利权)人：夏永，
类型：发明
国别省市：陕西;61