一种基于姿态估计的羊群内部打斗行为检测方法技术

本发明专利技术提供了一种基于姿态估计的羊群内部打斗行为检测方法，该方法包括：输入图像经过姿态估计网络得到羊的骨架模型；将羊的骨架模型送入姿势识别网络，判断羊的姿势是否为攻击姿势；与此同时，将羊的骨架模型投影到预先搭建好的羊舍BIM地面上，根据BIM中关键点坐标的变化得到羊的信息；根据羊的姿势和羊的信息判断是否存在攻击羊和被攻击羊，若攻击羊和被攻击羊同时存在，则判断发生打斗行为。采用该方法检测攻击者和被攻击者之间是否存在交互行为来判断是否发生打斗，得到的检测结果更准确，且误判几率很小。

【技术实现步骤摘要】
一种基于姿态估计的羊群内部打斗行为检测方法
本专利技术属于人工智能、畜牧领域，尤其涉及一种基于姿态估计的羊群内部打斗行为检测方法。
技术介绍
目前羊群的行为通常采用人工观察和手工记录，利用人工观察和手工记录，一方面观察人员劳动强度大，且工作环境差，长时间在羊舍中观察将严重影响工作人员的健康；另一方面由于仅靠人工观察，因人手紧、成本高以及人的疲劳和认知程度等因素会导致信息不准和疏漏等现象发生。
技术实现思路
针对上述问题，本专利技术提出了一种基于姿态估计的羊群内部打斗行为检测方法，该方法包括：步骤一，输入图像经过姿态估计网络得到羊的骨架模型；步骤二，将羊的骨架模型送入姿势识别网络，判断羊的姿势是否为攻击姿势；与此同时，将羊的骨架模型投影到预先搭建好的羊舍BIM地面上，根据BIM中关键点坐标的变化得到羊的信息，羊的信息包括羊的移动速度、移动方向和头颈部角速度；其中，关键点包括头部中心点、颈部中心点、尾部中心点；步骤三，根据羊的姿势和羊的信息判断是否存在攻击羊和被攻击羊，若攻击羊和被攻击羊同时存在，则判断发生打斗行为。姿势识别网络包括姿势识别编码器和全连接层，该网络的训练过程为：以不同姿势的羊的骨架模型为训练数据，标签为攻击、非攻击两类；编码器对训练数据进行下采样提取特征，经过特征展平后送入全连接层对羊的骨架模型进行分类；采用交叉熵损失函数进行训练。羊的信息的具体获得方法为：根据相邻两帧中同一关键点坐标的变化及两帧之间的间隔时间获得羊的移动速度；根据上述相邻两帧中的颈部中心点坐标的变化得到羊的移动方向；在同一帧中连接头部中心点和颈部中心点得到第一直线，连接颈部中心点和尾部中心点得到第二直线，计算该帧中第一直线与第二直线之间的夹角，按照所述计算夹角的方法对上述相邻两帧进行处理，得到两个夹角，根据两个夹角的变化以及所述间隔时间获得羊的头颈部角速度。攻击羊和被攻击羊的判断过程具体为：攻击羊的判断过程：判断羊的骨架模型是否为攻击姿势，若是，将该帧作为攻击帧，在攻击帧之前选择a帧，对a帧中每相邻两帧进行计算得到a-1个羊的头颈部角速度，并将a-1个头颈部角速度与阈值p进行比较；在攻击帧之前选择b帧，对b帧中每相邻两帧进行计算得到b-1个移动速度，并将b-1个羊的移动速度与阈值q进行比较；若存在至少一个头颈部角速度大于p且至少一个移动速度大于q，判断羊为攻击羊，攻击帧时刻为t1；被攻击羊的判断过程：判断出攻击羊后按照所述步骤得到攻击羊的移动方向，计算在攻击羊移动方向上的羊与攻击羊之间的距离，将距离小于一定值的羊归于被攻击羊集合中，若在(t1,t1+t2)时间段内所述集合中有羊在攻击羊的移动方向上发生移动，或在(t1,t1+t2+t3)时间段内所述集合中有羊的移动速度和头颈部角速度发生突变，则集合中存在攻击羊，在攻击羊的移动方向上发生移动的羊与移动速度和头颈部角速度发生突变的羊为被攻击羊；其中，t2、t3为大于0的时间常数。本专利技术的有益效果在于：1.现有对打斗行为的检测只是检测单个目标的攻击姿态，从而判断打斗行为，很容易造成误判断，本专利技术则是同时找出攻击者和被攻击者，判断攻击者和被攻击者之间是否存在交互行为来判断是否发生打斗，得到的检测结果更准确，且误判几率很小。2.本专利技术中羊的姿态估计采用自底而上的方法，还方法可以应用于场景复杂的情况，计算量少，丢失目标信息的概率较小，姿态估计的结果也更精准。3.该方法结合WebGIS和BIM技术，使监管人员在Web端更加直观的了解羊群中是否进行打斗的情况，便于羊养殖的自动化和智能化。附图说明图1为本专利技术流程图。具体实施方式为了让本领域技术人员更好的理解本专利技术，下面结合实施例和附图对本专利技术展开描述，参见图1。实施例：本专利技术的主要目的为了实时检测羊群内部的打斗行为，其流程图如图1所示，为防止误判，采用轨迹辅助的方式来实现准确判断；同时使用BIM和WebGIS技术实现可视化，便于羊养殖的自动化和智能化。羊的姿态估计：羊舍中摄像头拍到的图像中，羊可能以任何可能的姿态出现；其次，羊与羊之间有复杂的相互关系，比如接触、遮挡、关节连接等，导致关节之间的关系难以建立，一般方法的运行速度和图像中的目标个数有很大的关系，难以做到实时。进行多目标姿态估计的方法常用的有两种，分别为自上而下Top-down方法、自底而上Bottom-up方法。Top-down方法的过程为：先使用检测器检测出目标，再对每个检测目标使用单体姿态估计。该方法的不足为：top-down方法借助已有的方法来实现单个物体的姿态估计，但是对前期的检测准确度依赖很大，如果一个检测器没有检测出目标，或者目标距离很近，则最终结果会丢失目标信息；且这种方法的运行时间和图像内的目标个数呈正比，现实场景情况复杂，计算量也会很大。实施例采用Bottom-up的方法即先检测目标的所有关键点，然后再连接这些关键点得到单个目标的姿态骨架。对羊的检测采用关键点形式的优点在于：相对于利用全连接层FC获得包围框坐标的方式，使用解码器获得关键点热斑的方式，其计算量更少，且标注训练成本低，更易实现；关键点的关系变换可以明显的呈现羊的姿态变换，从而判别羊的姿态。为了快速的把每只羊的关键点连到一起，构成羊的姿态骨架，本专利技术采用亲和关系场的方式，来快速实现关键点的连接。亲和关系场，PartAffinityFields，即PAFs，用一系列的2D向量场对图像域中的肢体的位置和方向进行编码。即属于一个躯干上的每一个像素都对应一个2D向量，这个向量表示躯干上一个关键点到另一个关键点的方向。通过non-maximumsuppression非最大抑制的方法定位候选部件,对亲和关系场首先通过积分的方式(简单的线性积分,因为PAFs是一个矢量谱)获得各个相邻部件之间的连接权重值,然后应用条件约束的匹配算法,即根据没有两个边共享节点的条件通过最大权重匹配获得最终的部件关系，以此得到每一只羊的关键点组合。姿态估计网络的具体训练过程为：以羊舍摄像头采集到的真实的图像构建训练数据集，数据集中要包括羊的各种行为，以便训练好的网络具有更好的泛化能力和鲁棒性。标签分为两部分：关键点和亲和关系场；羊的关键点包括头部中心点、颈部中心点、尾部中心点三类，每类关键点对应一个单通道，在通道中标记关键点像素位置后采用高斯模糊，使标记点处形成关键点热斑；实施例使用了三类关键点，所以标签图像包含三个通道；亲和关系场的标签为一个通道表示两个关键点间的矢量朝向。采用均方差损失函数进行训练。至此，得到羊的骨架模型。构建羊舍的BIM，该BIM模型中包括相机感知信息、相应的地理位置信息以及当前环境的信息等。羊的攻击姿态为低头提角的姿势，即羊在攻击目标时会低下头部，让羊角朝向攻击目标。羊的进食等行为姿态与攻击姿态相似，为避免误识别，通过姿态估计网络得本文档来自技高网...

【技术保护点】
1.一种基于姿态估计的羊群内部打斗行为检测方法，其特征在于，该方法包括：/n步骤一，输入图像经过姿态估计网络得到羊的骨架模型；/n步骤二，将羊的骨架模型送入姿势识别网络，判断羊的姿势是否为攻击姿势；与此同时，将羊的骨架模型投影到预先搭建好的羊舍BIM地面上，根据BIM中关键点坐标的变化得到羊的信息，羊的信息包括羊的移动速度、移动方向和头颈部角速度；其中，关键点包括头部中心点、颈部中心点、尾部中心点；/n步骤三，根据羊的姿势和羊的信息判断是否存在攻击羊和被攻击羊，若攻击羊和被攻击羊同时存在，则判断发生打斗行为。/n

【技术特征摘要】
1.一种基于姿态估计的羊群内部打斗行为检测方法，其特征在于，该方法包括：
步骤一，输入图像经过姿态估计网络得到羊的骨架模型；
步骤二，将羊的骨架模型送入姿势识别网络，判断羊的姿势是否为攻击姿势；与此同时，将羊的骨架模型投影到预先搭建好的羊舍BIM地面上，根据BIM中关键点坐标的变化得到羊的信息，羊的信息包括羊的移动速度、移动方向和头颈部角速度；其中，关键点包括头部中心点、颈部中心点、尾部中心点；
步骤三，根据羊的姿势和羊的信息判断是否存在攻击羊和被攻击羊，若攻击羊和被攻击羊同时存在，则判断发生打斗行为。


2.如权利要求1所述的方法，其特征在于，姿势识别网络包括姿势识别编码器和全连接层，该网络的训练过程为：以不同姿势的羊的骨架模型为训练数据，标签为攻击、非攻击两类；编码器对训练数据进行下采样提取特征，经过特征展平后送入全连接层对羊的骨架模型进行分类；采用交叉熵损失函数进行训练。


3.如权利要求1所述的方法，其特征在于，羊的信息的具体获得方法为：
根据相邻两帧中同一关键点坐标的变化及两帧之间的间隔时间获得羊的移动速度；
根据上述相邻两帧中的颈部中心点坐标的变化得到羊的移动方向；
在同一帧中连接头部中心点和颈部中心点得到第一直线，连接颈部中心点和尾部...

【专利技术属性】
技术研发人员：夏永，毛军勇，
申请(专利权)人：夏永，
类型：发明
国别省市：陕西;61