一种宠物行为检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种宠物行为检测方法、装置、电子设备及存储介质，确定每张第一图像的宠物子图像的位置信息以及每张宠物子图像中宠物的姿态信息，以及每张第一图像的采集时间生成三维地图，然后基于三维地图进行聚类，包含数据点最多的类簇即为宠物经常活动的区域对应的类簇，因此将包含数据点最多的类簇对应的区域作为目标活动区域，在目标活动区域内根据每种姿态信息的数据点的数量，确定目标姿态信息。本发明专利技术实施例提供的方案能够检测出宠物经常活动的区域以及常用的姿态，便于用户根据确定出的目标活动区域以及目标姿态信息了解宠物的行为习惯，以便对宠物能够有更好的照顾。

【技术实现步骤摘要】
一种宠物行为检测方法、装置、电子设备及存储介质
本专利技术涉及目标检测
，尤其涉及一种宠物行为检测方法、装置、电子设备及存储介质。
技术介绍
随着经济水平的提升，养宠物的家庭比例也在不断提高。但是在繁忙的工作中很多养宠一族并没有足够的时间去陪伴家中宠物，于是他们中的不少人选择了购买家用摄像头实时监控宠物状态。但是通过安装家用摄像头也只能是能够随时观察到宠物，但是没有对宠物的行为进行检测，无法帮助用户了解宠物的行为习惯。宠物仍然没有得到很好的照顾。因此，需要一种宠物行为检测方案，以便用户了解宠物的行为习惯，进而根据宠物的行为习惯为宠物布置一些玩具或设施等，使宠物得到更好的照顾。
技术实现思路
本专利技术实施例提供了一种宠物行为检测方法、装置、电子设备及存储介质，以便用户了解宠物的行为习惯，对宠物能够有更好的照顾。本专利技术实施例提供了一种宠物行为检测方法，所述方法包括：以预设的帧率从监控视频中获取每张第一图像；确定所述每张第一图像中的宠物子图像的位置信息以及每张宠物子图像中宠物的姿态信息；本文档来自技高网...

【技术保护点】
1.一种宠物行为检测方法，其特征在于，所述方法包括：/n以预设的帧率从监控视频中获取每张第一图像；/n确定所述每张第一图像中的宠物子图像的位置信息以及每张宠物子图像中宠物的姿态信息；/n根据所述每张第一图像的采集时间、所述每张第一图像中的宠物子图像的位置信息以及每张宠物子图像中宠物的姿态信息生成三维地图；/n针对每个检测时刻，对所述三维地图中从预设的起始时刻至该检测时刻的数据点进行聚类处理，将包含数据点最多的类簇对应的区域作为目标活动区域，根据目标活动区域内每种姿态信息的数据点的数量，确定目标姿态信息。/n

【技术特征摘要】
1.一种宠物行为检测方法，其特征在于，所述方法包括：
以预设的帧率从监控视频中获取每张第一图像；
确定所述每张第一图像中的宠物子图像的位置信息以及每张宠物子图像中宠物的姿态信息；
根据所述每张第一图像的采集时间、所述每张第一图像中的宠物子图像的位置信息以及每张宠物子图像中宠物的姿态信息生成三维地图；
针对每个检测时刻，对所述三维地图中从预设的起始时刻至该检测时刻的数据点进行聚类处理，将包含数据点最多的类簇对应的区域作为目标活动区域，根据目标活动区域内每种姿态信息的数据点的数量，确定目标姿态信息。


2.如权利要求1所述的方法，其特征在于，所述确定所述每张第一图像中的宠物子图像的位置信息包括：
将所述每张第一图像输入预先训练完成的目标检测模型，基于所述目标检测模型确定所述每张第一图像中的宠物子图像的位置信息。


3.如权利要求1所述的方法，其特征在于，确定每张宠物子图像中宠物的姿态信息包括：
将所述每张宠物子图像输入预先训练完成的姿态检测模型，基于所述姿态检测模型确定所述每张宠物子图像中宠物的姿态信息。


4.如权利要求2所述的方法，其特征在于，当所述每张第一图像中包含的宠物数量为至少两个时，所述基于所述目标检测模型确定所述每张第一图像中的宠物子图像的位置信息包括：
基于所述目标检测模型确定所述每张第一图像中每个宠物的标识信息以及每个宠物子图像的位置信息。


5.如权利要求4所述的方法，其特征在于，所述基于所述目标检测模型确定所述每张第一图像中每个宠物的标识信息以及每个宠物子图像的位置信息之后，根据所述每张第一图像的采集时间、所述每张第一图像中的宠物子图像的位置信息以及每张宠物子图像中宠物的姿态信息生成三维地图之前，所述方法还包括：
针对所述每张第一图像，采用非极大值抑制算法对相同标识信息的宠物子图像的位置信息进行融合处理。


6.如权利要求1所述的方法，其特征在于，当所述每张第一图像中包含的宠物数量为至少两个时，所述根据所述每张第一图像的采集时间、所述每张第一图像中的宠物子图像的位置信息以及每张宠物子图像中宠物的姿态信息生成三维地图包括：
针对每个宠物，根据每张第一图像的采集时间、所述每张第一图像中的该宠物的宠物子图像的位置信息以及每张宠物子图像中该宠物的姿态信息生成该宠物的三维地图。


7.如权利要求1所述的方法，其特征在于，针对每个检测时刻，对所述三维地图中从预设的起始时刻至该检测时刻的数据点进行聚类处理包括：
每次新增一个数据点，将该数据点作为新聚类簇的第一聚类中心；
确定所述第一聚类中心与其它第二聚类中心最小的欧氏距离，判断该最小的欧氏距离是否小于预设的距离阈值，如果是，将该第一聚类中心与最小的欧氏距离对应的类簇进行合并，判断合并后的类簇的簇内协方差矩阵的迹是否小于预设的阈值，如果是，确定将该第一聚类中心与最小的欧氏距离对应的类簇聚为一类；
如果上述两个判断结果不能同时满足，确定所述第一聚类中心为一个新的类簇的聚类中心。


8.如权利要求7所述的方法，其特征在于，确定将该第一聚类中心与最小的欧氏距离对应的类簇聚为一类之后，所述方法还包括：
根据所述第一聚类中心出现前的类间离差矩阵的迹、类内离差矩阵的迹、数据点的数量和聚类中心的数量确定第一评价指标；
根据所述第一聚类中心出现后的类间离差矩阵的迹、类内离差矩阵的迹、数据点的数量和聚类中心的数量确定第二评价指标；
判断所述第二评价指标是否小于所述第一评价指标，如果否，保持将该第一聚类中心与最小的欧氏距离对应的类簇聚为一类，如果是，将该第一聚类中心从最小的欧氏距离对应的类簇中分离，确定所述第一聚类中心为一个新的类簇的聚类中心。


9.如权利要求8所述的方法，其特征在于，根据类间离差矩阵的迹、类内离差矩阵的迹、数据点的数量和聚类中心的数量确定评价指标包括：
根据第一公式确定评价指标；
式中，CH为评价指标，tr(Bk)为类间离差矩阵的迹，tr(Wk)为类内离差矩阵的迹，m为数据点的数量，k为聚类中心的数量。


10.如权利要求1所述的方法，其特征在于，所述将包含数据点最多的类簇对应的区域作为目标活动区域包括：
确定包含数据点最多的类簇对应的区域的最小外接矩形，将所述最小外接矩形对应的区域作为目标活动区域。


11.如权利要求1所述的方法，其特征在于，所述根据目标活动区域内每种姿态信息的数据点的数量，确定目标姿态信息包括：
根据第二公式计算每个姿态信息的得分，将分数最高的姿态信息确定为目标姿态信息；
式中，I为判断函数，当计算k姿态的得分时，K姿态的数据点的I值等于1，其它姿态的数据点的I值等于0，d为数据点与所述目标活动区域的聚类中心的欧式距离，λ为预设的常数。


12.如权利要求4所述的方法，其特征在于，所述目标检测模型的训练过程包括：
针对第一样本集中的每张第二图像，将该第二图像和该第二图像对应的第一标注图像输入所述目标检测模型，对所述目标检测模型进行训练；其中，该第一标注图像中标注有该第二图像中每个宠物的标识信息以及每个宠物子图像的位置信息。


13.如权利要求3所述的方法，其特征在于，所述姿态检测模型的训练过程包括：
针对第二样本集中的每张宠物样本图像，将该宠物样本图像和该宠物样本图...

【专利技术属性】
技术研发人员：唐圣，傅凯，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33