一种基于视觉识别的多种类宠物喂食系统及其喂食方法技术方案

本发明专利技术公开了一种基于视觉识别的多种类宠物喂食系统及其喂食方法，包括：智能投喂和远程在线投喂两种模式：第一种智能投喂模式，由摄像头实时采集场景视频数据并送入神经网络，经视觉识别分辨宠物类型后，依赖于本系统的结构设计，通过PWM控制舵机，完成对不同宠物的分类别投喂，同时还会采集宠物的进食情况，包括了进食量、进食时间、进食过程视频及图片，之后通过HTTP协议将采集到的数据上传云端，并转发至用户手机APP以供查看；第二种在线投喂模式，用户通过手机APP远程查看喂食机实时状态，通过云服务转发控制指令至设备端，控制喂食机对不同宠物投喂。本发明专利技术适用于家庭或宠物店等场景的多类别宠物喂食。店等场景的多类别宠物喂食。店等场景的多类别宠物喂食。

【技术实现步骤摘要】
一种基于视觉识别的多种类宠物喂食系统及其喂食方法


[0001]本专利技术涉及宠物喂食系统
，特别是涉及一种基于视觉识别的多种类宠物喂食系统及其喂食方法。

技术介绍

[0002]市场现行的宠物喂食机器，大致有三种类型。一是采用离线、机械控制方案，只能满足基础的喂食功能，在宠物进食之后自动补充，无法检测宠物进食情况，控制进食量，且无法区分不同的宠物。因为很多人家都既养猫又养狗。二是电控制的喂食机，虽然其可以远程打开喂食器，但是缺乏对设备端情况的了解，可能会错误投喂或者超量投喂，也不能做到多种类宠物分别投喂。三是带了视频模块的喂食机，其功能仅限于监控设备所在场景，人工远程喂食，但是没有考虑离线状态的喂食过程或多种类宠物的喂食。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种基于视觉识别的多种类宠物喂食系统及其喂食方法，通过图像识别和侦测，实现对于多种宠物的区分和自主智能喂食，同时用户可以使用配套开发的手机APP，随时随地控制设备投放宠物粮。系统设计的针对不同宠物的两种喂食模式解决了现行宠物喂食机的使用缺陷。具体功能包括，通过检测网识别分类猫狗两种宠物，发出声音引导吃东西，或在云端控制，结合电机/伺服控制模块，完成对目标宠物的喂食操作。同时在进食过程中采集图片、视频、进食量等信息上传云端以供用户查看，把控宠物的健康情况。
[0004]为了实现上述目的，本专利技术采用如下技术方案：
[0005]一种基于视觉识别的多种类宠物喂食系统，所述喂食系统包括智能喂食装置；所述智能喂食装置包括装置本体、摄像头模块、音频模块、图像检测与分类模块、通信模块以及控制模块；
[0006]所述装置本体包括壳体，以及置于该壳体中的第一储粮机构、第二储梁机构、对应于所述第一储粮机构的第一食槽机构以及对应于所述第二储粮机构的第二食槽机构；
[0007]所述摄像头模块包括摄像头本体以及云台；
[0008]所述音频模块包括音频播放器以及预先录制的第一语音指令和第二语音指令；
[0009]所述图像检测与分类模块包括图像检测模型和图像分类模型；
[0010]其中，所述摄像头模块获取视频序列，并且将该识别序列分解为图像数据传输至图像检测与分类模块中，所述的图像检测模型针对得到的图像数据进行检测，判断图像中是否有目标宠物，再将存在目标宠物的图像输入至图像分类模型中，图像分类模型针对得到的图像中目标宠物的类别进行分类并且计数，其中，该目标宠物包括第一种类和第二种类；
[0011]当某一种类的宠物数量达到预设值时，所述控制模块生成其对应的控制信号，该控制信号通过打开对应的储粮机构，实现加粮并且通过控制所述音频模块播放对应的语音
指令；其中，第一种类宠物，其对应的控制信息对应于第一储粮机构和第一语音指令，第二种类宠物，其对应的控制信息对应于第二储粮机构和第二语音指令。
[0012]进一步的，所述喂食系统还包括与所述智能喂食装置进行通讯连接的远程终端以及云端；
[0013]所述的智能喂食装置还包括储存模块，其中，该储存模块储存所述摄像头模块获取的视频序列，以及具有目标宠物的图像数据；
[0014]当某一种类的宠物数量达到预设值时，所述控制模块生成其对应的控制信号，该控制信号控制所述储存模块将具有该种类的视频序列以及图像数据传输至云端；
[0015]所述的远程终端上配置有APP，用户通过该APP获取云端上储存的视频序列或者图像数据。
[0016]其中，所述远程终端包括智能手机或者平板电脑。
[0017]进一步的，用户基于所述远程终端上配置有的APP，下发控制指令，该控制指令经过所述云端发送至所述智能喂食装置中；
[0018]所述控制模块基于该控制指令执行如下的操作：
[0019]控制摄像头模块实时获取周围视频序列，并将获取到的实时视频序列传输至云端中；或者，
[0020]控制所述第一储粮机构或者第二储梁机构的开与闭，实现其对应食槽机构的加粮；或者，
[0021]控制所述音频模块播放所述第一语音指令或者第二语音指令。
[0022]进一步的，所述两个食槽机构的底部均置有压力传感器，该压力传感器持续获取压力数据并发送至控制模块，当某一时刻的某一食槽机构的压力数据大于预设的值时，控制模块发出控制指令控制其相应的储粮机构关闭。
[0023]进一步的，所述的第一种类宠物为狗，所述的第二种类宠物为猫，相应的，所述第一储粮机构中储存有猫粮，所述第二储粮机构中储存有狗粮；
[0024]所述的第一语音指令为主人呼唤狗的指令，所述第二语音指令为主人呼唤猫的指令。
[0025]进一步的，所述的图像检测模型和所述图像分类模型均采用caffe模型，所述图像检测模型的caffe模型，为针对darknet模型进行训练转化得到；所述的图像分类模型的caffe模型，为针对Pytorch模型进行训练转化得到；
[0026]其中，模型的训练过程在云端进行，训练所用的数据集为网络公开数据集或者基于摄像头模块获取的图像制成的数据集。
[0027]进一步的，所述通信模块包括：配置有的HI3881网卡，用以连接公网，采用HTTP通讯协议进行数据的发送与接收。
[0028]进一步的，所述控制模块包括：硬件控制板以及与之进行通讯连接的摄像头开发板；
[0029]所述摄像头开发板用于根据某一种类的宠物数量达到预设值时，生成其对应的控制信号，并传输至所述硬件控制板；所述硬件控制板根据该控制信号以控制对应的储粮机构。
[0030]一种基于视觉识别的多种类宠物喂食系统的喂食方法，所述方法包括智能投喂方
法，其包括：
[0031]步骤S1、通过所述摄像头模块持续获取实时视频流，并且分解为图像数据传入所述图像检测与分类模块中；
[0032]步骤S2、所述的图像检测模型对传入的图像数据进行判别，若该图像中存在目标宠物，则传入图像分类模型中进行宠物种类分类，若不存在目标宠物，则弃置该图像等待下一帧图片的传入，其中，所述的目标宠物包括：猫和狗；
[0033]步骤S3、当所述图像分类模型接收到具有目标宠物的图像时，对该图像中的目标宠物进行分类，并且对分类结果进行记数；
[0034]步骤S4、当某一种类的宠物数量达到预设值时，所述控制模块生成其对应的控制信号，该控制信号通过打开对应的储粮机构，实现加粮并且通过控制所述音频模块播放对应的语音指令，以及该种类的宠物视频以及图像传入至与该智能喂食装置信息通讯连接的云端；其中，该语音指令为主人呼唤主人的语音指令，第一储粮机构中储存有猫粮，所述第二储粮机构中储存有狗粮。
[0035]进一步的，所述方法还包括远程在线投喂方法，该方法基于与所述智能喂食装置进行通讯连接的远程终端以及云端；所述方法包括：
[0036]步骤S1、用户通过所述远程终端发出观看实时视频的控制指令，该控制指令经过所述云端传递至所述智能喂食装置中，通过调用该装置的摄像头模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉识别的多种类宠物喂食系统，其特征在于，所述喂食系统包括智能喂食装置；所述智能喂食装置包括装置本体、摄像头模块、音频模块、图像检测与分类模块、通信模块以及控制模块；所述装置本体包括壳体，以及置于该壳体中的第一储粮机构、第二储梁机构、对应于所述第一储粮机构的第一食槽机构以及对应于所述第二储粮机构的第二食槽机构；所述摄像头模块包括摄像头本体以及云台；所述音频模块包括音频播放器以及预先录制的第一语音指令和第二语音指令；所述图像检测与分类模块包括图像检测模型和图像分类模型；其中，所述摄像头模块获取视频序列，并且将该识别序列分解为图像数据传输至图像检测与分类模块中，所述的图像检测模型针对得到的图像数据进行检测，判断图像中是否有目标宠物，再将存在目标宠物的图像输入至图像分类模型中，图像分类模型针对得到的图像中目标宠物的类别进行分类并且计数，其中，该目标宠物包括第一种类和第二种类；当某一种类的宠物数量达到预设值时，所述控制模块生成其对应的控制信号，该控制信号通过打开对应的储粮机构，实现加粮并且通过控制所述音频模块播放对应的语音指令；其中，第一种类宠物，其对应的控制信息对应于第一储粮机构和第一语音指令，第二种类宠物，其对应的控制信息对应于第二储粮机构和第二语音指令。2.根据权利要求1所述的一种基于视觉识别的多种类宠物喂食系统，其特征在于，所述喂食系统还包括与所述智能喂食装置进行通讯连接的远程终端以及云端；所述的智能喂食装置还包括储存模块，其中，该储存模块储存所述摄像头模块获取的视频序列，以及具有目标宠物的图像数据；当某一种类的宠物数量达到预设值时，所述控制模块生成其对应的控制信号，该控制信号控制所述储存模块将具有该种类的视频序列以及图像数据传输至云端；所述的远程终端上配置有APP，用户通过该APP获取云端上储存的视频序列或者图像数据；其中，所述远程终端包括智能手机或者平板电脑。3.根据权利要求2所述的一种基于视觉识别的多种类宠物喂食系统，其特征在于，用户基于所述远程终端上配置有的APP，下发控制指令，该控制指令经过所述云端发送至所述智能喂食装置中；所述控制模块基于该控制指令执行如下的操作：控制摄像头模块实时获取周围视频序列，并将获取到的实时视频序列传输至云端中；或者，控制所述第一储粮机构或者第二储梁机构的开与闭，实现其对应食槽机构的加粮；或者，控制所述音频模块播放所述第一语音指令或者第二语音指令。4.根据权利要求3所述的一种基于视觉识别的多种类宠物喂食系统，其特征在于，所述两个食槽机构的底部均置有压力传感器，该压力传感器持续获取压力数据并发送至控制模块，当某一时刻的某一食槽机构的压力数据大于预设的值时，控制模块发出控制指令控制其相应的储粮机构关闭。5.根据权利要求1
‑
4中任一所述的一种基于视觉识别的多种类宠物喂食系统，其特征
在于，所述的第一种类宠物为狗，所述的第二种类宠物为猫，相应的，所述第一储粮机构中储存有猫...

【专利技术属性】
技术研发人员：石宸璞，陈静，
申请(专利权)人：东南大学，
类型：发明
国别省市：