一种吃饭动作的识别方法和装置制造方法及图纸

本发明专利技术实施例提供了一种吃饭动作的识别方法和装置，所述方法包括：对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

An identification method and device for eating action

The embodiment of the invention provides a method and device for identification of a meal motion. The method includes: detecting each video image obtained, determining the detection of a face, obtaining a camera offset angle alpha and / or an upward and down angle beta; the 0 < alpha, beta < 90 degrees; the detected face is selected as a reference. Taking a meal area in each frame of a frame, and regionalization of the area of the eating activity according to the first preset condition and the left and right deviation angle alpha, a plurality of video image regions are obtained; a moving area detection is carried out for the divided video image region corresponding to the hand, and the video image area is obtained. The motion area in the domain is used to detect the skin color of the moving area, and the skin color area in the area is obtained. The detection of the meal movement is determined according to the position parameters of the skin area, the position parameters of the face, the above and down deviation angle beta and the second preset condition.

【技术实现步骤摘要】
一种吃饭动作的识别方法和装置
本专利技术涉及机器视觉
，尤其涉及一种吃饭动作的识别方法和装置。
技术介绍
随着社会老龄化问题的出现，养老问题已逐渐被人们所关注。随着科技的进步，智慧养老等新型养老方式日趋流行，其中，对老人吃饭动作的识别就可以应用到智慧养老的方式中，即：通过对老人吃饭行为数据的采集分析，实现对老人日常行为活动和身体健康的监测。因此，有待提出一种对吃饭动作进行识别的技术方案。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种吃饭动作的识别方法和装置，可识别出吃饭的动作。为达到上述目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种吃饭动作的识别方法，该方法包括：对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。可选的，所述以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，包括：以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。可选的，所述依据第一预设条件和所述左右偏移角度对所述吃饭活动区域进行区域划分，包括：在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。可选的，所述对划分得到的与手部对应的所述视频图像区域进行运动区域检测，包括：对所述第一区域和/或第三区域的视频图像进行运动区域检测。可选的，所述依据肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作，包括：获取所述人脸底部位置的纵坐标y1和所述肤色区域顶部的纵坐标y2，并计算两者的差值△y＝y1-y2；如果在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m，则确定检测到吃饭动作；其中，所述第二预设条件为：在t时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p；所述t＜T；其中，所述h为实际测得的人脸竖直方向上的长度；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。本专利技术实施例还提供了一种吃饭动作的识别装置，该装置包括：人脸检测模块，用于对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；区域划分模块，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；运动检测模块，用于对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；肤色检测模块，用于对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；动作检测模块，用于依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。可选的，所述区域划分模块包括：选取单元，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域；划分单元，用于依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域。可选的，所述选取单元，用于以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。可选的，所述划分单元，用于在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。可选的，所述动作检测模块包括：计算单元，用于获取所述人脸底部位置的纵坐标y1和所述肤色区域顶部的纵坐标y2，并计算两者的差值△y＝y1-y2；确定单元，用于判断在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m时，确定检测到吃饭动作；其中，所述第二预设条件为：在t时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p；所述t＜T；其中，所述h为实际测得的人脸竖直方向上的长度；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。本专利技术实施例提供的吃饭动作的识别方法和装置，对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。本专利技术实施例对获取的视频图像进行区域划分，并进行运动区域检测以及肤色检测等操作，因此肤色检测的成功率高，滤除对肤色检测有干扰的区域，最后可基于得到的肤色区域进行吃饭动作的识别，而且在检测过程中考虑摄像头角度的问题，因此检测结果更准确，该方法可有效应用到智慧养老领域。附图说明图1为本专利技术实施例所述本文档来自技高网...

【技术保护点】
1.一种吃饭动作的识别方法，其特征在于，该方法包括：对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。

【技术特征摘要】
1.一种吃饭动作的识别方法，其特征在于，该方法包括：对获取的每帧视频图像进行检测，确定检测到人脸，并获取摄像头左右偏移角度α和/或上下偏移角度β；所述0＜α、β＜90度；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件和所述左右偏移角度α对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作。2.根据权利要求1所述的方法，其特征在于，所述以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，包括：以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。3.根据权利要求2所述的方法，其特征在于，所述依据第一预设条件和所述左右偏移角度对所述吃饭活动区域进行区域划分，包括：在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W+d1*sinα、W和2W-d1*sinα；其中，所述d1为：俯视待测目标、且摄像头正对人脸时，实际测得的第一中心线与第二中心线在水平面上投影的垂直距离；所述第一中心线为人头部平行于摄像头平面的中心线，所述第二中心线为手部平行于摄像头平面的中心线。4.根据权利要求3所述的方法，其特征在于，所述对划分得到的与手部对应的所述视频图像区域进行运动区域检测，包括：对所述第一区域和/或第三区域的视频图像进行运动区域检测。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述依据肤色区域的位置参数、人脸的位置参数、所述上下偏移角度β以及第二预设条件，确定检测到吃饭动作，包括：获取所述人脸底部位置的纵坐标y1和所述肤色区域顶部的纵坐标y2，并计算两者的差值△y＝y1-y2；如果在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m，则确定检测到吃饭动作；其中，所述第二预设条件为：在t时间内，所述△y满足条件-(h/4+d2*cosβ)＜△y+d2*sinβ＜h*cosβ的概率超过第二阈值p；所述t＜T；其中，所述h为实际测得的人脸竖直方向上的长度；所述d2为：侧视待测目标、且摄像头正对人脸时，实际测得的第三中心线与第四中心线在侧视平面上投影的垂直距离；所述第三中心线为人头部平行于摄像头平面的中心线，所述第四中心线为手部平行于摄像头平面的中心线。...

【专利技术属性】
技术研发人员：彭巍，范晓晖，杨新苗，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团公司，
类型：发明
国别省市：北京,11