一种吃饭动作的识别方法和装置制造方法及图纸

本发明专利技术实施例提供了一种吃饭动作的识别方法和装置，所述方法包括：对获取的每帧视频图像进行检测，确定检测到人脸；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作。

An identification method and device for eating action

An embodiment of the invention provides a method and device for identifying a meal action, which includes detecting each video image obtained and determining a face, selecting a meal area in each frame of a video image with the detected face as reference, and using the first preset condition for the meal activity. A region is divided into a region, and a plurality of video image regions are obtained; a moving area is detected for the video image region which is divided into the hand section, and the motion area in the video image region is obtained; the skin color detection is carried out for the moving area, and the skin color area in the moving area is obtained; according to the mentioned above, the area of the color of the moving area is obtained. The location parameters, location parameters and second preset conditions of the skin area are determined to detect the eating action.

【技术实现步骤摘要】
一种吃饭动作的识别方法和装置
本专利技术涉及机器视觉
，尤其涉及一种吃饭动作的识别方法和装置。
技术介绍
随着社会老龄化问题的出现，养老问题已逐渐被人们所关注。随着科技的进步，智慧养老等新型养老方式日趋流行，其中，对老人吃饭动作的识别就可以应用到智慧养老的方式中，即：通过对老人吃饭行为数据的采集分析，实现对老人日常行为活动和身体健康的监测。因此，有待提出一种对吃饭动作进行识别的技术方案。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种吃饭动作的识别方法和装置，可识别出吃饭的动作。为达到上述目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种吃饭动作的识别方法，该方法包括：对获取的每帧视频图像进行检测，确定检测到人脸；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作。上述方案中，所述以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，包括：以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。上述方案中，所述依据第一预设条件对所述吃饭活动区域进行区域划分，包括：在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W、W和2W。上述方案中，所述对划分得到的与手部对应的所述视频图像区域进行运动区域检测，包括：对所述第一区域和/或第三区域的视频图像进行运动区域检测。上述方案中，所述依据肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作，包括：获取所述人脸底部位置的纵坐标y1和所述肤色区域顶部的纵坐标y2，并计算两者的差值△y＝y1-y2；如果在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m，则确定检测到吃饭动作；其中，所述第二预设条件为：在t时间内，所述△y满足条件-H/4＜△y＜H的概率超过第二阈值p；所述t＜T。本专利技术实施例还提供了一种吃饭动作的识别装置，该装置包括：人脸检测模块，用于对获取的每帧视频图像进行检测，确定检测到人脸；区域划分模块，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件对所述吃饭活动区域进行区域划分，得到多个视频图像区域；运动检测模块，用于对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；肤色检测模块，用于对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；动作检测模块，用于依据所述肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作。上述方案中，所述区域划分模块包括：选取单元，用于以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域；划分单元，用于依据第一预设条件对所述吃饭活动区域进行区域划分，得到多个视频图像区域。上述方案中，所述选取单元，用于以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。上述方案中，所述划分单元，用于在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W、W和2W。上述方案中，所述动作检测模块包括：计算单元，用于获取所述人脸底部位置的纵坐标y1和所述肤色区域顶部的纵坐标y2，并计算两者的差值△y＝y1-y2；确定单元，用于判断在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m时，确定检测到吃饭动作；其中，所述第二预设条件为：在t时间内，所述△y满足条件-H/4＜△y＜H的概率超过第二阈值p；所述t＜T。本专利技术实施例提供的吃饭动作的识别方法和装置，对获取的每帧视频图像进行检测，确定检测到人脸；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作。本专利技术实施例对获取的视频图像进行区域划分，并进行运动区域检测以及肤色检测等操作，因此肤色检测的成功率高，滤除对肤色检测有干扰的区域，最后可基于得到的肤色区域进行吃饭动作的识别，该方法可有效应用到智慧养老领域。附图说明图1为本专利技术实施例所述吃饭动作的识别方法流程示意图一；图2为本专利技术实施例所述吃饭动作的识别装置结构示意图；图3为本专利技术实施例所述区域划分模块的结构示意图；图4为本专利技术实施例所述动作检测模块的结构示意图；图5为本专利技术实施例所述吃饭动作的识别方法流程示意图二；图6为本专利技术实施例对检测到人脸的图像进行区域划分的示意图；图7为本专利技术实施例所述测得的肤色区域示意图；图8为本专利技术实施例应用过程中测试样本的示意图。具体实施方式下面结合附图和实施例对本专利技术进行描述。图1为本专利技术实施例所述吃饭动作的识别方法流程示意图一，如图1所示，该方法包括：步骤101：对获取的每帧视频图像进行检测，确定检测到人脸；步骤102：以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件对所述吃饭活动区域进行区域划分，得到多个视频图像区域；步骤103：对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；步骤104：对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；步骤105：依据所述肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作。本专利技术实施例对获取的视频图像进行区域划分，并进行运动区域检测以及肤色检测等操作，因此肤色检测的成功率高，滤除对肤色检测有干扰的区域，最后可基于得到的肤色区域进行吃饭动作的识别，该方法可有效应用到智慧养老领域。这里，所述对人脸的检测可通过Haar特征的Adaboost算法来实现。当然，对于本领域技术人员来说所述人脸检测方法不限于该一种方法；所述运动区域检测可采用但不限于ViBe+算法；所述肤色检测可采用但不仅限于YCbCr椭圆模型的肤色检测算法，上述算法均为现有技术，此处不再详细描述。本专利技术在实际本文档来自技高网...

【技术保护点】
1.一种吃饭动作的识别方法，其特征在于，该方法包括：对获取的每帧视频图像进行检测，确定检测到人脸；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作。

【技术特征摘要】
1.一种吃饭动作的识别方法，其特征在于，该方法包括：对获取的每帧视频图像进行检测，确定检测到人脸；以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，并依据第一预设条件对所述吃饭活动区域进行区域划分，得到多个视频图像区域；对划分得到的与手部对应的所述视频图像区域进行运动区域检测，得到所述视频图像区域中的运动区域；对所述运动区域进行肤色检测，得到所述运动区域中的肤色区域；依据所述肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作。2.根据权利要求1所述的方法，其特征在于，所述以所述检测到的人脸为参照选取每帧视频图像中的吃饭活动区域，包括：以所述检测到的人脸为参照，在竖直方向上，所述吃饭活动区域的顶部位于所述人脸的顶部；在水平方向上，所述人脸位于所述吃饭活动区域的中间位置；所述吃饭活动区域为矩形，所述矩形的高为3H，宽为5W，所述H为所述视频图像中人脸的高度，所述W为所述视频图像中人脸的宽度。3.根据权利要求2所述的方法，其特征在于，所述依据第一预设条件对所述吃饭活动区域进行区域划分，包括：在水平方向上从左到右将所述吃饭活动区域划分成三个区域，中间的第二区域为所述人脸所在的区域，第二区域的左侧为第一区域，第二区域的右侧为第三区域；所述第一区域、第二区域和第三区域的高均为3H，所述第一区域、第二区域和第三区域的宽分别为2W、W和2W。4.根据权利要求3所述的方法，其特征在于，所述对划分得到的与手部对应的所述视频图像区域进行运动区域检测，包括：对所述第一区域和/或第三区域的视频图像进行运动区域检测。5.根据权利要求2-4中任一项所述的方法，其特征在于，所述依据肤色区域的位置参数、人脸的位置参数以及第二预设条件，确定检测到吃饭动作，包括：获取所述人脸底部位置的纵坐标y1和所述肤色区域顶部的纵坐标y2，并计算两者的差值△y＝y1-y2；如果在T时间内，所述△y满足所述第二预设条件的次数大于第一阈值m，则确定检测到吃饭动作；其中，所述第二预设条件为：在t时间内，所述△y满足条件-H/4＜△y＜H的概率超过第二阈值p；所述t＜T。6.一...

【专利技术属性】
技术研发人员：彭巍，范晓晖，杨新苗，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团公司，
类型：发明
国别省市：北京,11