利用手势识别控制数字标牌的方法和系统技术方案

本发明专利技术涉及一种利用手势识别控制数字标牌的方法和系统，可以通过对用户手势进行识别来实现鼠标点击操作，其步骤为：将需要点击的信息显示在屏幕上方位置；持续采集用户图像，对采集到的每一帧用户图像都进行处理，得到人手二值图像和对应的外接矩形图像；选取外接矩形的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为系统的鼠标所在位置并显示出来；当所述鼠标移动到上方可点击的信息处，并停留预定时间后，进行点击操作。

【技术实现步骤摘要】

本专利技术涉及人机视觉互动领域，尤其是指一种利用手势识别控制数字标牌进行鼠标点击操作的方法和系统。
技术介绍
当前主流公告广告展示形式主要有两种非互动数字标牌和利用触摸屏的互动数字标牌。非互动数字标牌主要采用定时切换公告广告的方式，用户在某一时刻停留在所述数字标牌前，只能被动接受此时标牌上显示的信息，而无法看到其他的信息，用户如果不感兴趣，就可能立刻走开；即使用户正好看到自己感兴趣的信息，也无法重复仔细观看。这种方式用户的方便性较差，展示效果不好。 利用触摸屏的互动数字标牌，可以应用户的请求而选择特定的信息，在短时间内就可以让用户找到感兴趣的信息，也可以让用户重复仔细观看，用户方便性高，展示效果好。但是采用触摸屏会导致成本较高，特别是公告广告往往需要较大的屏幕，而触摸屏的价格是随着展示屏幕的尺寸呈指数性增长的。为了解决这一问题，本专利技术提供了一种利用手势识别控制数字标牌进行鼠标点击操作的方法和系统。
技术实现思路
本专利技术利用手势识别控制数字标牌的方法，包括以下步骤步骤I :将需要点击的信息显示在显示区域上方位置；步骤2 :持续采集用户图像，从每一帧用户图像中提取出肤色二值图像，对其中的各个肤色区域按照所占用户图像的比例的大小进行筛选，得到人手二值图像；其中，从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像，对所述HSV图像分别按照预先设定好的H、S、V分量的阈值范围进行调节，得到三个分量二值图像，对三个分量图像进行相交运算，最终得到肤色二值图像；所述H分量阈值范围为 U [O. 609，I. 000]，所述S分量阈值范围为[O. 156 O. 664]，所述V分量阈值范围为[O. 117，O. 742]。由于需要点击的信息位于显示屏上方位置，用户在点击过程中人手区域与人脸等区域没有重叠，所以所述肤色二值图像中包含独立完整的人手肤色区域和其他肤色区域，对每个肤色区域按照所占用户图像的比例的大小进行筛选，即计算每个肤色区域与所述用户图像的面积比，保留面积比在阈值范围C内的肤色区域，将其余的肤色区域赋值为“0”，以去除其他肤色区域，得到人手二值图像。其中，阈值C是预先设定并且可以调节的，本实施例中，阈值范围C为[O. 030，O. 150]。优选的，采集到所述用户图像后，在进行步骤2以前，先对所述用户图像进行简单平滑处理，利用均值漂移分割方法将其分割为边界较明显的几个区域，这样能达到减小图像，降低运算复杂度，提高时效性的目的。步骤3 :对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像；步骤4:选取所述外接矩形图像的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置并显示出鼠标。具体为，将所述用户图像上的像素点与显示屏上的像素点按比例进行映射，将手掌点映射到的像素点的位置作为鼠标的位置，并将鼠标显示出来。优选的，可选取外接矩形的左上角长宽各1/5处的像素点作为手掌点。步骤5 :当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，触发点击操作。对应的，本专利技术利用手势识别控制数字标牌的系统，包括以下部分摄像头和显示屏，摄像头用于采集用户图像；图像处理单元，用于接收所述用户图像，并按照以上方法对其进行处理，得到外接矩形图像；鼠标映射单元，用于接收所述外接矩形图像，选取所述外接矩形的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置，并在显示屏上将鼠标显示出来；点击控制单元，用于接收所述鼠标的位置信息，当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，发送点击命令给显示信息控制单元；显示信息控制单元,将需要点击的信息显示在显示屏的上方位置,接收所述点击命令并完成相应的点击操作。 附图说明图I为本专利技术利用视觉手势识别控制数字标牌的方法流程2为本专利技术利用视觉手势识别控制数字标牌的系统示意3为本专利技术利用视觉手势识别控制数字标牌的工作方式示意图具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。如图I所示，本专利技术实施例利用手势识别控制数字标牌的方法，其主要包括以下步骤步骤I :将需要点击的信息显示在显示区域的上方位置；步骤2 :持续采集用户图像，从每一帧用户图像中提取出肤色二值图像，对其中的各个肤色区域按照所占用户图像的比例的大小进行筛选，得到人手二值图像，具体为从所述用户图像中提取肤色二值图像，是将所述人手二值图像转换为HSV图像(HSV图像具有H (色调)、S (饱和度)、V (亮度)三个分量，每一个分量的数值都在(Tl之间)，对每个HSV图像分别按照预先设定好的H、S、V分量的阈值范围进行调节，将在阈值范围内的像素点赋值为“ I ”，在阈值范围外的像素点赋值为“O”，得到三个分量各自的二值图像；最后对三个分量的二值图像进行相交运算，最终得到肤色二值图像。其中，三个分量的阈值范围是预先设定并且可以调节的，所述H分量，最佳的阈值范围为 U [O. 609,1.000];所述S分量，最佳的阈值范围为[O. 156、. 664];所述V分量，最佳的阈值范围为[O. 117,0. 742]。由于需要点击的信息位于显示屏上方位置，用户在点击过程中人手区域与人脸等区域没有重叠，所以所述肤色二值图像中包含独立完整的人手肤色区域和其他肤色区域，对每个肤色区域按照所占用户图像的比例的大小进行筛选，即计算每个肤色区域与所述用户图像的面积比，保留面积比在阈值范围C内的肤色区域，将其余的肤色区域赋值为“0”，以去除其他肤色区域，保留人手肤色区域，得到人手二值图像。其中，阈值C是预先设定并且可以调节的，本实施例中，阈值范围C为[O. 030,0. 150]。优选的，采集到所述用户图像后，在进行步骤2以前，先对所述用户图像进行简单 平滑处理，利用均值漂移分割方法将其分割为几个边界较明显的区域，这样能达到减小图像，降低运算复杂度，提高时效性的目的。步骤3 :对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像；步骤4:选取所述外接矩形图像的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置并显示出鼠标。具体为，将所述用户图像上的像素点与显示屏上的像素点按比例进行映射，将手掌点映射到的像素点的位置作为鼠标的位置，并将鼠标显示出来。其中，所述任意固定一点的像素点，指的是在所述外接矩形图像上相对位置固定的某一像素点，例如每次都选取外接矩形最上面正中间的像素点作为手掌点，或者每次都选取所述外接矩形最左上角的像素点作为手掌点。优选的，由于大多数用户习惯使用右手，当用户使用右手与系统进行交互时，手肘的位置总是相对手掌靠右，同时，手掌位置总是处于手肘位置上方，所以可以选取所述外接矩形的左上角长宽各1/5处的像素点作为手掌点，这样能使鼠标对用户手势的跟随性更好，用户的体验性会更好。本文档来自技高网...

【技术保护点】
一种利用手势识别控制数字标牌的方法，其特征在于包括以下步骤：步骤1：将需要点击的信息显示在显示区域的上方位置；步骤2：持续采集用户图像，从每一帧用户图像中提取出肤色二值图像，对其中的各个肤色区域按照所占用户图像的比例的大小进行筛选，得到人手二值图像；步骤3：对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像；步骤4：选取所述外接矩形图像的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置并显示出鼠标；步骤5：当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，触发点击操作。

【技术特征摘要】
1.一种利用手势识别控制数字标牌的方法，其特征在于包括以下步骤 步骤I:将需要点击的信息显示在显示区域的上方位置； 步骤2 :持续采集用户图像，从每一帧用户图像中提取出肤色二值图像，对其中的各个肤色区域按照所占用户图像的比例的大小进行筛选，得到人手二值图像； 步骤3 :对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像； 步骤4:选取所述外接矩形图像的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置并显示出鼠标； 步骤5 :当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，触发点击操作。2.根据权利要求I所述的利用手势识别控制数字标牌的方法，其特征在于从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像后分别按照H、S、V分量的阈值范围进行调节，得到三个分量二值图像，再进行相交运算，得到所述肤色二值图像，所述H分量阈值范围为 U [O. 609，I. 000]，所述S分量阈值范围为[O. 156 O. 664]，所述V分量阈值范围为[O. 117,0. 742]。3.根据权利要求I所述的利用手势识别控制数字标牌的方法，其特征在于采集到所述用户图像后，在进行步骤2之前，先利用均值漂移分割方法将其分割为几个边界较明显的区域。4.根据权利要求I所述的利用手势识别控制数字标牌的方法，其特征在于选取外接矩形的左上角长宽各1/5处的像素点作为手掌点。5.一种利用手势识别控制数字标牌的系统，其特征在于 摄像头和显示屏，摄像头用于采集用户图像...

【专利技术属性】
技术研发人员：朱明，郑阳，刘锐，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：