一种大屏系统交互行为状态的判断方法技术方案

本发明专利技术提供了一种大屏系统交互行为状态的判断方法，包括：将所拍摄图像映射到和该图像的大小和位置相对应的屏幕上；用有物体运动时的图减去背景图获得用于处理的图像；进而提取轮廓检测出手指或者书写笔所在的位置；将前一帧图像的跟踪结果与本帧图像的检测点进行匹配；判断上一帧图像中出现的检测点是否为空，若为空则给予该轨迹id标注，轨迹状态为按下；否则前一帧的点与本帧的点距离最近并小于一定匹配阈值，则上一帧的点与本帧的点匹配并存入匹配列表，上一帧中所有的点减去已匹配的点，则为松开状态，并存入松开状态列表，本帧的所有点减去未匹配点则为新点；对上面检测出的运动轨迹进行标注；判断运动轨迹的长按、画线、单击和双击行为。

Method for judging interaction behavior state of large screen system

The present invention provides a method for judging and interactive behavior of large screen system includes: a captured image is mapped to the corresponding image and the size and location of the screen; with a motion graph graph for subtracting background image; and then extract the contour detected by the finger or pen position; match detection point tracking results of the previous image frame and the frame; a judgment of the image detection point is empty, if empty is given to the locus of the ID annotation, track state is pressed; otherwise the previous frame and the frame of the nearest point and less than a matching threshold is a frame and the frame of the point matching and stored in the match list, on all points in a frame minus the matching points, is a loose state, and stored in a release state list, all the frames The point minus the unmatched point is the new point. The moving track is labeled, and the long track, line drawing, click and double click behavior of the moving track are judged.

【技术实现步骤摘要】
一种大屏系统交互行为状态的判断方法
本专利技术属于图像识别处理的
，尤其是指一种大屏系统交互行为状态的判断方法。
技术介绍
现有的对大屏系统交互行为状态的判断只是利用到了所采集到图像的这一帧和上一帧的数据，并没有对图像的历史运动轨迹信息进行充分利用，因此导致不能对交互行为状态进行很好的区分和判断，比如说对画线和双击的操作不能很准确的识别，因此亟待一种可以准确判断大屏系统交互行为状态的方法。
技术实现思路
本专利技术提供了一种大屏系统交互行为状态的判断方法，用跟踪的方法将离散的数字化的轨迹点通过匹配跟踪后，形成连续的更能代表实际情况的运动轨迹，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。本专利技术提供了一种大屏系统交互行为状态的判断方法，包括如下步骤：S10、将所拍摄图像映射到和该图像的大小和位置相对应的屏幕上；S11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置；S12、将前一帧图像的跟踪结果与本帧图像的检测点进行匹配；判断上一帧图像中出现的检测点是否为空；若为空，则给予该轨迹id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(-1，-1)，行为状态标注为单击状态，并记录下当前的帧数；否则通过当前帧所检测出的点与上一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为上一帧的点与本帧的点匹配，存入匹配列表，上一帧中所有的点减去已匹配的点，则标注为松开状态，并存入松开状态列表，本帧的所有点减去未匹配点，则为新点；S13、对上面检测出各个交互行为状态的点的运动轨迹进行标注；S14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。优选的，所述的步骤S10之前还包括初始化系统的步骤，具体包括如下：将图像的轨迹状态标注为按下或松开，行为状态标注为未知、画线、长按、单击、双击五种状态之一，自大屏系统启动时开始对摄像头所拍图像进行帧数标记记录。优选的，所述的步骤S12中对于匹配上的点，进行如下处理：将本帧该点id标注为与之匹配的上一帧的id，该点状态标记为按下状态，当前帧的前第八帧坐标值赋值为上一帧的前第七帧坐标值，当前帧的前第七帧坐标值赋值为上一帧的前第六帧坐标值，即当前帧的前第一帧坐标值赋值为上一帧坐标值，在之后的每一帧出现时都如此更新此历史点列表，当某一轨迹的历史点列表存满8帧时，用第8帧与当前帧的距离差进行判断，当距离差大于移动阈值时即将该轨迹标注为画线状态，小于移动阈值时则此轨迹标注为长按状态，记录下当前匹配时候的帧数。优选的，所述的步骤S12中，对于上一帧匹配后没有匹配到的点都标记为松开状态，并将该轨迹的行为状态标注为未知状态，记录当前匹配时的帧数。优选的，所述的步骤S12中对于新出现的点进行如下的处理：在所有的新出现的点中，在单击列表中寻找相距在一定距离阈值内的点，若存在，则标记为双击，如果不存在，则将此点加入单击列表，轨迹历史点存储列表动态存入本帧及前八帧的图像数据，并将该轨迹历史点存储列表每帧初始坐标值置为(-1，-1)。优选的，所述的步骤S12和步骤S13之间还包括：将标记为按下状态的点存入跟踪结果列表，记录下双击操作所需要的帧数间隔，在跟踪结束后将单击列表中超过双击所需帧数间隔的点进行删除。优选的，所述的步骤S12中的匹配阈值的大小取决于大屏的实际情况，通过调试获得。优选的，所述的步骤S13的运动轨迹标注具体包括如下步骤：S131、每次对新轨迹标识时候，给予新轨迹进行标记，并将标记记入已标记列表；S132、当旧轨迹消失时，从标记列表中将此轨迹标识删除；S133、再有新轨迹出现时，先从已标记列表中按照有序化的次序去检测应用的标识符，并用标识名对其进行标识，再将这个标识名记入已标识列表；S134、当被标识为松开状态的运动轨迹与当前系统运行帧率之间的差值大于双击操作所需要的帧率间隔时，从被标注为松开的列表中删除掉这些点；S135、当被标识为单击状态的行为轨迹与当前系统运行帧率之间的差值大于双击操作所需要的帧率间隔时，从被标注为单击的列表中删除掉这些点。由上面的技术方案可知，本专利技术提供的大屏系统交互行为状态的判断方法是对各个交互行为状态进行轨迹跟踪，并用一定的跟踪标注方法对每个轨迹进行跟踪标注，可以正确判断出手指或者书写笔是在进行画线、长按、单击或者双击操作，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。附图说明图1为本专利技术实施例提供的一种大屏系统交互行为状态的判断方法的流程图；图2为本专利技术实施例提供的一种大屏系统交互行为状态的判断方法中运动轨迹标注的流程图。具体实施方式以下结合具体实施方式进一步详细说明本专利技术的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供了一种大屏系统交互行为状态的判断方法，如图1所示，包括如下步骤：S10、将所拍摄图像映射到和该图像的大小和位置相对应的屏幕上；S11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置；S12、将前一帧图像的跟踪结果与本帧图像的检测点进行匹配；判断上一帧图像中出现的检测点是否为空；若为空，则给予该轨迹id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(-1，-1)，行为状态标注为单击状态，并记录下当前的帧数；否则通过当前帧所检测出的点与上一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为上一帧的点与本帧的点匹配，存入匹配列表，上一帧中所有的点减去已匹配的点，则标注为松开状态，并存入松开状态列表，本帧的所有点减去未匹配点，则为新点；S13、对上面检测出各个交互行为状态的点的运动轨迹进行标注；S14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。优选的，所述的步骤S10之前还包括初始化系统的步骤，具体包括如下：将图像的轨迹状态标注为按下或松开，行为状态标注为未知、画线、长按、单击、双击五种状态之一，自大屏系统启动时开始对摄像头所拍图像进行帧数标记记录。优选的，所述的步骤S12中对于匹配上的点，进行如下处理：将本帧该点id标注为与之匹配的上一帧的id，该点状态标记为按下状态，当前帧前第八帧坐标值赋值为上一帧前第七帧坐标值，当前帧的前第七帧坐标值赋值为上一帧的前第六帧坐标值，即当前帧前第一帧坐标值赋值为上一帧坐标值，在之后的每一帧出现时都如此更新此历史点列表，当某一轨迹的历史点列表存满8帧时，用第8帧与当前帧的距离差进行判断，当距离差大于移动阈值时即将该轨迹标注为画线状态，小于移动阈值时则此轨迹标注为长按状态，记录下当前匹配时候的帧数。优选的，所述的步骤S12中，对于上一帧匹配后没有匹配到的点都标记为松开状态，并将该轨迹的行为状态标注为未知状态，记录当前匹配时的帧数。优选的，所述的步骤S12中对于新出现的点进行如下的处理：在所有的新出现的点中，在单击列表中寻找相距在一定距离阈值内的点，若存在本文档来自技高网...

【技术保护点】
一种大屏系统交互行为状态的判断方法，其特征在于，包括如下步骤：S10、将所拍摄图像映射到和该图像的大小和位置相对应的屏幕上；S11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置；S12、将前一帧图像的跟踪结果与本帧图像的检测点进行匹配；判断上一帧图像中出现的检测点是否为空；若为空，则给予该轨迹id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(‑1，‑1)，行为状态标注为单击状态，并记录下当前的帧数；否则通过当前帧所检测出的点与上一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为上一帧的点与本帧的点匹配，存入匹配列表，上一帧中所有的点减去已匹配的点，则标注为松开状态，并存入松开状态列表，本帧的所有点减去未匹配点，则为新点；S13、对上面检测出各个交互行为状态的点的运动轨迹进行标注；S14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。

【技术特征摘要】
1.一种大屏系统交互行为状态的判断方法，其特征在于，包括如下步骤：S10、将所拍摄图像映射到和该图像的大小和位置相对应的屏幕上；S11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置；S12、将前一帧图像的跟踪结果与本帧图像的检测点进行匹配；判断上一帧图像中出现的检测点是否为空；若为空，则给予该轨迹id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(-1，-1)，行为状态标注为单击状态，并记录下当前的帧数；否则通过当前帧所检测出的点与上一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为上一帧的点与本帧的点匹配，存入匹配列表，上一帧中所有的点减去已匹配的点，则标注为松开状态，并存入松开状态列表，本帧的所有点减去未匹配点，则为新点；S13、对上面检测出各个交互行为状态的点的运动轨迹进行标注；S14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。2.根据权利要求1所述的判断方法，其特征在于，所述的步骤S10之前还包括初始化系统的步骤，具体包括如下：将图像的轨迹状态标注为按下或松开，行为状态标注为未知、画线、长按、单击、双击五种状态之一，自大屏系统启动时开始对摄像头所拍图像进行帧数标记记录。3.根据权利要求1所述的判断方法，其特征在于，所述的步骤S12中对于匹配上的点，进行如下处理：将本帧该点id标注为与之匹配的上一帧的id，该点状态标记为按下状态，当前帧的第八帧坐标值赋值为第七帧坐标值，当前帧的第七帧坐标值赋值为第六帧坐标值，即当前帧前第一帧坐标值赋值为上一帧坐标值，在之后的每一帧出现时都如此更新此历史点列表，当某一轨迹的历史点列表存满8帧时，用第8帧与当前帧的距离差进行...

【专利技术属性】
技术研发人员：谭登峰，康三顺，
申请(专利权)人：北京仁光科技有限公司，
类型：发明
国别省市：北京,11