一种基于书写笔的交互系统及方法技术方案

本发明专利技术提供了一种基于书写笔的交互系统及方法，所述的交互系统包括多个书写笔、屏幕、摄像头和处理器，其中多个书写笔，为带特殊标志的书写笔，用于供给多个使用者同时对屏幕进行操作；摄像头设置在屏幕的上方，用于采集屏幕上的信息；处理器接收来自摄像头的信息，用于检测跟踪是来自哪个书写笔书写的信息。所述的交互方法包括：对摄像头进行标定，将所拍摄图像映射到屏幕对应的位置上；采用OCR字符识别技术对上面标定好的图像进行检测；将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹，并根据获取的运动轨迹来实现人机交互的目的。本发明专利技术提供的交互系统及分法，解决了多个书写笔同时在屏幕上操作被检测为一个的问题。

Interactive system and method based on writing pen

The present invention provides an interactive system and method based on pen interaction, the system includes a plurality of writing pen, screen, camera and processor, wherein a plurality of writing pen for writing pen with a special logo, used to supply multiple users operate on the screen at the same time; the camera is arranged at the top of the screen. Used to collect information on the screen; the processor receives information from the camera, which is used for detecting and tracking from writing pen information. The method includes interaction of camera calibration, the captured image is mapped to the corresponding position on the screen; detect the image using OCR character recognition technology on the above calibration; position an image in the line of the detected pen consists of continuous motion trajectory, and to achieve human-computer interaction according to the purpose of trajectory acquisition. The interactive system and the method provided by the invention solves the problem that a plurality of writing pens operate on the screen at the same time and are detected as one.

【技术实现步骤摘要】
一种基于书写笔的交互系统及方法
本专利技术属于人机交互的
，具体涉及一种基于书写笔的交互系统及方法。
技术介绍
在现有的人机交互的过程中，由于单一激光面不均匀导致的检测点位置不准确的问题，多个运动轨迹靠近时候交互错乱的问题，多个手指或者多个书写笔被检测为一个的问题，导致跟踪结果有错误的问题。
技术实现思路
本专利技术提供了一种基于书写笔的交互系统及方法，解决了多个运动轨迹靠近时候相互错乱的问题，并根据获取的运动轨迹来实现人机交互的目的。本专利技术提供了一种基于书写笔的交互系统，包括多个书写笔、屏幕、摄像头和处理器，其中：多个书写笔，为带特殊标志的书写笔，用于供给多个使用者同时对屏幕进行操作；摄像头设置在屏幕的上方，用于采集屏幕上的信息；处理器接收来自摄像头的信息，用于检测跟踪是来自哪个书写笔书写的信息。优选的，所述的多个书写笔为带数字标号的书写笔。由上面的技术方案可知，本专利技术提供的基于书写笔的交互系统，实现了多个使用者使用书写笔同时对屏幕进行操作，由于多个使用者使用的是带有特殊标志的书写笔，使得处理器对多个书写笔的检测跟踪变得容易，和原来两两书写笔相比进行检测减少了运算量。本专利技术还提供了一种基于书写笔的交互方法，包括如下步骤：S1、对摄像头进行标定，将所拍摄图像映射到屏幕对应的位置上；S2、采用OCR字符识别技术对上面标定好的图像进行检测；S3、将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹，并根据获取的运动轨迹来判断是否有书写笔在屏幕上操作，进而实现人机交互。优选的，所述的对摄像头进行标定的步骤具体包括如下步骤：S11、制作黑白格子图并全屏显示在屏幕上；S12、通过摄像头获取到上面制作出的黑白格子图，并获取到背景图；S13、将黑白格子图分别灰度化后和背景图的灰度图相减，再对获得的两个图进行差异化比较，获取新的图像；S14、对获取的新的图像进行二值化并进行轮廓提取，获取到轮廓的角点信息；S15、对各个角点的信息进行排序，并分别对应到屏幕中的位置，其结果作为标定的结果。优选的，所述的对各个角点的信息进行排序的步骤具体包括如下步骤：S151、设屏幕的左上角为坐标原点，每个像素点的位置坐标为(x，y)，如果该像素点的横坐标x与纵坐标y之和越小，则该像素点越靠近于屏幕左上角；假设屏幕图像长度为imagelength，如果imagelength-x与y之和越小，则该像素点越靠近于屏幕右上角；S152：通过上述步骤检测出屏幕第一排最左边的点和第一排最右边的点，设两点坐标分别为(x1，y1)和(x2，y2)，通过θ＝arctan((y2-y1)/(x2-x1))得出这两点形成的斜率角度；采用上述方法对所有的像素点进行粗略的排序；S153：获取上述粗略排序后的坐标排序结果，通过每个点的横坐标x，纵坐标y，及步骤S83计算出的θ用公式y*cosθ-x*sinθ按从小到大对所有点进行排序，则前rows个点为第一排所拥有的点，并对所述第一排的像素点按照其横坐标从小到大进行排序，得到第一排的排序对应；S154：对剩下的(rows*cols-rows)个点逐个进行步骤S81到步骤S84，获得第二排最左边的点和第二排最右边的点，以及第二排的rows个点；同理，依此获得所有其他排的坐标信息的排序对应；S155:将上述排序对应的结果中的前rows个点(第一排的总数)按照横坐标从小到大进行排序，即获得第一排的正确排序对应，同理依此获得第2至第cols排的正确排序对应。优选的，所述的采用OCR字符识别技术对上面标定好的图像进行检测的步骤具体包括如下步骤：S21、获取背景图，并对背景图进行灰度化处理；S22、获取当前帧的实时图像，并对该实时图像进行灰度处理；S23、用实时图像得到的灰度图减去背景图得到的灰度图并取绝对值，获取一副新的图像。S24、对获取的新的图像进行二值化处理，获取二值图；S25、对获取的二值图进行OCR技术特征提取，并进行特征的匹配，获取图像中的字符信息。优选的，所述的将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹的步骤具体包括如下步骤：S31、根据获取到每帧屏幕中书写笔的位置和所识别的特殊标志，将上一帧的位置和特殊标志的信息保存下来，上一帧的信息存在数组1中，当前帧的信息存在数组2中；S32、如果上一帧的信息为空，当前帧的信息为空，则说明屏幕中没有书写笔书写；S33、如果上一帧的信息为空，而当前帧开始有信息，则当前帧存在的每个书写笔都为新的书写笔运动的第一帧；S34、每帧图像中对上一帧存在的书写笔在当前帧中进行查找，如果此书写笔存在，则匹配为此书写笔的运动轨迹，如果此书写笔不存在了，则将此书写笔的运动轨迹标识为结束。优选的，所述的书写笔上的特殊标志为数字标号。由上面的技术方案可知，本专利技术提供的基于书写笔的交互方法，是基于带特殊标志的书写笔进行的交互，将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹，多个运动轨迹不再相互错乱，多个书写笔不再误检测为一个，使得检测的精准性得到提高，并根据获取的运动轨迹来实现人机交互的目的。附图说明图1为本专利技术实施例提供的一种基于带特殊标志的书写笔的交互系统的示意图；图2为本专利技术实施例提供的一种基于带特殊标志的书写笔的交互方法的流程图。具体实施方式以下结合具体实施方式进一步详细说明本专利技术的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供了一种基于书写笔的交互系统，包括多个书写笔、屏幕、摄像头和处理器，其中：多个书写笔，为带特殊标志的书写笔，用于供给多个使用者同时对屏幕进行操作；摄像头设置在屏幕的上方，用于采集屏幕上的信息；处理器接收来自摄像头的信息，用于检测跟踪是来自哪个书写笔书写的信息。优选的，所述的多个书写笔为带数字标号的书写笔。下面以两个书写笔为例说明，且这两个书写笔是带有数字标号的，为第一书写笔和第二书写笔，如图1所示，本专利技术实施例提供了一种基于书写笔的交互系统，包括第一书写笔11、第二书写笔12、屏幕2、摄像头3和处理器4，其中：第一书写笔11和第二书写笔12，用于供给多个使用者同时对屏幕2进行操作；摄像头3设置在屏幕2的上方，用于采集屏幕2上的信息；处理器4接收来自摄像头3的信息，用于检测跟踪屏幕上的信息是来自第一书写笔还是第二书写笔书写的信息。由上面的技术方案可知，本专利技术提供的基于书写笔的交互系统，实现了多个使用者使用书写笔同时对屏幕进行操作，由于多个使用者使用的是带有特殊标志的书写笔，使得处理器对多个书写笔的检测跟踪变得容易，不在误检测为一个书写笔，和原来两两书写笔相比进行检测减少了运算量。本专利技术实施例还提供了一种基于书写笔的交互方法，如图2所示，包括如下步骤：S1、对摄像头进行标定，将所拍摄图像映射到屏幕对应的位置上；S2、采用OCR字符识别技术对上面标定好的图像进行检测；S3、将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹，并根据获取的运动轨迹来判断是否有书写笔在屏幕上操作，进而实现人机交互。优选的，所述的对摄像头进行标定的步骤具体包括如下步骤：S11、制作黑白格子图并全屏显示在屏幕上；S12、通过摄像头获取到上面制作出的黑白格子图，并获取到背景图；S13、将黑白格子图分别灰度化后和背景本文档来自技高网...

【技术保护点】
一种基于书写笔的交互系统，其特征在于，包括多个书写笔、屏幕、摄像头和处理器，其中：多个书写笔，为带特殊标志的书写笔，用于供给多个使用者同时对屏幕进行操作；摄像头设置在屏幕的上方，用于采集屏幕上的信息；处理器接收来自摄像头的信息，用于检测跟踪是来自哪个书写笔书写的信息。

【技术特征摘要】
1.一种基于书写笔的交互系统，其特征在于，包括多个书写笔、屏幕、摄像头和处理器，其中：多个书写笔，为带特殊标志的书写笔，用于供给多个使用者同时对屏幕进行操作；摄像头设置在屏幕的上方，用于采集屏幕上的信息；处理器接收来自摄像头的信息，用于检测跟踪是来自哪个书写笔书写的信息。2.根据权利要求1所述的交互系统，其特征在于，所述的多个书写笔为带数字标号的书写笔。3.一种基于书写笔的交互方法，其特征在于，包括如下步骤：S1、对摄像头进行标定，将所拍摄图像映射到屏幕对应的位置上；S2、采用OCR字符识别技术对上面标定好的图像进行检测；S3、将检测出的一帧图像中书写笔的位置连线组成为连续的运动轨迹，并根据获取的运动轨迹来判断是否有书写笔在屏幕上操作，进而实现人机交互。4.根据权利要求3所述的交互方法，其特征在于，所述的对摄像头进行标定的步骤具体包括如下步骤：S11、制作黑白格子图并全屏显示在屏幕上；S12、通过摄像头获取到上面制作出的黑白格子图，并获取到背景图；S13、将黑白格子图分别灰度化后和背景图的灰度图相减，再对获得的两个图进行差异化比较，获取新的图像；S14、对获取的新的图像进行二值化并进行轮廓提取，获取到轮廓的角点信息；S15、对各个角点的信息进行排序，并分别对应到屏幕中的位置，其结果作为标定的结果。5.根据权利要求4所述的交互方法，其特征在于，所述的对各个角点的信息进行排序的步骤具体包括如下步骤：S151、设屏幕的左上角为坐标原点，每个像素点的位置坐标为(x，y)，如果该像素点的横坐标x与纵坐标y之和越小，则该像素点越靠近于屏幕左上角；假设屏幕图像长度为imagelength，如果imagelength-x与y之和越小，则该像素点越靠近于屏幕右上角；S152：通过上述步骤检测出屏幕第一排最左边的点和第一排最右边的点，设两点坐标分别为(x1，y1)和(x2，y2)，通过θ＝arctan((y2-y1)/(x2-x1))得出这两点形成的斜率角度；采用上述方法对所有的像素点进行粗略的排序；S153：获取上述粗略排序后的坐标排序结...

【专利技术属性】
技术研发人员：谭登峰，康三顺，
申请(专利权)人：南京仁光电子科技有限公司，
类型：发明
国别省市：江苏,32