一种基于摄像头的计算机与纸笔信息交互系统及方法技术方案

本发明专利技术公开了一种基于摄像头的计算机与纸笔信息交互系统及方法，其信息交互系统包括平铺在操作平台上且上面通过书写笔绘制有一组或多组图文信息的方形纸、摄像头、与摄像头相接的控制器以及分别与控制器相接的参数设置单元、存储器和显示器；其信息交互处理方法包括步骤：一、信息交互前准备工作；二、信息交互：获取背景信息、提取前景信息、方形纸边缘检测、信息分类符识别及信息分类和根据信息类型分别进行信息处理。本发明专利技术设计新颖合理、投资成本低、便于控制并且使用效果好、操作性非常强，输写方便，能简便将人们早已习惯的纸笔输入和现代化计算机技术结合在一起。

【技术实现步骤摘要】

本专利技术属于混合现实领域中的信息交互
，尤其是涉及一种基于摄像头的 计算机与纸笔信息交互系统及方法。
技术介绍
在当前所处的普适计算时代，计算无处不在。有计算就离不开信息交互，因而决不 能由于交互方式的限制，将某些研究领域阻挡在技术便利的大门之外。目前作为人机接口 设备，键盘鼠标扮演了极其重要的角色，然而在一定程度上鼠标与键盘却把一些人挡在了 科技生活的大门之外，传统的鼠标键盘交互方式存在操作步骤比较繁琐、效率低、劳动强度 较大、需长时间面对电脑且需配备相应的硬件设备等缺陷和不足。随着人机交互“自然化” 的发展，传统的鼠标键盘交互方式已经不能满足用户日益增长的实际需求。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种成本低、 使用方便且智能化程度高的基于摄像头的计算机与纸笔信息交互系统。为解决上述技术问题，本专利技术采用的技术方案是一种基于摄像头的计算机与纸 笔信息交互系统，其特征在于包括平铺在操作平台上且上面通过书写笔绘制有一组或多 组图文信息的方形纸、实时对方形纸与方形纸上所绘制图文信息进行摄取的摄像头、与摄 像头相接且对摄像头所摄取图像信息进行识别和分析处理的控制器以及分别与控制器相 接的参数设置单元、存储器和对控制器的分析处理结果进行同步显示的显示器，所述摄像 头布设在方形纸上方。上述一种基于摄像头的计算机与纸笔信息交互系统，其特征是所述参数设置单 元为分别与控制器相接的鼠标和键盘，且所述控制器、显示器、鼠标和键盘组装成一个PC 机。同时，本专利技术还公开了一种使用操作简便、便于控制且使用效果好、操作性非常强 的基于摄像头的计算机与纸笔信息交互系统进行信息交互的方法，其特征在于该方法包括 以下步骤步骤一、信息交互前准备工作通过书写笔在方形纸绘制一组或多组图文信息，所 述图文信息由图文信息内容和绘制在所述图文信息内容前部的信息分类符组成，且所述图 文信息包括纯文字信息、纯图形信息和控制信息三种类型信息；所述纯文字信息的图文信 息内容由一个或多个文字组成，所述纯图形信息的图文信息内容由一个或多个图形组成， 所述控制信息的图文信息内容由文字和/或控制符号组成且所述控制信息中所包含文字 和控制符号的数量为一个或多个；步骤二、信息交互，其交互过程如下201、获取背景信息通过摄像头摄取所述操作平台的图像信息并同步上传至控制 器，所摄取的操作平台图像信息即为信息交互用背景信息，且控制器将所述背景信息存入存储器内；202、提取前景信息将绘制一组或多组图文信息的方形纸平铺在所述操作平台 上，再通过摄像头摄取所述操作平台和平铺在操作平台的方形纸的组合式图像信息并同步 上传至控制器，所述控制器调用背景滤除模块将所述组合式图像信息中的所述背景信息减 除，并相应获得需进行信息交互的前景信息，且控制器将所述前景信息存入存储器内；203、边缘检测控制器调用灰度处理模块对所述前景信息进行灰度处理，并将所 述前景信息转换为多灰度级图像；控制器再调用边缘检测模块对所述多灰度级图像进行边 缘检测，获得所述多灰度级图像的边缘；之后，控制器再调用Hough变换模块和对灰度图像 进行角点检测的角点检测模块，且结合Hough变换模块和角点检测模块对所获得所述多灰 度级图像的边缘中的直线段进行分析处理，并相应获得方形纸的四周边线，则在所述前景 信息中检测出方形纸的具体位置；204、信息分类符识别及信息分类控制器调用符号识读模块，对步骤203中所检 测出的方形纸上的信息分类符进行识读，并根据所识读出的信息分类符对方形纸上所绘制 的一组或多组图文信息进行分类，且根据分类结果对每一组图文信息的类型进行标注；所 述符号识读模块所识读出的信息分类符的数量即为方形纸上所绘制图文信息的数量；205、信息处理，控制器调用信息处理模块，且根据步骤204中对每一组图文信息 所标注的信息类型相应对方形纸上所绘制的一组或多组图文信息分别进行处理，对方形纸 上绘制的任一组图文信息来说当步骤204中对该组图文信息所标注的信息类型为纯文字信息时，所述信息处理 模块调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识别，并将识别结 果存为文本数据后存至存储器中；当步骤204中对该组图文信息所标注的信息类型为纯图形信息时，所述信息处理 模块将该组图文信息中的图文信息内容直接存为图片格式后存至存储器中；当步骤204中对该组图文信息所标注的信息类型为控制信息时，所述信息处理模 块调用文字识别模块和/或控制符号识别模块由前至后对该组图文信息中图文信息内容 的文字和/或控制符号进行相应识别，并按照识别顺序将识别结果返回至控制器，控制器 根据识别结果执行对应的控制指令采用所述文字识别模块对该组图文信息中的文字进行 识别时，将识别结果转存为控制器能识读的数据格式后返回至控制器；采用控制符号识别 模块对该组图文信息中的控制符号进行识别时，先将识别结果与存储器中预先存储的控制 符号指令库中的控制指令数据进行匹配，再根据匹配结果将与识别结果相匹配的控制指令 数据返回至控制器。上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是步骤203中所述 的边缘检测模块为按照Carmy边缘检测算法对所述多灰度级图像进行边缘检测的Carmy边 缘检测模块。上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是步骤203中控制 器调用Hough变换模块和角点检测模块，且结合Hough变换模块和角点检测模块对所述多 灰度级图像的边缘中的直线段进行分析处理，并相应获得方形纸的四周边线时，其分析处 理过程如下2031、直线段检测由所述Hough变换模块和角点检测模块对所述多灰度级图像的边缘中的直线段进行检测，并对所检测出的所有直线段进行标注且将标注结果返回至控 制器；2032、连接形成多边形控制器将标注后的所有直线段依次连接形成一个封闭多 边形；2033、多边形逼近控制器调用多边形逼近模块，且结合步骤一中所述方形纸的实 际尺寸和方形四周边线的基本特性，对步骤2032中所形成的所述封闭多边形进行逼近处 理，并获得方形纸的四周边线。上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是步骤2033中控制 器调用多边形逼近模块对所述封闭多边形进行多边形逼近时，其逼近过程如下I、判断所述封闭多边形是否有4个顶点当判断得出所述封闭多边形有4个顶点 时，则进入步骤II ；否则，退出多边形逼近过程并将判断结果返回控制器；II、判断所述封闭多边形是否为凸多边形当判断得出所述封闭多边形为凸多边 形时，则进入步骤III ；否则，退出多边形逼近过程并将判断结果返回控制器；III、计算并判断所述封闭多边形的面积大小是否接近方形纸的实际面积当计算 得出所述封闭多边形的面积为SX (1 士0.5%)时，则进入步骤IV;否则，退出多边形逼近过 程并将判断结果返回控制器(3-1)，其中S为步骤一中所述方形纸的实际面积；IV、计算并判断所述封闭多边形的所有内角大小是否均接近90° 当计算得出所 述封闭多边形的所有内角均为90° X(1 士0.5%)时，则进入步骤V;否则，退出多边形逼 近过程并将判断结果返回控制器；V、计算并判断所述封闭多边形的两个邻边中长边与短边的长度比是否均接近 方形纸的长宽比当本文档来自技高网...

【技术保护点】

【技术特征摘要】
一种基于摄像头的计算机与纸笔信息交互系统，其特征在于包括平铺在操作平台上且上面通过书写笔(4)绘制有一组或多组图文信息的方形纸(1)、实时对方形纸(1)与方形纸(1)上所绘制图文信息进行摄取的摄像头(2)、与摄像头(2)相接且对摄像头(2)所摄取图像信息进行识别和分析处理的控制器(3 1)以及分别与控制器(3 1)相接的参数设置单元、存储器(3 5)和对控制器(3 1)的分析处理结果进行同步显示的显示器(3 2)，所述摄像头(2)布设在方形纸(1)上方。2.按照权利要求1所述的一种基于摄像头的计算机与纸笔信息交互系统，其特征在 于所述参数设置单元为分别与控制器(3-1)相接的鼠标(3-3)和键盘(3-4)，且所述控制 器(3-1)、显示器(3-2)、鼠标(3-3)和键盘(3-4)组装成一个PC机(3)。3.一种利用如权利要求1所述的一种基于摄像头的计算机与纸笔信息交互系统进行 信息交互的方法，其特征在于该方法包括以下步骤步骤一、信息交互前准备工作通过书写笔(4)在方形纸(1)绘制一组或多组图文信 息，所述图文信息由图文信息内容和绘制在所述图文信息内容前部的信息分类符组成，且 所述图文信息包括纯文字信息、纯图形信息和控制信息三种类型信息；所述纯文字信息的 图文信息内容由一个或多个文字组成，所述纯图形信息的图文信息内容由一个或多个图形 组成，所述控制信息的图文信息内容由文字和/或控制符号组成且所述控制信息中所包含 文字和控制符号的数量为一个或多个；步骤二、信息交互，其交互过程如下，201、获取背景信息通过摄像头(2)摄取所述操作平台的图像信息并同步上传至控制 器(3-1)，所摄取的操作平台图像信息即为信息交互用背景信息，且控制器(3-1)将所述背 景信息存入存储器(3-5)内；，，202、提取前景信息将绘制一组或多组图文信息的方形纸(1)平铺在所述操作平台 上，再通过摄像头(2)摄取所述操作平台和平铺在操作平台的方形纸(1)的组合式图像信 息并同步上传至控制器(3-1)，所述控制器(3-1)调用背景滤除模块将所述组合式图像信 息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且控制器(3-1)将所 述前景信息存入存储器(3-5)内；，、边缘检测控制器(3-1)调用灰度处理模块对所述前景信息进行灰度处理，并将 所述前景信息转换为多灰度级图像；控制器(3-1)再调用边缘检测模块对所述多灰度级图 像进行边缘检测，获得所述多灰度级图像的边缘；之后，控制器(3-1)再调用Hough变换模 块和对灰度图像进行角点检测的角点检测模块，且结合Hough变换模块和角点检测模块对 所获得所述多灰度级图像的边缘中的直线段进行分析处理，并相应获得方形纸(1)的四周 边线，则在所述前景信息中检测出方形纸(1)的具体位置；，204、信息分类符识别及信息分类控制器(3-1)调用符号识读模块，对步骤203中所检 测出的方形纸(1)上的信息分类符进行识读，并根据所识读出的信息分类符对方形纸(1) 上所绘制的一组或多组图文信息进行分类，且根据分类结果对每一组图文信息的类型进行 标注；所述符号识读模块所识读出的信息分类符的数量即为方形纸(1)上所绘制图文信息 的数量；，205、信息处理，控制器(3-1)调用信息处理模块，且根据步骤204中对每一组图文信息 所标注的信息类型相应对方形纸(1)上所绘制的一组或多组图文信息分别进行处理，对方形纸(1)上绘制的任一组图文信息来说当步骤204中对该组图文信息所标注的信息类型为纯文字信息时，所述信息处理模块 调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识别，并将识别结果存 为文本数据后存至存储器(3-5)中；当步骤204中对该组图文信息所标注的信息类型为纯图形信息时，所述信息处理模块 将该组图文信息中的图文信息内容直接存为图片格式后存至存储器(3-5)中；当步骤204中对该组图文信息所标注的信息类型为控制信息时，所述信息处理模块调 用文字识别模块和/或控制符号识别模块由前至后对该组图文信息中图文信息内容的文 字和/或控制符号进行相应识别，并按照识别顺序将识别结果返回至控制器(3-1)，控制器 (3-1)根据识别结果执行对应的控制指令采用所述文字识别模块对该组图文信息中的文 字进行识别时，将识别结果转存为控制器(3-1)能识读的数据格式后返回至控制器(3-1)； 采用控制符号识别模块对该组图文信息中的控制符号进行识别时，先将识别结果与存储器 (3-5)中预先存储的...

【专利技术属性】
技术研发人员：柳有权，肖杰，黄波，崔宇，
申请(专利权)人：长安大学，
类型：发明
国别省市：87