一种基于普通纸笔的人机交互方法及人机交互系统技术方案

本发明专利技术公开了一种基于普通纸笔的人机交互方法及人机交互系统，其交互方法包括步骤：一、建立交互信息识别模板库并输入初始参数；二、信息交互前期预处理：获取背景信息、提取纸张信息与需交互信息采集；三、信息交互，其信息交互过程如下：信息分类符识别及信息分类和信息处理；其交互系统包括平铺在操作平台上的方形白纸、摄像头、与摄像头相接的控制器以及分别与控制器相接的参数设置单元、存储器和显示器。本发明专利技术设计新颖合理、投资成本低、便于控制并且使用效果好、操作性非常强，输写方便，能简便将人们早已习惯的纸笔输入和现代化计算机技术结合在一起，简便实现二维、三维场景模拟与物理仿真。

【技术实现步骤摘要】
一种基于普通纸笔的人机交互方法及人机交互系统
本专利技术属于混合现实领域中的信息交互
，尤其是涉及一种基于普通纸笔的人机交互方法及人机交互系统。
技术介绍
在当今计算机普及的时代，人与计算机的交互无处不在，因而决不能由于现有交互方式的限制，将某些研究领域阻挡在技术便利的大门之外。作为人机接口设备，鼠标与键盘扮演了极其重要的角色。然而在一定程度上鼠标与键盘却把一些人挡在了科技生活的大门之外，传统的鼠标键盘交互方式存在操作步骤比较繁琐、效率低、劳动强度较大、需长时间面对电脑且需配备相应的硬件设备等缺陷和不足。随着人机交互“自然化”的发展，传统的鼠标键盘交互方式已经不能满足用户日益增长的实际需求。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种方法步骤简单、实现方便且智能化程度高、使用效果好的计算机与纸笔信息交互方法。为解决上述技术问题，本专利技术采用的技术方案是一种一种基于普通纸笔的人机交互方法，其特征在于该方法包括以下步骤步骤一、建立交互信息识别模板库并输入初始参数利用处理器建立交互信息识别模板库，所建立的交互信息识别模板库内存储有需进行交互的多个类型图文信息分类符的图像信息和各图文信息分类符的属性数据，且各图文信息分类符的图像信息与其属性数据之间均通过关联单元进行关联，所述属性数据包括图文信息分类符所对应图文信息的类型和对图文信息分类符所对应图文信息进行处理的信息处理模块；同时，通过所述参数设置单元输入初始参数，所述初始参数包括所使用方形白纸的尺寸信息；步骤二、信息交互前期预处理，其预处理过程包括以下步骤步骤201、获取背景信息通过摄像头摄取操作平台的图像信息并同步上传至处理器，所摄取的操作平台图像信息即为信息交互用背景信息，且处理器将所述背景信息存入存储器内；步骤202、提取纸张信息将方形白纸平铺在步骤201中所述的操作平台上，再通过摄像头摄取所述操作平台和平铺在所述操作平台上的方形白纸的组合式图像信息，并将所摄取的所述组合式图像信息同步上传至处理器；之后，结合步骤201中所述背景信息，所述处理器调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且处理器将所述前景信息存入存储器内；之后，所述处理器结合步骤一中所输入方形白纸的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸的四个顶点位置进行确定，并相应在所述前景信息中检测出方形白纸的具体位置；步骤203、需交互信息采集处理器采用书写后采集方式或书写同步采集方式，对方形白纸上所书写的需交互图文信息进行采集；当采用书写后采集方式进行采集时，步骤202中所述的方形白纸为上部已书写有一组或多组图文信息的方形纸；且处理器采用书写后采集方式进行采集时，处理器调用图像截取模块将步骤202中已检测出方形白纸上的图像信息截取出来，并将所截取图像信息存入存储器内；此时，存入存储器内的所截取图像信息便为需交互信息；当采用书写同步采集方式进行采集时，步骤202中所述的方形白纸为空白纸；本步骤中，所述处理器采用边书写边采集的方式进行采集，且实际进行采集时，通过摄像头对书写过程中各时刻方形白纸上的图像信息进行实时摄取，并将实时所摄取信息同步传送至处理器；处理器调用视频运动检测模块对摄像头实时所摄取信息进行分析处理，并相应实现对书写过程中书写笔的笔尖进行跟踪，且通过跟踪书写笔的笔尖，实时获取书写笔在方形白纸上所书写的图文信息，并将所获取的图文信息存入存储器内；此时，存入存储器内的实时所获取书写笔在方形白纸上所书写的图文信息，便为需交互信息；步骤203中所述需交互信息包括一组或多组图文信息；且所述需交互信息中的各组图文信息为纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息或仿真按钮信息；其中，所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符均为组合式标识符，所述组合式标识符由前后两个相同的标识符号组成；且所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息，均包括前后两个相同的标识符号和置于两个所述标识符号之间的图文信息内容；所述仿真按钮信息的图文信息分类符为一个单独式标识符，且所述仿真按钮信息包括所述单独式标识符；步骤203中所述需交互信息中的任一组所述物理信息，均与一组仿真按钮信息通过关联单元进行关联；步骤三、信息交互，其信息交互过程如下步骤301、信息分类符识别及信息分类处理器调用符号识读模块，结合步骤一中所建立的交互信息识别模板库，对步骤203中所述需交互信息中的图文信息分类符进行识读，并根据所识读出的图文信息分类符对需交互图文信息中的一组或多组图文信息进行分类；所述符号识读模块所识读出的图文信息分类符总数量，即为方形纸上所绘制图文信息的组数；步骤302、信息处理采用处理器对步骤203中所述需交互信息中的一组或多组图文信息，分别进行处理；且对任一组图文信息来说，所述处理器均根据步骤301中所识读出的该组图文信息的图文信息分类符，调用与该图文信息分类符相对应的信息处理模块对该组图文信息进行处理。上述一种基于普通纸笔的人机交互方法，其特征是步骤203中采用书写后采集方式进行采集时，所述处理器按照方形白纸上所书写图文信息的书写位置先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理；步骤203中采用书写同步采集方式进行采集时，所述处理器按照书写时间的先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理。上述一种基于普通纸笔的人机交互方法，其特征是步骤一中多个类型所述图文信息分类符包括纯文字信息分类符、草图绘制信息分类符、二维几何绘制信息分类符、三维几何建模信息分类符、物理信息分类符和仿真按钮信息分类符；步骤302中进行信息处理时，对任一组图文信息来说，当步骤301中识读出该组图文信息的图文信息分类符为所述纯文字信息分类符时，该组图文信息为纯文字信息；且调用与所述纯文字信息分类符相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识别，并将识别结果存为文本数据后存至存储器中；当步骤301中识读出该组图文信息的图文信息分类符为所述草图绘制信息分类符时，该组图文信息为草图绘制信息；且调用与所述草图绘制信息分类符相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用二维图像处理模块，将该组图文信息中的图文信息内容存储为图片格式，并通过显示器进行直观显示；当步骤301中识读出该组图文信息的图文信息分类符为所述二维几何绘制信息分类符时，该组图文信息为二维几何绘制信息；且调用与所述二维几何绘制信息分类符相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调用二维图像处理模块，对该组图文信息中的图文信息内容进行识读，并将识本文档来自技高网...

【技术保护点】
一种基于普通纸笔的人机交互方法，其特征在于该方法包括以下步骤：步骤一、建立交互信息识别模板库并输入初始参数：利用处理器（3？1）建立交互信息识别模板库，所建立的交互信息识别模板库内存储有需进行交互的多个类型图文信息分类符的图像信息和各图文信息分类符的属性数据，且各图文信息分类符的图像信息与其属性数据之间均通过关联单元进行关联，所述属性数据包括图文信息分类符所对应图文信息的类型和对图文信息分类符所对应图文信息进行处理的信息处理模块；同时，通过所述参数设置单元输入初始参数，所述初始参数包括所使用方形白纸（1）的尺寸信息；步骤二、信息交互前期预处理，其预处理过程包括以下步骤：步骤201、获取背景信息：通过摄像头（2）摄取操作平台的图像信息并同步上传至处理器（3？1），所摄取的操作平台图像信息即为信息交互用背景信息，且处理器（3？1）将所述背景信息存入存储器（3？5）内；步骤202、提取纸张信息：将方形白纸（1）平铺在步骤201中所述的操作平台上，再通过摄像头（2）摄取所述操作平台和平铺在所述操作平台上的方形白纸（1）的组合式图像信息，并将所摄取的所述组合式图像信息同步上传至处理器（3？1）；之后，结合步骤201中所述背景信息，所述处理器（3？1）调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且处理器（3？1）将所述前景信息存入存储器（3？5）内；之后，所述处理器（3？1）结合步骤一中所输入方形白纸（1）的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸（1）的四个顶点位置进行确定，并相应在所述前景信息中检测出方形白纸（1）的具体位置；步骤203、需交互信息采集：处理器（3？1）采用书写后采集方式或书写同步采集方式，对方形白纸（1）上所书写的需交互图文信息进行采集；当采用书写后采集方式进行采集时，步骤202中所述的方形白纸（1）为上部已书写有一组或多组图文信息的方形纸；且处理器（3？1）采用书写后采集方式进行采集时，处理器（3？1）调用图像截取模块将步骤202中已检测出方形白纸（1）上的图像信息截取出来，并将所截取图像信息存入存储器（3？5）内；此时，存入存储器（3？5）内的所截取图像信息便为需交互信息；当采用书写同步采集方式进行采集时，步骤202中所述的方形白纸（1）为空白纸；本步骤中，所述处理器（3？1）采用边书写边采集的方式进行采集，且实际进行采集时，通过摄像头（2）对书写过程中各时刻方形白纸（1）上的图像信息进行实时摄取，并将实时所摄取信息同步传送至处理器（3？1）；处理器（3？1）调用视频运动检测模块对摄像头（2）实时所摄取信息进行分析处理，并相应实现对书写过程中书写笔（4）的笔尖进行跟踪，且通过跟踪书写笔（4）的笔尖，实时获取书写笔（4）在方形白纸（1）上所书写的图文信息，并将所获取的图文信息存入存储器（3？5）内；此时，存入存储器（3？5）内的实时所获取书写笔（4）在方形白纸（1）上所书写的图文信息，便为需交互信息；步骤203中所述需交互信息包括一组或多组图文信息；且所述需交互信息中的各组图文信息为纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息或仿真按钮信息；其中，所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符均为组合式标识符，所述组合式标识符由前后两个相同的标识符号组成；且所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息，均包括前后两个相同的标识符号和置于两个所述标识符号之间的图文信息内容；所述仿真按钮信息的图文信息分类符为一个单独式标识符，且所述仿真按钮信息包括所述单独式标识符；步骤203中所述需交互信息中的任一组所述物理信息，均与一组仿真按钮信息通过关联单元进行关联；步骤三、信息交互，其信息交互过程如下：步骤301、信息分类符识别及信息分类：处理器（3？1）调用符号识读模块，结合步骤一中所建立的交互信息识别模板库，对步骤203中所述需交互信息中的图文信息分类符进行识读，并根据所识读出的图文信息分类符对需交互图文信息中的一组或多组图文信息进行分类；所述符号识读模块所识读出的图文信息分类符总数量，即为方形纸上所绘制图文信息的组数；步骤302、信息处理：采用处理器（3？1）对步骤203中所述需交互信息中的一组或多组图文信息，分别进行处理；且对任一组图文信息来说，所述处理器（3？1）均根据步骤301中所识读出的该组图文信息的图文信息分类符，调用与该图文信息分类符相对应的信息处理模块对该组图文信息进行处理。...

【技术特征摘要】
1.一种基于普通纸笔的人机交互方法，其特征在于该方法包括以下步骤 步骤一、建立交互信息识别模板库并输入初始参数利用处理器(3-1)建立交互信息识别模板库，所建立的交互信息识别模板库内存储有需进行交互的多个类型图文信息分类符的图像信息和各图文信息分类符的属性数据，且各图文信息分类符的图像信息与其属性数据之间均通过关联单元进行关联，所述属性数据包括图文信息分类符所对应图文信息的类型和对图文信息分类符所对应图文信息进行处理的信息处理模块；同时，通过所述参数设置单元输入初始参数，所述初始参数包括所使用方形白纸(I)的尺寸信息； 步骤二、信息交互前期预处理，其预处理过程包括以下步骤 步骤201、获取背景信息通过摄像头(2)摄取操作平台的图像信息并同步上传至处理器(3-1)，所摄取的操作平台图像信息即为信息交互用背景信息，且处理器(3-1)将所述背景信息存入存储器(3-5)内；· 步骤202、提取纸张信息将方形白纸(I)平铺在步骤201中所述的操作平台上，再通过摄像头(2)摄取所述操作平台和平铺在所述操作平台上的方形白纸(I)的组合式图像信息，并将所摄取的所述组合式图像信息同步上传至处理器(3-1);之后，结合步骤201中所述背景信息，所述处理器(3-1)调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且处理器(3-1)将所述前景信息存入存储器(3-5)内；之后，所述处理器(3-1)结合步骤一中所输入方形白纸(I)的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸(I)的四个顶点位置进行确定，并相应在所述前景信息中检测出方形白纸(I)的具体位置； 步骤203、需交互信息采集处理器(3-1)采用书写后采集方式或书写同步采集方式，对方形白纸(I)上所书写的需交互图文信息进行采集； 当采用书写后采集方式进行采集时，步骤202中所述的方形白纸(I)为上部已书写有一组或多组图文信息的方形纸；且处理器(3-1)采用书写后采集方式进行采集时，处理器(3-1)调用图像截取模块将步骤202中已检测出方形白纸(I)上的图像信息截取出来，并将所截取图像信息存入存储器(3-5)内；此时，存入存储器(3-5)内的所截取图像信息便为需交互信息； 当采用书写同步采集方式进行采集时，步骤202中所述的方形白纸(I)为空白纸；本步骤中，所述处理器(3-1)采用边书写边采集的方式进行采集，且实际进行采集时，通过摄像头(2)对书写过程中各时刻方形白纸(I)上的图像信息进行实时摄取，并将实时所摄取信息同步传送至处理器(3-1);处理器(3-1)调用视频运动检测模块对摄像头(2)实时所摄取信息进行分析处理，并相应实现对书写过程中书写笔(4)的笔尖进行跟踪，且通过跟踪书写笔(4)的笔尖，实时获取书写笔(4)在方形白纸(I)上所书写的图文信息，并将所获取的图文信息存入存储器(3-5)内；此时，存入存储器(3-5)内的实时所获取书写笔(4)在方形白纸(I)上所书写的图文信息，便为需交互信息； 步骤203中所述需交互信息包括一组或多组图文信息；且所述需交互信息中的各组图文信息为纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息或仿真按钮信息；其中，所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符均为组合式标识符，所述组合式标识符由前后两个相同的标识符号组成；且所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息，均包括前后两个相同的标识符号和置于两个所述标识符号之间的图文信息内容；所述仿真按钮信息的图文信息分类符为一个单独式标识符，且所述仿真按钮信息包括所述单独式标识符； 步骤203中所述需交互信息中的任一组所述物理信息，均与一组仿真按钮信息通过关联单元进行关联； 步骤三、信息交互，其信息交互过程如下 步骤301、信息分类符识别及信息分类处理器(3-1)调用符号识读模块，结合步骤一中所建立的交互信息识别模板库，对步骤203中所述需交互信息中的图文信息分类符进行识读，并根据所识读出的图文信息分类符对需交互图文信息中的一组或多组图文信息进行分类； 所述符号识读模块所识读出的图文信息分类符总数量，即为方形纸上所绘制图文信息的组数； 步骤302、信息处理采用处理器(3-1)对步骤203中所述需交互信息中的一组或多组图文信息，分别进行处理； 且对任一组图文信息来说，所述处理器(3-1)均根据步骤301中所识读出的该组图文信息的图文信息分类符，调用与该图文信息分类符相对应的信息处理模块对该组图文信息进行处理。2.按照权利要求I所述的一种基于普通纸笔的人机交互方法，其特征在于步骤203中采用书写后采集方式进行采集时，所述处理器(3-1)按照方形白纸(I)上所书写图文信息的书写位置先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理； 步骤203中采用书写同步采集方式进行采集时，所述处理器(3-1)按照书写时间的先后顺序，由先至后对所述需交互信息中的所有图文信息分别进行存储；且步骤302中对所 述需交互信息中的一组或多组图文信息进行处理时，按照存储位置的先后顺序，由前至后对所述需交互信息中的所有图文信息分别进行处理。3.按照权利要求I或2所述的一种基于普通纸笔的人机交互方法，其特征在于步骤一中多个类型所述图文信息分类符包括纯文字信息分类符(7-1)、草图绘制信息分类符(7-2)、二维几何绘制信息分类符(7-3)、三维几何建模信息分类符(7-4)、物理信息分类符(7-5)和仿真按钮信息分类符(7-6)； 步骤302中进行信息处理时，对任一组图文信息来说，当步骤301中识读出该组图文信息的图文信息分类符为所述纯文字信息分类符(7-1)时，该组图文信息为纯文字信息；且调用与所述纯文字信息分类符(7-1)相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识另O，并将识别结果存为文本数据后存至存储器(3-5)中； 当步骤301中识读出该组图文信息的图文信息分类符为所述草图绘制信息分类符(7-2)时，该组图文信息为草图绘制信息；且调用与所述草图绘制信息分类符(7-2)相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块调用二维图像处理模块，将该组图文信息中的图文信息内容存储为图片格式，并通过显示器(3-2)进行直观显示；当步骤301中识读出该组图文信息的图文信息分类符为所述二维几何绘制信息分类符(7-3)时，该组图文信息为二维几何绘制信息；且调用与所述二维几何绘制信息分类符(7-3)相对应的信息处理模块对该组图文信息进行处理时，所述信息处理模块先调...

【专利技术属性】
技术研发人员：柳有权，苏仙鹤，郑伟，
申请(专利权)人：长安大学，
类型：发明
国别省市：