一种人与触摸屏设备的交互系统及交互方法，它是在内容按照树状结构组织的程序中，通过以下两种操作方式实现人机交互的方法。一、通过全屏任意位置滑动，当滑动距离满足一定要求时，实现当前目录中选中节点的切换，并语音播报当前选中节点的位置，或者返回至选中节点父节点目录，并切换选中节点；二、通过在全屏任意位置单击来进入子节点或者阅读叶子节点内容，如果当前选中节点包含子节点，那么选中节点切换成当前的选中节点的子节点目录的默认选中节点，切换完成后，语音播报当前选中节点的位置，如果当前的选中节点是叶子节，则将触摸屏分区，分别响应暂停、继续、快进、快退等功能。
【技术实现步骤摘要】
本专利技术是，通过在触摸屏中实现全屏滑动、单击进行控制操作，并实现语音播报。
技术介绍
目前，市场上运用的对于具有滑动、单击功能触摸屏的设备的交互方法中，在对内容是树状组织结构的程序进行交互操作时，滑动响应操作都只限定于某一特定局部位置，点击响应操作也只限定于某一特定局部区域。例如当前的手机音乐播放器，基本都是提供按钮来进行切换、播放、暂停等等操作，这样只有当我们准确地点击这些按钮时才能完成我们想要的操作，对于身体正常的人来说，还是可以完成交互的，但是会很繁琐，如果是对于盲人用户，几乎无法定位设备触摸屏中响应滑动、点击的具体位置，无法正常完成交互。由此可见，传统的需要准确定位才能响应的触摸屏交互模式，限制多，交付不方便，尤其不适合盲人用户进行交互。
技术实现思路
本专利技术的技术解决问题为了克服现行触摸屏设备交互方法需要具体定位的不足，特别是难以满足盲人用户与触摸屏设备交互的缺陷，提供，不需要精确定位，即可全屏响应，并提供语音合成播报提示的交互模式，让用户在操作触摸屏设备时，可以在触摸屏的任意位置通过滑动、单击来和触摸屏设备运行的系统进行交互。本专利技术的技术解决方案一种人与触摸屏设备的交互方法，包括节点创建模块，树形结构组织模块，事件监测控制模块、全屏任意滑动信号处理模块、全屏任意单击信号处理模块、全屏分区单击信号处理模块，语音朗读模块，自定义功能执行模块，其中节点创建模块，从外界获取交互系统的功能内容，解析功能内容并实现功能节点的创建，节点作为交互系统的最小功能载体，其中叶子节点承载交互系统要求实现的主要功能的内容，创建完成后，将节点交付给树形结构组织模块；其中叶子节点是指在树形结构中，没有子节点的节点；树形结构组织模块，接收来自节点创建模块的节点，将接收的节点，按照人为设计好的树形结构进行组织，接收完所有的节点后，将组成具有树形组织结构的节点集合，节点集合初始化时，选中节点默认为节点集合在树形结构中的根节点，当前目录默认为根节点的目录，将由节点组织完成的具有树形组织结构的节点集合交付给事件监测控制模块;其中，选中节点，是指将节点承载的所有功能内容呈现在触摸屏设备上的节点，当前目录，是指在节点组成的具有树形组织结构的节点集合中，与选中节点具有共同父节点的所有节点的集合；事件监测控制模块，接收来自树形结构组织模块的具有树形组织结构的节点集合，然后接收来自触摸屏设备的全屏任意区域单击或滑动信号，实现对任意滑动信号和任意单击信号进行监测，并实现节点集合中选中节点使用权的分配，将选中节点使用权分配给其它各个模块，当模块检测到来自触摸屏设备的全屏任意区域的单击或滑动信号时，该模块将选中节点的使用权分配给对应信号的模块进行处理，处理完成后，对应信号的模块需要将选中节点使用权归还给该模块；此处的节点使用权是指拥有切换、更新选中节点和使用选中节点包含的节点信息及承载的功能内容的权利；全屏任意滑动信号处理模块，实现交互系统的树形组织结构的节点集合中的选中节点的切换，或者实现交互系统的树形组织结构的节点集合中的选中节点的切换并切换当前目录的功能，当接收到来自触摸屏任意区域的滑动信号时，模块等待接收来自事件监测控制模块分配的选中节点使用权，一旦模块获取选中节点使用权，并且获取的滑动信号中本次滑动在触摸屏上滑动距离在X，y轴上的分量满足设定的要求时，将进行选中节点的切换，或者进行选中节点的切换并切换当前目录，切换完成后，将更新后的选中节点包含的节点信息交付给语音朗读模块进行处理，并将更新后的选中节点使用权交还给事件监测控制模块；其中，节点信息是指节点在树形结构中的位置等等和节点相关的信息；全屏任意单击信号处理模块，实现进入交互系统的树形组织结构的节点集合中选中节点的子目录并切换选中节点，或者执行交互系统的树形组织结构的节点集合中叶子节点功能内容，当接收到来自触摸屏任意区域的单击信号时，模块等待接收来自事件监测控制模块分配的选中节点使用权，模块接收使用权后，将判断选中节点在交互系统的树形组织结构的节点集合中是否是叶子节点，如果是，则将接收的选中节点使用权交付给全屏分区单击信号处理模块进行处理；如果不是，则切换到选中节点的子节点的目录，然后再切换选中节点，切换完成后，将更新后的选中节点包含的节点信息交付给语音朗读模块进行处理，并将更新后的选中节点使用权交还给事件监测控制模块；全屏分区单击信号处理模块，实现暂停、开始、加快、后退对叶子节点内容的语音阅读，此模块接收来自全屏任意单击信号处理模块交付的选中节点使用权，并接收来自触摸屏任意区域的单击信号，此时选中节点为叶子节点，将触摸屏划分为3个区域，记为A区、B区、C区，并将选中节点承载的功能内容交付给自定义功能执行模块处理，当接收到的信号的触发点在B区，发送代表“暂停执行”或“开始执行”的信号给自定义功能执行模块，当接收到的信号的触发点在A区，发送代表“加快执行”的信号给自定义功能执行模块，当接收到的信号的触发点在C区，发送代表“后退执行”的信号给自定义功能执行模块；功能完成后，将选中节点的使用权交还给事件监测控制模块；语音朗读模块，接收来自全屏任意滑动信号处理模块、全屏任意单击信号处理模块的节点信息，并对信息进语音播报和提示；自定义功能执行模块，接收来自全屏分区单击信号处理模块交付的选中节点的功能内容，然后执行功能内容，同时接收来自全屏分区单击信号处理模块的代表暂停执行、继续执行、加快执行、后退执行的信号，并相应地执行的暂停执行功能内容、继续执行功能内容、加快执行功能内容，后退执行功能内容；该模块是人为设计的系统主要功能执行平台；所述节点创建模块实现过程如下(I)从外界获取交互系统的功能内容；( 2)创建节点，将功能内容按照人为设定的属性组织结构解析为小的功能内容块，然后将功能内容块装在到创建的节点上；(3)将创建的节点交付给树形结构组织模块；所述树形结构组织模块实现过程如下(I)接收来自节点创建模块的节点；(2)将接收的节点按照人为设计的树形组织结构，放到人为设定的树形组织结构的节点集合中；(3)重复(I)、(2)步骤，等待接收完所有节点后，初始化具有树形组织结构的节点集合，设定根节点为选中节点，根节点的目录为当前目录；(4)将组织完成的具有树形组织结构的节点结合交付给事件监测控制模块；所述事件监测控制模块实现过程如下( I)接收来自树形结构组织模块的具有树形结构组织的节点集合，并锁定选中节点使用权；(2)等待接收来自触摸屏的任意区域的单击信号或滑动信号；(3)如果接收到来自触摸屏的任意区域的滑动信号，并且锁定了选中节点使用权，则将选中节点使用权解锁，把选中节点使用权交付给全屏任意滑动信号处理模块，再执行步骤(5);如果接收到来自触摸屏的任意区域的滑动信号，并且没有锁定选中节点使用权，则执行步骤(5);(4)如果接收到来自触摸屏的任意区域的单击信号，并且锁定了选中节点使用权，则将选中节点使用权解锁，把选中节点使用权交付给全屏任意单击信号处理模块，再执行步骤(5);如果接收到来自触摸屏的任意区域的单击信号，并且没有锁定选中节点使用权，则执行步骤(5);( 5 )等待回收选中节点使用权；(6)回收完选中节点使用权后，将选中节点使用权加锁，再执行步骤(2)；所述全屏任意滑动信号处理本文档来自技高网...
【技术保护点】
一种人与触摸屏设备的交互系统，其特征在于：包括，节点创建模块、树形结构组织模块、事件监测控制模块、全屏任意滑动信号处理模块、全屏任意单击信号处理模块、全屏分区单击信号处理模块、语音朗读模块、自定义功能执行模块，其中：节点创建模块，从外界获取交互系统的功能内容，解析功能内容并实现功能节点的创建；节点作为交互系统的最小功能载体，其中叶子节点承载交互系统要求实现的主要功能的内容，创建完成后，将节点交付给树形结构组织模块；其中叶子节点是指在树形结构中没有子节点的节点；树形结构组织模块，接收来自节点创建模块的节点，将接收的节点，按照人为设计好的树形结构进行组织，接收完所有的节点后，将组成具有树形组织结构的节点集合；节点集合初始化时，选中节点默认为节点集合在树形结构中的根节点，当前目录默认为根节点的目录，将由节点组织完成的具有树形组织结构的节点集合交付给事件监测控制模块；其中，选中节点，是指将节点承载的所有功能内容呈现在触摸屏设备上的节点，当前目录是指在节点组成的具有树形组织结构的节点集合中与选中节点具有共同父节点的所有节点的集合；事件监测控制模块，接收来自树形结构组织模块的具有树形组织结构的节点集合，然后接收来自触摸屏设备的全屏任意区域单击或滑动信号，实现对任意滑动信号和任意单击信号进行监测，并实现节点集合中选中节点使用权的分配；将选中节点使用权分配给全屏任意滑动信号处理模块或者全屏任意单击信号处理模块，当检测到来自触摸屏设备的全屏任意区域的滑动信号时，将选中节点的使用权分配给全屏任意滑动信号处理模块进行处理，或者当检测到来自触摸屏设备的全屏任意区域的单击信号时，将选中节点的使用权分配给全屏任意单击信号处理模块进行处理，处理完成后，当前获取了选中节点使用权的模块需要将选中节点使用权归还给事件监测控制模块；此处的节点使用权是指拥有切换、更新选中节点和使用选中节点包含的节点信息及承载的功能内容的权利；全屏任意滑动信号处理模块，实现交互系统的树形组织结构的节点集合中的选中节点的切换，或者实现交互系统的树形组织结构的节点集合中的选中节点的切换并切换当前目录的功能；当接收到来自触摸屏任意区域的滑动信号时，等待接收来自事件监测控制模块分配的选中节点使用权，一旦获取选中节点使用权，并且获取的滑动信号中本次滑动在触摸屏上滑动距离在x,y轴上的分量满足设定的要求时，将进行选中节点的切换，或者进行选中节点的切换并切换当前目录，切换完成后，将更新后的选中节点包含的节点信息交付给语音朗读模？块进行处理，并将更新后的选中节点使用权交还给事件监测控制模块；其中，节点信息是指节点在树形结构中的位置和节点相关的信息；全屏任意单击信号处理模块，实现进入交互系统的树形组织结构的节点集合中选中节点的子目录并切换选中节点，或者执行交互系统的树形组织结构的节点集合中叶子节点功能内容；当接收到来自触摸屏任意区域的单击信号时，模块等待接收来自事件监测控制模块分配的选中节点使用权，模块接收使用权后，将判断选中节点在交互系统的树形组织结构的节点集合中是否是叶子节点，如果是，则将接收的选中节点使用权交付给全屏分区单击信号处理模块进行处理；如果不是，则切换到选中节点的子节点的目录，然后再切换选中节点，切换完成后，将更新后的选中节点包含的节点信息交付给语音朗读模块进行处理，并将更新后的选中节点使用权交还给事件监测控制模块；全屏分区单击信号处理模块，实现暂停、开始、加快、后退对叶子节点内容的语音阅读；接收来自全屏任意单击信号处理模块交付的选中节点使用权，并接收来自触摸屏任意区域的单击信号，此时选中节点为叶子节点，将触摸屏划分为3个区域，记为A区、B区、C区，并将选中节点承载的功能内容交付给自定义功能执行模块处理，当接收到的信号的触发点在B区，发送代表“暂停执行”或“开始执行”的信号给自定义功能执行模块，当接收到的信号的触发点在A区，发送代表“加快执行”的信号给自定义功能执行模块，当接收到的信号的触发点在C区，发送代表“后退执行”的信号给自定义功能执行模块；功能完成后，将选中节点的使用权交还给事件监测控制模块；语音朗读模块，接收来自全屏任意滑动信号处理模块、全屏任意单击信号处理模块的节点信息，并对信息进语音播报和提示；自定义功能执行模块，接收来自全屏分区单击信号处理模块交付的选中节点的功能内容，然后执行功能内容，同时接收来自全屏分区单击信号处理模块的代表暂停执行、继续执行、加快执行、后退执行的信号，并相应地执行的暂停执行功能内容、继续执行功能内容、加快执行功能内容，后退执行功能内容。...
【技术特征摘要】
【专利技术属性】
技术研发人员：宋友，张野，谢鹏志，杨帆，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。