一种点击、滑动、手势识别与语音结合的触摸屏交互系统，通过屏幕左端自上而下滑动，获取目录页中节点信息，语音播报输出；通过在屏幕上自左向右滑动，并滑至屏幕右端，实现选中节点的开启或选中目录节点的页面切换，同时得到语音播报的位置信息；通过在屏幕上滑动并画出规定手势符号，实现规定手势符号代表的操作或开启相应功能，得到操作的语音提示信息；所有目录节点设计为滑动开关，并定义固定的手势符号对应常规的用户操作，通过在屏幕上滑动手指，用户可实现“打开”、“输入”、“拨号”、“返回”、“撤销”等操作，所有手势符号均设计为“一笔画”输入，同时每个操作及输入过程伴随有语音辅助提示，保证用户精准、快捷的操作使用设备。
【技术实现步骤摘要】
【技术保护点】
一种点击、滑动、手势识别与语音结合的触摸屏交互系统，其特征在于包括：拨号模块、通讯录模块、通话记录模块和紧急呼叫模块四个模块；所述四个模块共有一个系统数据库，共享一份数据库表；其中：拨号模块，实现“手写拨号”和“语音拨号”两个功能；对于“手写拨号“，捕捉用户输入手势符号，与手势符号库预先设计的多种手势符号对照匹配，匹配成功触发相应操作，最终调用通讯模块实现号码拨出；对于”语音拨号“，捕捉用户语音，对照语音库识别用户语音，返回对应字符串信息；返回字符串与数据库表项查找匹配，取得相应表项中号码字段信息，最终调用通讯模块实现号码拨出，拨号模块中生成的通话记录信息被通话记录模块使用查询；通讯录模块，实现用户联系人信息的存储功能，对数据库表项进行增、删、改操作，修改更新后的信息被拨号模块和紧急呼叫模块查询使用；该模块分两种情况分别实现，联系人号码信息，使用“手写拨号”功能中的原理，对用户手势符号捕捉、识别，匹配手势库，返回对应操作；联系人姓名信息，使用语音识别技术，捕捉用户语音，识别翻译为字符串信息，记录数据库表中；通话记录模块，实现最近通话的查询、快速重拨功能；该模块的设计与菜单界面类似，使用“点击、滑动”方式，用滑动按钮代表通话记录项，捕捉触摸点位置，返回相应记录的语音信息，语音播报出来；跟踪每个滑动按钮的移动位置，当按钮位置到达触摸屏幕右端边界，出发对当前记录中号码信息的拨叫；该模块从拨号模块获得通话记录信息，取得的信息与通讯录中修改、添加的信息匹配对照，返回联系人姓名和号码字段并进行语音合成输出；紧急呼叫模块，实现报警号码、急救号码和自定义紧急联系人号码的快速拨叫功能；该模块使用“点击、滑动”方式，滑动按钮触发紧急号码拨号，报警号码、急救号码为固定写入系统的信息，自定义紧急联系人号码从系统的数据库表中提取得到，该信息对应通讯录模块中增添、修改的信息；系统捕捉触摸点位置，查询数据库后返回相应姓名、号码字段信息，语音合成输出。系统跟踪滑动按钮的移动位置，按钮位置到达触摸屏幕右端边界，触发记录号码的快速拨叫，同时在数据库中增加此次通话记录；引擎控制模块，实现对拨号模块、通讯录模块、通话记录模块、紧急呼叫模块和系统数据库间的数据查询、增添、修改、删除、同步工作及四个功能模块间的切换操作；该模块可以是现有的智能手机操作系统的控制模块，也可以是单独编码完成的控制引擎；该模块从 通讯录模块中获取联系人信息，记录在系统数据库中，从拨号模块、紧急呼叫模块中获取通话记录信息，记录在系统数据库中；得到通话记录模块、紧急呼叫模块的信息请求后，从数据库中查找相应联系人信息字段或通话记录信息字段，返回给请求模块使用。...
【技术特征摘要】
【专利技术属性】
技术研发人员：宋友，杨娜，杨帆，张野，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。