使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法技术方案

本文描述了一种用于使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法。该系统可以包括计算系统101、控制单元103和用户设备104。控制单元103可以嵌入在手套对上。控制单元103可以收集由用户执行的手势的原始数据，并通过用户设备104传输到计算系统101。计算系统101可以使用人工神经网络(ANN)方法处理原始数据。计算系统101可以导出手势字母的值并且还可以自动校正手势字母的值以便使误差最小化。计算系统101还可以在用户设备104的屏幕上显示图片或图形文字，以用于视觉提示个体使用手部手势字母拼写相关联的单词。

The system and method of making the interactive wearable device as the supplementary education for the deaf individual

This paper describes a system and method for enabling interactive wearable devices to serve as educational supplements for individuals with hearing impairment. The system may include a computing system 101, a control unit 103, and a user device 104. The control unit 103 may be embedded on the glove pair. The control unit 103 may collect the original data of the gesture executed by the user and transmit it to the computing system 101 through the user device 104. The computing system 101 can use the artificial neural network (ANN) method to process the original data. The calculation system 101 may derive the value of the gesture letter and may also automatically correct the value of the gesture letter to minimize the error. The computing system 101 may also display a picture or graphic text on the screen of the user device 104 to visually prompt an individual to use the hand gesture letters to spell the associated words.

【技术实现步骤摘要】
【国外来华专利技术】使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法相关申请的交叉引用和优先权本申请要求2017年3月3日提交的、申请号为20172100766的印度专利的优先权。
本专利技术总体上涉及可穿戴设备
，且更具体地，涉及使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法。
技术介绍
根据“印度人口普查：2017年人口计数数据(最终人口)(CensusofIndia:PopulationEnumerationData(FinalPopulation),2017)”的报告，已观察到印度各地在5-19岁年龄组中，约1279358名儿童显著的听力损失。虽然其中67％一直上学，但21％从未得到任何正规教育。此外，根据印度的人口普查数据(2011年)，总人口中近三百万为言语障碍和听障。根据全国聋人协会(NAD)的资源，针对言语障碍和听障人口的手语翻译员只有254种人。患有严重/重度听力损失(70db到-95db以及95dB或更高)的儿童听力非常困难，并且主要依赖于唇读和/或手语。手语通过特定给定的聋人群体发展为三级建模设备，使该群体的成员从他们当时环境中获得刺激。手语是一种视觉空间形式，空间和移动能够以这种形式用于语言学上表示世界中的空间和移动。对听障儿童的教育的差距是对于任何国家的可持续和/或包容性发展的阻碍。对听障人士的教育一直充满挑战。尽管许多研究表明HI儿童通过手语学习得最好，但远离课堂使用印度手语(ISL)的困境剥夺了大量耳聋人口的交流权。由于教师专注于口授法，这些耳聋人口在聋校从1-12年级几乎没有学到任何东西。当耳聋儿童坚持通过手语学习时，他们被忽视并且口授法继续进行，尽管他们设法通过12年级，但他们中大约98％为文盲而且他们中2％几乎没有获得知识，他们在找工作时也面临着问题。(全国聋人协会，http://nadindia.org/)。由专家所做的关于10年级学生的研究显示结果：学生甚至无法识别简单的书面单词(例如梳子或睡眠)。除了使用双语方法或全面沟通方法教学的聋校之外，印度的聋校不教授手指拼写。手指拼写是手语的一部分。研究发现耳聋儿童能够通过手语培养英语词汇以及阅读与写作技能。当教师不使用ISL教学并且口授法没有适当实施或不适合儿童时，那么儿童的阅读/写作技能就不会有太多发展。目前没有专门针对耳聋儿童的识字水平的测量系统。尽管对于听力正常儿童开发的各种标准化的识字测试也用于耳聋儿童。尽管老师们知道我们的耳聋学生的阅读写作技能很差；但支持这点的经验数据非常少。由于目前尚未完成印度耳聋儿童识字率的研究，因此没有关于印度耳聋儿童识字率的统计数据。这一切都基于经验和观察并且推断出识字率非常低。耳聋儿童识字率低的原因有几种，包括缺乏有意义的沟通、不完整的第一语言、教育质量差等。聋人不会像听力正常人那样用口语交往。但研究也表明对于语法和词汇来说手语体现在大脑中的区域与口语体现在大脑中的区域相同。唯一不同的大脑区域与肢体表达有关；口语与声音和说话区域相关联，并且手语与大脑的视觉和空间区域相关联。因此根据大脑，手语与口语一样为语言并且它以相同的方式得到表示。事实上，手语是视觉手动语言并且聋人是视觉学习者。与具有听力能力的人相比，这也给予了他们一定的与视觉和空间分析相关的益处。例如，由于聋人依靠观察来注意环境中的变化，因此聋人的周边视觉处理比具有听力能力的人更强。并且耳聋儿童比具有听力能力的儿童具有更好的视觉空间记忆。因为儿童能够完全没有任何限制地进行交流，所以通过ISL的学习有助于认知和社会心理发展的所有方面。在这些学校的口授教育中也缺乏适当且有效的视听支持。这导致大多数耳聋儿童的沟通和语言技能不足，造成聋人群体的识字技能差的影响。现实是，聋校主要不使用ISL并且近5％的聋人就读聋校。ISL的使用仅限于职业课程和短期课程。用于补充在校听障学生的教材学习材料的当前资源仅限制/受限于常规的教学方法。此外，还需要来自特殊教师或资源教师的帮助以培养良好的阅读和写作技能。在当前的情况下，借助教师的帮助，这些视觉学习辅助工具帮助耳聋儿童仅仅识别对象。但是为能拼写单词、理解它们并且然后为了进一步的阅读和写作的学术要求建立所获得的知识，他们需要本地媒介(印度手语)。为成为读者，儿童必须学习他们已经知道的口语和打印在页面上的单词之间的映射。对于英语，如对于大多数语言来说一样，映射基于声音。重度耳聋儿童作为潜在读者是不利的——他们无法轻松获取语音代码并且许多人没有很好地了解任何语言，更不必说从印刷物所获取的语言了。重度耳聋儿童无法充分获取对于印刷物-声音映射的听觉基础。因此，书面语和口语之间的关联必须被教授，并且所述关联不像聋人教育中所假设的那样由儿童自然获得。儿童在结构化手语中的技能提供了语言基础，从该语言基础能够发生另一种语言技能的发展，例如阅读。结构化手语的经验形成了符号库，儿童能够从该符号库中学习印刷单词的含义。在阅读测试中表现得更好的年幼耳聋儿童是在“联想技能”方面有能力或者能够写下手指拼写给他们的单词并且能够翻译初始化符号的儿童。手指拼写是对耳聋儿童培养其书面沟通技能的有效方式。需要通过教授儿童将结构化手语形态与英语正写法建立联系的语言和阅读指令的过程来发现和培养联想技能。这些技能不是自然获得的，且必须通过指令的方式来形成。在现有技术中，使用总体手部手势表示日常对话中使用的完整单词的概念，可用于听障儿童的教学或学习解决方案专注于符号到文本、或符号到言语的转换，反之亦然。然而，这些解决方案仅与美国手语(ASL)兼容。在印度，使用印度手语，其中手形表示参照对象的视觉空间属性，并且基于手形形成区别于其他类别的类别。这需要的是分类器手形为语素(语言中无法被分割的最小的语法单位，例如come、in等)。ISL部分受到手指拼写系统中的英国手语和一些其他符号的影响，但大多数与欧洲符号系统无关。ISL本身是唯一的且一致的。存在关于ISL的唯一特征的重要理论并且通过作为起源的移动(Supalla1986、1990；Schick1990；Liddell&Johnson1987)和作为起源的手形(McDonald1982；Engberg-Pedersen1993)描述了ISL中的一致性。印度手语(ISL)与其他国家的符号在句法、语音学、形态和语法上不同。ISL使用静态和动态手势、面部表情、头部/身体姿势、手相对于身体的位置和定向等来表示符号。在ISL中，手语表示者选择利用具有/不具有分类器手形的词汇符号来构造表示动作和位置的动词的句子。动作和位置的动词中的分类器手形被并入动词根中，并且由于音节约束而删除动词的手形。总体来说ISL分类器，尤其是ISL反映了手语表示者与他们的社会、物理和功能的环境的交互(如由Denny1976年提出地)。ISL使用双手以代表一些符号，并甚至手指拼写语言中地点、人物或事物的名词性名称。仅与美国手语(ASL)兼容的现有解决方案可能不支持ISL，并且因此使用计算方式翻译ISL仍为未解决的挑战。由于ISL主要使用双手进行手语表示和手指拼写，因此长期存在需求一种系统和方法，该系统和方法本文档来自技高网...

【技术保护点】
1.一种使交互式可穿戴设备能够用作听障个体的教育补充的系统(100)，所述系统包括：/n计算系统(101)；/n控制单元(103)；以及/n用户设备(104)，其与计算系统(101)和控制单元通信耦合；/n其中所述控制单元(104)还包括多个传感器、微控制器(201)和短程收发器(204)，其中所述控制单元(103)通过短程传输协议与用户设备(104)通信耦合，并且其中所述多个传感器嵌入定制手套对上，其中所述定制手套对适于采用穿戴者的手的形式，其中所述多个传感器包括一个或更多个接触传感器(203)以及一个或更多个弯曲传感器(202)，其中所述一个或更多个接触传感器(203)配置为对定制手套对的接触点进行预定义次数的连续扫描以便确认手势完成，并且其中所述微控制器(201)配置为读取所述定制手套对的接触点以及来自所述一个或更多个弯曲传感器(202)的手指位置的数据，其中所述微控制器(201)配置为从所述定制手套对的一个定制手套处针对手语的手势字母收集双手的原始数据，以便在完成双手的手势之后执行与手势字母的预定数据的比较，并且其中所述微控制器(201)还配置为使用短程传输协议通过用户设备(104)将原始数据传输到计算系统(101)；并且/n其中所述计算系统(101)配置为/n使用神经网络方法处理原始数据以便导出手势字母的值，/n将从一个或更多个弯曲传感器获得的数据与预定义数据进行比较，以便确认手势字母的值，/n根据比较自动校正手势字母的值以便使误差最小化；以及/n在用户设备(104)的屏幕上显示图片或图形文字，以用于视觉提示个体/用户使用手部手势字母拼写相关联的单词。/n...

【技术特征摘要】
【国外来华专利技术】20170303 IN 2017210076661.一种使交互式可穿戴设备能够用作听障个体的教育补充的系统(100)，所述系统包括：
计算系统(101)；
控制单元(103)；以及
用户设备(104)，其与计算系统(101)和控制单元通信耦合；
其中所述控制单元(104)还包括多个传感器、微控制器(201)和短程收发器(204)，其中所述控制单元(103)通过短程传输协议与用户设备(104)通信耦合，并且其中所述多个传感器嵌入定制手套对上，其中所述定制手套对适于采用穿戴者的手的形式，其中所述多个传感器包括一个或更多个接触传感器(203)以及一个或更多个弯曲传感器(202)，其中所述一个或更多个接触传感器(203)配置为对定制手套对的接触点进行预定义次数的连续扫描以便确认手势完成，并且其中所述微控制器(201)配置为读取所述定制手套对的接触点以及来自所述一个或更多个弯曲传感器(202)的手指位置的数据，其中所述微控制器(201)配置为从所述定制手套对的一个定制手套处针对手语的手势字母收集双手的原始数据，以便在完成双手的手势之后执行与手势字母的预定数据的比较，并且其中所述微控制器(201)还配置为使用短程传输协议通过用户设备(104)将原始数据传输到计算系统(101)；并且
其中所述计算系统(101)配置为
使用神经网络方法处理原始数据以便导出手势字母的值，
将从一个或更多个弯曲传感器获得的数据与预定义数据进行比较，以便确认手势字母的值，
根据比较自动校正手势字母的值以便使误差最小化；以及
在用户设备(104)的屏幕上显示图片或图形文字，以用于视觉提示个体/用户使用手部手势字母拼写相关联的单词。


2.如权利要求1所述的系统，其中，所述定制手套对使用导电棉或钢混纺纱线来编织，所述导电棉或钢混纺纱线在预定义位置处编程为用于以手语手语表示字母的一个或更多个接触传感器，其中所述手语为印度手语(ISL)。

【专利技术属性】
技术研发人员：奥农帕·巴蒂亚，克里希纳·马尔霍特拉，古里·莱克希米纳拉亚南，
申请(专利权)人：共生国际大学，
类型：发明
国别省市：印度;IN