一种用于聋哑人的智能交互系统技术方案

本发明专利技术公开了一种用于聋哑人的智能交互系统，包括信息监测模块、数据库、数据分析模块、控制器和信息比对模块；信息监测模块用于监测周围人群内的声音分贝数据和手指移动数据，来与各自的预设范围相比较，以生成转动信号并据此来控制沟通交互设备中的电机工作；本发明专利技术可将聋哑人与周围人群的交谈情况和动作情况相结合分析，并据此控制沟通交互设备运动，来提高聋哑人与外界的信息交互效果；且还可将该聋哑人与各交谈对象的沟通状况进行公式化分析，并依据得出的不同优先级来做出择优的执行动作，同时还能够对优先级情况进行持续的更新，以便贴合该聋哑人的实际需求，大大提升了沟通交流时的智能化程度。

An intelligent interactive system for the deaf mute

The invention discloses an intelligent interactive system for the deaf mute, including an information monitoring module, a database, a data analysis module, a controller and an information comparison module; an information monitoring module is used to monitor the sound decibel data and finger movement data in the surrounding population, to compare with the preset ranges of each self, to generate a rotation signal and control the Electric motor works; the invention can analyze the conversation and action of the deaf mute and the surrounding people, and control the movement of the communication and interaction equipment according to the analysis, so as to improve the information interaction effect between the deaf mute and the outside world; it can also analyze the communication condition of the deaf mute and each conversation object by formula, and make the optimal execution action according to the different priority obtained, at the same time It can also continuously update the priority situation, so as to meet the actual needs of the deaf mute, and greatly improve the intelligent level of communication.

【技术实现步骤摘要】
一种用于聋哑人的智能交互系统
本专利技术涉及智能交互系统
，具体为一种用于聋哑人的智能交互系统。
技术介绍
聋哑人就是通常所说的出生后或处于幼儿时期便有严重耳聋，不能听到周围事物发出的声音，或因耳聋而重新丧失说话能力者。且在公开号为CN108335580A的文件中，仅是依据感应器来感应聋哑人的手势，并将其输入转码器，再通过转码器将聋哑人手语动作识别转化为相应的数据码信息，据此进行数据检索和语音转化，以解决聋哑人与不会手语人的交流问题；而将其与现有的用于聋哑人的智能交互系统相结合来说，仍然难以将聋哑人与周围人群的交谈情况和动作情况相结合分析，并据此控制沟通交互设备运动，来提高聋哑人与外界的信息交互效果；且难以依据聋哑人与各交谈对象的沟通状况来进行公式化分析，并据此做出择优的执行动作与适应性的持续更新，以便贴合该聋哑人的实际需求，大大提升了该聋哑人与各类人群在沟通交流时的智能化程度。为了解决上述缺陷，现提供一种技术方案。
技术实现思路
本专利技术的目的在于提供一种用于聋哑人的智能交互系统，本专利技术是先依据周围人群内的声音分贝数据和手指移动数据来生成转动信号，并控制沟通交互设备工作，将平板电脑运动至正对交谈对象的位置处，以便提高数据的采集精度，再依据与该预定位置处相对应的交谈对象的距离信息来控制沟通交互设备工作，将平板电脑转动至合适的角度位置处，使得交谈对象的手语或声音数据采集的更加完整，而在此过程中，可依据伸缩弹簧的回复力作用和立柱外侧的防滑凸粒与通孔内侧的防滑圆粒间的摩擦作用，使得平板电脑的位置被牢牢固定，以免交谈对象进行手写或其它触屏操作时，平板电脑易出现晃动的情况；且依据得到的一级采集信号或二级采集信号来控制全景摄像头采集手语图像、手写触摸屏采集汉字图像和声音传感器采集声音数据，并与数据库内的手语图像集、汉字图像集和声音数据集相比对，来翻译成相应的汉字图像和手语图像经手写触摸屏显示，即将聋哑人与周围人群的交谈情况和动作情况相结合分析，并据此控制沟通交互设备运动，来提高聋哑人与外界的信息交互效果；本专利技术是先将移动信息进行公式化分析，再将其与人脸图像信息一同进行权重化分析，以得到经双重标定的该聋哑人与各交谈对象间的亲密系数Fi，并将据此生成的高亲密度信号、中亲密度信号和低亲密度信号，来与其相对应的音色数据和人脸图像在第一时间段后的同一时间内所采集到的音色数据和人脸图像相比对，并依据优先级顺序来控制沟通交互设备运行至相对应的音色采集处或人脸图像采集处；且还对第一时间段后的该聋哑人与各交谈对象间的亲密系数Fi进行更新分析操作，以得到更新恒定信号和更新降低信号，并依据更新降低信号来将与该Fi相对应的高亲密度信号、中亲密度信号或低亲密度信号降低一个档次后，再将其音色数据或人脸图像进行后续的比对，而更新恒定信号则使其保持不变，进而将该聋哑人与各交谈对象的沟通状况进行公式化分析，并依据得出的不同优先级来做出择优的执行动作，同时还能够对优先级情况进行持续的更新，以便贴合该聋哑人的实际需求，大大提升了沟通交流时的智能化程度。本专利技术所要解决的技术问题如下：(1)如何将聋哑人与周围人群的交谈情况和动作情况相结合分析，并据此控制沟通交互设备运动，来提高聋哑人与外界的信息交互效果；(2)如何依据聋哑人与各交谈对象的沟通状况来进行公式化分析，并据此做出择优的执行动作与适应性的持续更新。本专利技术的目的可以通过以下技术方案实现：一种用于聋哑人的智能交互系统，包括信息监测模块、数据库、数据分析模块、控制器和信息比对模块；所述信息监测模块用于监测周围人群内的声音分贝数据和手指移动数据，而两者均为预设时间所监测到的平均数据，且分别依据沟通交互设备中的声音传感器和距离传感器采集得到，当声音分贝数据位于预设范围之外或手指移动数据位于预设范围之外时，生成转动信号并据此来控制沟通交互设备中的电机工作，电机带动第二转轴转动，第二转轴带动横板转动，横板则依据滑块和滑槽来带动竖板转动，竖板带动电动马达和第一转轴一同运动，第一转轴则带动平板电脑转动至预定位置处，并记录该次的转动角度，进而使得沟通交互设备中的平板电脑运动至正对交谈对象的位置处，以便提高数据的采集精度；且此时的信息监测模块还用于实时的采集与该预定位置处相对应的交谈对象的距离信息，而依据沟通交互设备中的距离传感器采集得到，且距离信息包括平板电脑与交谈对象间的垂直距离、平板电脑与交谈对象头部间的直线距离和平板电脑与交谈对象腰部间的直线距离，并对其进行角度分析操作，以得到实时的角度运动信号和一级采集信号；而信息监测模块则依据实时的角度运动信号来控制沟通交互设备中的电动马达工作，电动马达带动第一转轴转动，第一转轴则带动平板电脑转动至预定角度处，并记录该次的运动角度，同时生成二级采集信号，且此时平板电脑底部的圆形橡胶块也随之运动，并与C形橡胶套相接触的同时来逐渐挤压立柱，进而立柱向下运动并带动伸缩弹簧逐渐被压缩，以及立柱外侧的防滑凸粒与通孔内侧的防滑圆粒相摩擦运动，并据此来由相邻的两个C形橡胶套将圆形橡胶块的位置固定，进而将平板电脑的位置固定，即将沟通交互设备中的平板电脑转动至合适的位置处，可使交谈对象的手语或声音数据采集的更加完整；且信息监测模块在实时的接收到一级采集信号或二级采集信号时，则据此来控制全景摄像头采集手语图像、手写触摸屏采集汉字图像和声音传感器采集声音数据，并与数据库内的手语图像集、汉字图像集和声音数据集相比对，来翻译成相应的汉字图像和手语图像经手写触摸屏显示，而在交谈对象按下控制按钮后，则依据转动角度和运动角度运动至原位置，进而可将聋哑人与周围人群的交谈情况和动作情况相结合分析，并据此控制沟通交互设备运动，来提高聋哑人与外界的信息交互效果；所述信息监测模块还用于实时的采集交谈对象的音色数据、人脸图像信息和移动信息，并将其一同传输至数据分析模块，而分别依据声音传感器、全景摄像头和距离传感器采集得到，且人脸图像信息包括人脸图像、人脸图像的出现次数和人脸图像的出现时长，且移动信息包括点头次数、摇头次数、嘴角移动距离和手指移动距离；所述数据分析模块则对人脸图像信息和移动信息进行级别判定操作，以得到第一时间段内的该聋哑人与各交谈对象间的亲密系数Fi，并在Fi大于预设范围k的最大值、位于预设范围k之内和小于预设范围k的最小值时，分别将与该Fi相对应的音色数据、人脸图像和Fi生成高亲密度信号、中亲密度信号和低亲密度信号，并一同经控制器传输至信息比对模块；所述信息比对模块则将实时接收到的高亲密度信号、中亲密度信号和低亲密度信号所对应的音色数据和人脸图像，来与信息监测模块在第一时间段后的同一时间内所采集到的音色数据和人脸图像相比对，并在比对到多个相一致的音色数据或人脸图像时，则依据各信号所对应的音色数据和人脸图像的优先级，来控制沟通交互设备运行至与该高优先级相对应的音色采集处或人脸图像采集处，并在未比对到相一致的音色数据或人脸图像时，则不做出任何动作，而在仅比对到一个相一致的音色数据或人脸图像时，则直本文档来自技高网...

【技术保护点】
1.一种用于聋哑人的智能交互系统，其特征在于，包括信息监测模块、数据库、数据分析模块、控制器和信息比对模块；/n所述信息监测模块用于监测周围人群内的声音分贝数据和手指移动数据，当声音分贝数据位于预设范围之外或手指移动数据位于预设范围之外时，生成转动信号并据此来控制沟通交互设备中的电机(10)工作，电机(10)带动第二转轴(9)转动，第二转轴(9)带动横板(7)转动，横板(7)则依据滑块(12)和滑槽(9)来带动竖板(2)转动，竖板(2)带动电动马达(1)和第一转轴(6)一同运动，第一转轴(6)则带动平板电脑(5)转动至预定位置处，并记录该次的转动角度；/n且此时的信息监测模块还用于实时的采集与该预定位置处相对应的交谈对象的距离信息，且距离信息包括平板电脑(5)与交谈对象间的垂直距离、平板电脑(5)与交谈对象头部间的直线距离和平板电脑(5)与交谈对象腰部间的直线距离，并对其进行角度分析操作，以得到实时的角度运动信号和一级采集信号；/n而信息监测模块则依据实时的角度运动信号来控制沟通交互设备中的电动马达(1)工作，电动马达(1)带动第一转轴(6)转动，第一转轴(6)则带动平板电脑(5)转动至预定角度处，并记录该次的运动角度，同时生成二级采集信号，且此时平板电脑(5)底部的圆形橡胶块(3)也随之运动，并与C形橡胶套(17)相接触的同时来逐渐挤压立柱(19)，进而立柱(19)向下运动并带动伸缩弹簧(20)逐渐被压缩，以及立柱(19)外侧的防滑凸粒与通孔(18)内侧的防滑圆粒相摩擦运动，并据此来由相邻的两个C形橡胶套(17)将圆形橡胶块(3)的位置固定，进而将平板电脑(5)的位置固定；/n且信息监测模块在实时的接收到一级采集信号或二级采集信号时，则据此来控制全景摄像头(14)采集手语图像、手写触摸屏(15)采集汉字图像和声音传感器(16)采集声音数据，并与数据库内的手语图像集、汉字图像集和声音数据集相比对，来翻译成相应的汉字图像和手语图像经手写触摸屏(15)显示，而在交谈对象按下控制按钮后，则依据转动角度和运动角度运动至原位置；/n所述信息监测模块还用于实时的采集交谈对象的音色数据、人脸图像信息和移动信息，并将其一同传输至数据分析模块，且人脸图像信息包括人脸图像、人脸图像的出现次数和人脸图像的出现时长，且移动信息包括点头次数、摇头次数、嘴角移动距离和手指移动距离；/n所述数据分析模块则对人脸图像信息和移动信息进行级别判定操作，以得到第一时间段内的该聋哑人与各交谈对象间的亲密系数Fi，并在Fi大于预设范围k的最大值、位于预设范围k之内和小于预设范围k的最小值时，分别将与该Fi相对应的音色数据、人脸图像和Fi生成高亲密度信号、中亲密度信号和低亲密度信号，并一同经控制器传输至信息比对模块；/n所述信息比对模块则将实时接收到的高亲密度信号、中亲密度信号和低亲密度信号所对应的音色数据和人脸图像，来与信息监测模块在第一时间段后的同一时间内所采集到的音色数据和人脸图像相比对，并在比对到多个相一致的音色数据或人脸图像时，则依据各信号所对应的音色数据和人脸图像的优先级，来控制沟通交互设备运行至与该高优先级相对应的音色采集处或人脸图像采集处，并在未比对到相一致的音色数据或人脸图像时，则不做出任何动作；/n所述信息比对模块还将第一时间段后的该聋哑人与各交谈对象间的亲密系数Fi进行更新分析操作，以得到更新恒定信号和更新降低信号，并依据更新降低信号来将与Fi相对应的高亲密度信号、中亲密度信号或低亲密度信号降低一个档次后，再将其音色数据或人脸图像进行后续的比对，而更新恒定信号则使其保持不变，并将其音色数据或人脸图像进行后续的比对。/n...

【技术特征摘要】
1.一种用于聋哑人的智能交互系统，其特征在于，包括信息监测模块、数据库、数据分析模块、控制器和信息比对模块；
所述信息监测模块用于监测周围人群内的声音分贝数据和手指移动数据，当声音分贝数据位于预设范围之外或手指移动数据位于预设范围之外时，生成转动信号并据此来控制沟通交互设备中的电机(10)工作，电机(10)带动第二转轴(9)转动，第二转轴(9)带动横板(7)转动，横板(7)则依据滑块(12)和滑槽(9)来带动竖板(2)转动，竖板(2)带动电动马达(1)和第一转轴(6)一同运动，第一转轴(6)则带动平板电脑(5)转动至预定位置处，并记录该次的转动角度；
且此时的信息监测模块还用于实时的采集与该预定位置处相对应的交谈对象的距离信息，且距离信息包括平板电脑(5)与交谈对象间的垂直距离、平板电脑(5)与交谈对象头部间的直线距离和平板电脑(5)与交谈对象腰部间的直线距离，并对其进行角度分析操作，以得到实时的角度运动信号和一级采集信号；
而信息监测模块则依据实时的角度运动信号来控制沟通交互设备中的电动马达(1)工作，电动马达(1)带动第一转轴(6)转动，第一转轴(6)则带动平板电脑(5)转动至预定角度处，并记录该次的运动角度，同时生成二级采集信号，且此时平板电脑(5)底部的圆形橡胶块(3)也随之运动，并与C形橡胶套(17)相接触的同时来逐渐挤压立柱(19)，进而立柱(19)向下运动并带动伸缩弹簧(20)逐渐被压缩，以及立柱(19)外侧的防滑凸粒与通孔(18)内侧的防滑圆粒相摩擦运动，并据此来由相邻的两个C形橡胶套(17)将圆形橡胶块(3)的位置固定，进而将平板电脑(5)的位置固定；
且信息监测模块在实时的接收到一级采集信号或二级采集信号时，则据此来控制全景摄像头(14)采集手语图像、手写触摸屏(15)采集汉字图像和声音传感器(16)采集声音数据，并与数据库内的手语图像集、汉字图像集和声音数据集相比对，来翻译成相应的汉字图像和手语图像经手写触摸屏(15)显示，而在交谈对象按下控制按钮后，则依据转动角度和运动角度运动至原位置；
所述信息监测模块还用于实时的采集交谈对象的音色数据、人脸图像信息和移动信息，并将其一同传输至数据分析模块，且人脸图像信息包括人脸图像、人脸图像的出现次数和人脸图像的出现时长，且移动信息包括点头次数、摇头次数、嘴角移动距离和手指移动距离；
所述数据分析模块则对人脸图像信息和移动信息进行级别判定操作，以得到第一时间段内的该聋哑人与各交谈对象间的亲密系数Fi，并在Fi大于预设范围k的最大值、位于预设范围k之内和小于预设范围k的最小值时，分别将与该Fi相对应的音色数据、人脸图像和Fi生成高亲密度信号、中亲密度信号和低亲密度信号，并一同经控制器传输至信息比对模块；
所述信息比对模块则将实时接收到的高亲密度信号、中亲密度信号和低亲密度信号所对应的音色数据和人脸图像，来与信息监测模块在第一时间段后的同一时间内所采集到的音色数据和人脸图像相比对，并在比对到多个相一致的音色数据或人脸图像时，则依据各信号所对应的音色数据和人脸图像的优先级，来控制沟通交互设备运行至与该高优先级相对应的音色采集处或人脸图像采集处，并在未比对到相一致的音色数据或人脸图像时，则不做出任何动作；
所述信息比对模块还将第一时间段后的该聋哑人与各交谈对象间的亲密系数Fi进行更新分析操作，以得到更新恒定信号和更新降低信号，并依据更新降低信号来将与Fi相对应的高亲密度信号、中亲密度信号或低亲密度信号降低一个档次后，再将其音色数据或人脸图像进行后续的比对，而更新恒定信号则使其保持不变，并将其音色数据或人脸图像进行后续的比对。


2.根据权利要求1所述的一种用于聋哑人的智能交互系统，其特征在于，所述角度分析操作的具体步骤如下：
步骤一：获取到实时的距离信息，并将平板电脑(5)与交谈对象间的垂直距离、平板电脑(5)与交谈对象头部间的直线距离和平板电脑(5)与交谈对象腰部间的直线距离分别标定为Q、W和E；
步骤二：依据公式来求得翻译角度α并与预设范围q相比较，当翻译角度α位于预设范围q之外时，生成角度运动信号，反之生成一级采集信号。


3.根据权利要求1所述的一种用于聋哑人的智能交互系统，其特征在于，所述级别判定操作的具体步骤如下：
步骤一：获取...

【专利技术属性】
技术研发人员：艾祎璠，艾俊亭，
申请(专利权)人：艾祎璠，
类型：发明
国别省市：安徽;34