一种盲人社交智能眼镜制造技术

本发明专利技术涉及一种盲人社交智能眼镜，包括镜框，所述镜框前部设置有镜片，所述镜片为双层镜片，其中内层为显示屏，外层为偏光镜；所述镜框的一侧设有声音输入设备；所述镜框的内部空间内设有主控制器和语音识别模块；所述主控制器分别与语音识别模块和显示屏相连；所述声音输入设备用于接收用户的语音信息，所述语音识别模块提取出语音信息中的声音基音频率特征信息，所述主控制器根据声音基音频率特征从表情库中选择出与特征信息匹配的表情并在所述显示屏上进行显示。本发明专利技术使得盲人在与他人进行交流交谈时可以有眼神互动。

A Blind Social Smart Glass

【技术实现步骤摘要】
一种盲人社交智能眼镜
本专利技术涉及盲人用眼镜，特别是涉及一种盲人社交智能眼镜。
技术介绍
视觉能力是我们沟通外部世界、获得认知信息的主要来源，可以说是人类感觉功能中最重要的一项功能。然而双目失明的盲人由于各种各样的先天的生理缺陷和后天的伤害丧失了这一能力，因而在日常生活和安全行走方面受到了很大的制约与限制。随着科学技术和现代制造技术的快速发展，导盲眼镜已经成为一种很适合盲人的辅助用具，但是现有的导盲眼镜仅仅只能帮助盲人识别环境中的障碍物，其不能实现盲人在与他人进行交流交谈时进行眼神互动。
技术实现思路
本专利技术所要解决的技术问题是提供一种盲人社交智能眼镜，使得盲人在与他人进行交流交谈时可以有眼神互动。本专利技术解决其技术问题所采用的技术方案是：提供一种盲人社交智能眼镜，包括镜框，所述镜框前部设置有镜片，所述镜片为双层镜片，其中内层为显示屏，外层为偏光镜；所述镜框的一侧设有声音输入设备；所述镜框的内部空间内设有主控制器和语音识别模块；所述主控制器分别与语音识别模块和显示屏相连；所述声音输入设备用于接收用户的语音信息，所述语音识别模块提取出语音信息中的声音基音频率特征信息，所述主控制器根据声音基音频率特征从表情库中选择出与特征信息匹配的表情并在所述显示屏上进行显示。所述镜框的另一侧设有声音输出设备，所述镜框上还设置有与主控制器相连的图像获取设备，所述主控制器还连接有语音合成模块，所述图像获取设备用于获取交流对象的人物图像，所述主控制器根据接收到的人物图像识别出人的外貌特征，再通过所述语音合成模块将所述人的外貌特征转换为语音信息由所述声音输出设备输出。所述镜框上还设置有多个声音传感器，所述多个声音传感器与主控制器相连，所述多个声音传感器用于获取交流对象的声音，所述主控制器根据交流对象的声音到达不同声音传感器的时间差，计算声源的位置，并通过定位函数确定交流对象的位置，再根据得到的位置在显示表情时使得显示屏上显示的表情的目光聚焦方向在交流对象上。所述表情库中的表情是根据佩戴者头部图像3D扫描复原的拟真表情，所述拟真表情分常态表情和情绪表情，其中常态表情分为三种试样，分别为“平静”表情式样，用于表达专注、关切、认同情绪；“高兴”表情式样，用于表达开心、喜悦、欣赏情绪；“惊讶”表情式样，用于表达疑问、焦急、难过情绪；其中，各种情绪是根据对佩戴者声音基音频率特征采集测算的表情参数值，表情式样对应跟据佩戴者声音基音频率特征采集测算的表情参数值区间。所述镜框左右两侧均设置有眼镜带，两根眼镜带通过插扣连接。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术可以使盲人在与人交谈的社交场合，一方面通过图像获取设备“看到”交流对象的衣着外貌、面部表情以及所在场所环境等，使佩戴者获悉与交流对象同样的交流外部信息，另一方面通过眼镜同步播放对应佩戴者语音情绪的眼部动态图像实现与交流对象的互动交流。附图说明图1是本专利技术的结构示意图；图2是本专利技术的俯视图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种盲人社交智能眼镜，如图1和图2所示，包括镜框1，所述镜框前部设置有镜片2，所述镜片2为双层镜片，其中内层为显示屏21，外层为偏光镜22；所述镜框1的一侧设有声音输入设备3；所述镜框1的内部空间内设有主控制器和语音识别模块；所述主控制器分别与语音识别模块和显示屏21相连；所述声音输入设备3用于接收用户的语音信息，所述语音识别模块提取出语音信息中的声音基音频率特征信息，所述主控制器根据声音基音频率特征从表情库中选择出与特征信息匹配的表情并在所述显示屏上进行显示。为了方便佩戴，本实施方式中的镜框1左右两侧均设置有眼镜带6，两根眼镜带通过插扣7连接，其中眼镜带可以调节松紧，以适用于不同的人进行佩戴。所述镜框1的另一侧设有声音输出设备4，所述镜框1上还设置有与主控制器相连的图像获取设备5，所述主控制器还连接有语音合成模块，所述图像获取设备5用于获取交流对象的人物图像，所述主控制器根据接收到的人物图像识别出人的外貌特征，再通过所述语音合成模块将所述人的外貌特征转换为语音信息由所述声音输出设备4输出。本实施方式的盲人社交智能眼镜的镜框上缘中部设有摄像头(即图像获取设备)，该摄像头相当于佩戴者的眼睛，在与人交流的社交环境中摄像头摄录交流对象样貌及场景环境，并通过主控制器将这些信息进行提取，再由语音合成模块转换成语音通过镜架右侧耳机(即声音输出设备)告诉佩戴者。镜架左侧的听耳(即声音输入设备)听取佩戴者的语音内容(包括语言内容、语调、语境等)通过语音识别模块提取信息，再由主控制器根据提取的信息调动表情库(为使眼部表情图像自然逼真，提前扫描盲人使用者脸部3D成像定制电子版动态眼部表情库)中相应的眼部表情(眼部表情有三个，对应九种表情情绪)播放。本实施方式的盲人社交智能眼镜的镜片是双层镜片，里面一层是播放眼部情绪动态图像的屏幕，外面一层是偏振镜片，运用双层镜片是为模拟真实眼睛佩戴眼镜时给人的视觉效果。该盲人社交智能眼镜在不做交流环境佩戴时，可以关闭镜框上的开关8当成时尚导盲墨镜佩戴。本实施方式利用摄像头中收集到的光线投在感光元件上，由感光元件把光信号转换为电信号；再经过数模转换将电信号转换成数字信号；主控制器对数字信号再进行处理，通过模式识别方式识别图像中的人的外貌特征轮廓，对图片进行预处理，加载需要识别的图片，然后将其转化为数字模块，分割数字模块并比较匹配得出图片中的数字模块，通过语音合成模块调用事先确定的语音方式从右耳机输出相应的语音信号进入佩戴者的耳中，可为佩戴者提供交流对方的外貌形象信息。本实施方式中的表情库是是根据佩戴者面部表情拟真的。表情有常态表情和情绪表情。眼镜表情库中3个表情涵盖9种情绪，在使用眼镜之前，显示屏就在应用软件的支持下，将表情库中的表情数据下载到主控器中，并进行保存，主要是利用单片机来控制存储显示数据模块以及控制驱动TFT显示屏等。最终实现播放情绪画面，进而表达佩戴者的情绪促进和交流对象沟通。该表情库是通过佩戴者声音语调特征进行情感分析建立的佩戴者专属的表情库，其是通过对佩戴者声音基音频率特征采集测算9种表情参数(见表1)，再通过音频信号处理器识别。声音的情绪能量值即声音大小、声音的频率值、语音的声调计算基频值。表1眼部表情库中的三种眼部表情对应情绪表本实施方式的镜框上还设置有多个声音传感器，所述多个声音传感器与主控制器相连，所述多个声音传感器用于获取交流对象的声音，所述主控制器根据交流对象的声音到达不同声音传感器的时间差，计算声源的位置，并通过定位函数确定交流对象的位置，再根据得到的位置在显示表情时使得显示屏上显示的表情的目光聚焦方向在交流对象上。其中，定位函数可采用声达时延定位算法进行声音定位，该算法具有比其他常用定位算法运算规模较小的优点，在智能眼镜上的实现也相对容易。采集到的数据包括声音和噪声，如式其中，n1(t)和n2(t)为环境噪声，s1(t)为声音信号，as1本文档来自技高网...

【技术保护点】
1.一种盲人社交智能眼镜，包括镜框，其特征在于，所述镜框前部设置有镜片，所述镜片为双层镜片，其中内层为显示屏，外层为偏光镜；所述镜框的一侧设有声音输入设备；所述镜框的内部空间内设有主控制器和语音识别模块；所述主控制器分别与语音识别模块和显示屏相连；所述声音输入设备用于接收用户的语音信息，所述语音识别模块提取出语音信息中的声音基音频率特征信息，所述主控制器根据声音基音频率特征从表情库中选择出与特征信息匹配的表情并在所述显示屏上进行显示。

【技术特征摘要】
1.一种盲人社交智能眼镜，包括镜框，其特征在于，所述镜框前部设置有镜片，所述镜片为双层镜片，其中内层为显示屏，外层为偏光镜；所述镜框的一侧设有声音输入设备；所述镜框的内部空间内设有主控制器和语音识别模块；所述主控制器分别与语音识别模块和显示屏相连；所述声音输入设备用于接收用户的语音信息，所述语音识别模块提取出语音信息中的声音基音频率特征信息，所述主控制器根据声音基音频率特征从表情库中选择出与特征信息匹配的表情并在所述显示屏上进行显示。2.根据权利要求1所述的盲人社交智能眼镜，其特征在于，所述镜框的另一侧设有声音输出设备，所述镜框上还设置有与主控制器相连的图像获取设备，所述主控制器还连接有语音合成模块，所述图像获取设备用于获取交流对象的人物图像，所述主控制器根据接收到的人物图像识别出人的外貌特征，再通过所述语音合成模块将所述人的外貌特征转换为语音信息由所述声音输出设备输出。3.根据权利要求1所述的盲人社交智能眼镜，其特征在于，所述镜框上还...

【专利技术属性】
技术研发人员：傅婷，王昱杰，王熙元，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31