一种基于声音刺激的视觉图像感知系统和方法技术方案

本发明专利技术公开了一种基于声音刺激的视觉图像感知系统和方法，其中系统包括眼镜架、体外机和耳机，其中眼镜架上设置摄像头；体外机包括图像处理模块、声音合成模块和声音播放模块，所述摄像头与体外机的图像处理模块连接，摄像头获取二维或三维图像，图像处理模块将二维或三维图像进行深度检测、二值化、轮廓提取和字符识别后，输出给声音合成模块进行声音处理后，将声音信号传输给声音播放模块通过双通道气导或骨导耳机播放。本发明专利技术可帮助盲人通过立体声音感知物体的轮廓，形状，甚至距离远近，方便他们进行简单的物体识别，会对盲人的生活带来极大的帮助。

Visual image perception system and method based on sound stimulation

The invention discloses a visual image sensing system and a method based on sound stimulation, which system comprises a spectacle frame, in machine and headset, camera set on the glasses frame; in vitro machine includes image processing module, voice synthesis module and audio module, the camera and the image processing module is connected with an external machine. The camera to obtain two-dimensional or three-dimensional image, the image processing module of the two-dimensional or three-dimensional image depth detection, binarization, contour extraction and character recognition, output to the voice synthesis module for voice processing, the voice signal is transmitted to the voice playback module by dual channel conductance or bone conduction headset. The invention can help the blind to perceive the outline, shape and even distance of the object through the stereo sound so as to facilitate them to carry out simple object recognition, which can bring great help to the life of the blind.

【技术实现步骤摘要】
一种基于声音刺激的视觉图像感知系统和方法
本专利技术属于信号处理领域，特别涉及一种基于声音刺激的视觉图像感知系统和方法。
技术介绍
市场上能够辅助全盲病人生活的医疗产品少之又少。目前已通过美国FDA认证的视障辅助设备主要分为两类：第一类是需要手术植入的人工视觉系统，它先通过摄像头采集植入者前方的图像信息，然后编码生成电脉冲信号，最后再用植入到病人视网膜上的电极阵列刺激视神经，从而帮助病人恢复一定的光感。这类设备的主要问题在于，具有一定的手术风险，而且部分病人不适合进行手术植入(视神经损伤等)，再加上昂贵的价格(一套要10万美元以上)，使得大部分病人没有条件使用人工视觉类的设备。另一类设备是将二维的图像信息，通过其他感知通道传递给盲人，盲人再在脑中将的到的信息进行“翻译”，从而获知一定的图像信息。比如用电极阵列刺激皮肤或舌头，通过触觉接收二维图像信息，再将其转换成“视觉感知”。此类设备特点是没有风险，价格相对便宜，但是使用不够方便且不够美观，需要将电极贴在头皮上或者含在嘴里。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种既不需要手术植入，成本低，使用方便，又能够给盲人传递图像信息的本文档来自技高网...

【技术保护点】
一种基于声音刺激的视觉图像感知系统，其特征在于，包括眼镜架、体外机和耳机，其中眼镜架上设置摄像头；体外机包括图像处理模块、声音合成模块和声音播放模块，所述摄像头与体外机的图像处理模块连接，摄像头获取二维或三维图像，图像处理模块将二维或三维图像进行深度检测、二值化、轮廓提取和字符识别后，输出给声音合成模块进行声音处理后，将声音信号传输给声音播放模块通过双通道气导或骨导耳机播放。

【技术特征摘要】
1.一种基于声音刺激的视觉图像感知系统，其特征在于，包括眼镜架、体外机和耳机，其中眼镜架上设置摄像头；体外机包括图像处理模块、声音合成模块和声音播放模块，所述摄像头与体外机的图像处理模块连接，摄像头获取二维或三维图像，图像处理模块将二维或三维图像进行深度检测、二值化、轮廓提取和字符识别后，输出给声音合成模块进行声音处理后，将声音信号传输给声音播放模块通过双通道气导或骨导耳机播放。2.根据权利要求1所述的基于声音刺激的视觉图像感知系统，其特征在于，所述图像处理模块至少包括依次连接的深度检测单元、二值化单元、轮廓提取单元和字符识别单元。3.根据权利要求1所述的基于声音刺激的视觉图像感知系统，其特征在于，所述摄像头包括一个或两个AF镜头。4.根据权利要求1所述的基于声音刺激的视觉图像感知系统，其特征在于，所述声音合成模块包括头相关传递函数滤波单元。5.根据权利要求1所述的基于声音刺激的视觉图像感知系统，其特征在于，所述声音合成模块对于图像对应的声音合成处理根据下式：A(i)＝S*H(i)*G(i)A＝A(1)→A(2)→A(3)→A(4)→...→A(n)其中，S为基准声音的频域信号；H(i)为平面上第i个点所对应的头相关传递函数；G(i)为第i个声音的增益大小，通过物体的远近来判断；A(i)为声音空间中第i个声音；A为将平面上所有对应的声音连续播放后，形成的可传递当前二维或三维图像的声音信号。6.一种采用权利要求1-5之一的系统的基于声音刺激的视觉图像感知方法，其特征在于，包括以下步骤：摄像头采集获取二维或三维图像，进行图像处理，获得简化二维或三维图像；根据简化二维或三维图像，进行声音合成处理；将处理后的声音传输给耳机进行播放。7.根据权利要求6所述的方法，其特征在于，所述图像处理包括以下步骤：预处理，将二维或三维图像进行深度检测...

【专利技术属性】
技术研发人员：王宁远，丁鼐，苏乃婓，孙晓安，黄穗，张晓薇，田春，李方波，
申请(专利权)人：浙江诺尔康神经电子科技股份有限公司，
类型：发明
国别省市：浙江,33