一种基于计算机视觉的盲人户外支援系统技术方案

本发明专利技术公开了一种基于计算机视觉的盲人户外支援系统，包括：图像采集单元、语音输出单元、与图像采集单元和语音输出单元分别相连的图像-语音转换单元；图像-语音转换单元包括图像-语音转换硬件单元和图像-语音转换软件单元；图像-语音转换软件单元包括相机参数计算软件、平面检测软件、障碍物检测分析软件和图像信息-语音转换软件。本发明专利技术利用双目相机采集图像，借助嵌入式图像处理器中的软件算法，提取图像中对应于物理空间的可行走区域和障碍物及其属性，通过语音接口将信息反馈给盲人，可辅助盲人对路面场景进行更好的理解，做出更全面的判断，扩大了盲人的感知范围，避免危险，设备体积小，成本低廉，携带方便，便于盲人的户外活动。

【技术实现步骤摘要】

本专利技术属于导盲
，具体涉及一种基于计算机视觉的盲人户外支援系统。
技术介绍
随着社会的发展，人们越来越关注社会中特殊人群，盲人、聋 人、残疾人等等。希望借助最新技术来为他们的生活添加一份便利，因此导盲系统一直是社会关注的热点。根据中国残疾人联合会的统计，中国有近900万盲人，约占世界的五分之一，开发视觉障碍者户外行走支援系统，帮助他们更舒适，便捷的独立行走是我国《残疾人事业发展十一五规划纲要》的一项重要内容。手杖是最原始、最简单的盲人户外支援设备，但是手杖无法对周围的环境做出较全面的探测，对于两米以外的地面区域，悬空物等更无能为力；而基于电子设备的辅助导盲设备在过去也有了一定的发展，出现了很多融合了雷达、声纳、超声等多传感器的智能化导盲支援系统。现有的智能导盲设备主要分为以下三类(1)引导式手杖，其为带有传感器的小型电子设备，将传感器的侦测结果以盲人可以接受的方式传递给盲人，帮助盲人在环境中具有比较安全快速的行动能力；如带有超声波或红外传感器并通过手柄振动传递信息的导盲手杖，但是这类产品只注重局部的躲避障碍物而未考虑全面导航。(2)移动式机器人，其具备多种传感器，配备控制计算机，结合智能算法，可在比较复杂的环境中进行自主导航，计算机借助人机接口与盲人交互获取周围环境信息。但移动机器人技术本身还在研究中，该类系统还需要一定的技术积累和完善，可靠性不高。(3)导盲器，申请号为200510110741. 6的中国专利公开了一种计算机控制的导盲器，其借助超声波、摄像头、角度传感器等外围设备获取周围的信息，借助计算机软件来对周围的环境描述，完善“域”和“物件”数据库。该导盲器主要体现在于“物件”特征的识别， 而在当前的研究中，机器学习软件还远远不能达到可用的阶段，无法提供准确实时的物体识别结果，同时也不能满足导盲器的基本作用，寻找安全的行走区域，其软件的学习算法限定了盲人只能在熟悉的环境中行动，限制了盲人的活动范围，无法满足盲人的户外活动。以上三类现有的盲人户外支援系统仍然存在一些问题(1)对于悬空障碍物无法提前警示，致使盲人受伤；( 缺乏对于路面场景的理解，对于可行走区域，障碍物的方位和类型，静止与移动属性均无法做出全面的判断；C3)无法协助盲人理解周围环境，如帮助盲人定位，获取十字路口信息，判断当前是否可通过；(4)无法识别自己周围的人，可靠性低，户外使用具有局限性。
技术实现思路
针对现有技术所存在的上述技术缺陷，本专利技术提供了一种基于计算机视觉的盲人户外支援系统，使得盲人在户外行走时能够更好的理解自己所处的环境，对可行走区域和障碍物(尤其是悬空障碍物)作出识别和规避，为他们独立行走提供帮助。 一种基于计算机视觉的盲人户外支援系统，包括用于采集图像的图像采集单元、 用于对图像进行处理分析并输出关于引导警示的音频信息的图像-语音转换单元、用于将音频信息转换为语音的语音输出单元。 所述的图像-语音转换单元包括图像-语音转换硬件单元和与之相连的图像-语音转换软件单元；所述的图像-语音转换软件单元包括相机参数计算软件，用于通过图像-语音转换硬件单元接收图像采集单元采集的图像，并从图像中提取计算出图像采集单元的内参数和外参数；平面检测软件，用于通过图像-语音转换硬件单元接收图像采集单元采集的图像，并根据所述的内参数和外参数，提取图像中对应于物理空间的可行走区域；障碍物检测分析软件，用于通过图像-语音转换硬件单元接收图像采集单元采集的图像，并根据所述的内参数和外参数，提取图像中对应于物理空间的障碍物及其属性；图像信息-语音转换软件，用于根据所述的内参数和外参数对图像中对应于物理空间的可行走区域和障碍物及其属性进行处理、分析、判断，并通过图像-语音转换硬件单元输出关于引导警示的音频信息。所述的障碍物的属性包括障碍物的动静态、距离、速度、方向的属性。优选的技术方案中，所述的图像采集单元通过USB数据传输线与所述的图像-语音转换单元相连；图像信息传输速率快，插接方便。优选的技术方案中，所述的图像采集单元为双目相机，所述的双目相机通过支架固定在盲人肩膀上；设备体积小，成本低廉，携带方便，便于盲人的户外活动。优选的技术方案中，所述的图像-语音转换单元为嵌入式图像处理器，所述的嵌入式图像处理器存放于盲人背包中；设备体积小，成本低廉，携带方便，便于盲人的户外活动。优选的技术方案中，所述的语音输出单元为耳机；设备体积小，成本低廉，携带方便，便于盲人的户外活动。本专利技术的有益技术效果(1)本专利技术利用双目相机采集图像，借助嵌入式图像处理器中的软件算法，提取图像中对应于物理空间的可行走区域和障碍物及其属性，通过语音接口将信息反馈给盲人， 可辅助盲人对路面场景进行更好的理解，做出更全面的判断，扩大了盲人的感知范围，避免危险。(2)本专利技术中的双目相机通过支架固定在盲人肩膀上，图像处理器存放于盲人背包里，利用耳机实时播报当前路面场景的信息，设备体积小，成本低廉，携带方便，便于盲人的户外活动。(3)本专利技术通过分辨道路中可安全行走的区域，区分前进道路中动静态障碍物，并预警障碍物的方位，移动的速度和方向，提示盲人及时规避，适应用于各种路面场景，对各种障碍物都能作出提前警示，配合手杖一起使用，可扩展盲人的活动范围，可靠性高。附图说明图1为本专利技术的结构示意图。图2为本专利技术中平面检测软件的软件操作流程图。图3为本专利技术中障碍物检测分析软件的软件操作流程图。图4为本专利技术中图像信息-语音转换软件的软件操作流程图。具体实施例方式为了更为具体地描述本专利技术，下面结合附图及具体实施方式对本专利技术的技术方案及其相关原理进行详细说明。如图1所示，一种基于计算机视觉的盲人户外支援系统，包括双目相机，由左相机和右相机构成，通过支架固定在盲人的肩膀上，单位时间段内左右相机同步摄取若干帧图像，并通过USB数据传输线将图像传送给嵌入式图像处理器；耳机，将音频信息转换为语音传递给盲人的听觉器官。嵌入式图像处理器，由图像-语音转换硬件单元和图像-语音转换软件单元组成， 存放于盲人背包中；图像-语音转换软件单元包括相机参数计算软件、平面检测软件、障碍物检测分析软件和图像信息-语音转换软件，其中相机参数计算软件，通过图像-语音转换硬件单元接收双目相机采集的图像，并从图像中提取计算出双目相机的内参数和外参数；相机标定的意义在于它是相机测量和真实的物理世界的联系的桥梁。通过相机标定，可以将相机的自然单位-像素和物理世界的单位-米之间的关系用于三维场景的重建。 在准备相机标定工作之前，需要建立一个模型，将世界坐标系中的三位空间点投影到二维图像中，这个模型包括相机、镜头和图像采集卡。如果镜头采用的是普通镜头，世界坐标系到图像坐标系的投影就是透视投影，这种相机和普通镜头组合的模式称为针孔成像模型。世界坐标系中的一个点Pw投影到二维成像平面上的点ρ过程如下首先，需要将点从世界坐标系(WCS)转化到相机坐标系(CCS)，这种变换属于刚性变换，也就是旋转和平移变换。假设相机坐标系的轴和轴分别平行于图像的轴和轴，轴垂直于成像平面并且轴的方向确保相机前面的所有点的坐标都是正值。世界坐标系中的Pw = (xw, yw, zw)τ在相机坐标系为P。= (χ。，y。，ζ。)τ，它们直接满足如下关系P。本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：尚文勤，姜伟，褚健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：