一种基于双目视觉的多功能导盲仪制造技术

一种基于双目视觉的多功能导盲仪，该基于双目视觉的多功能导盲仪由第一摄像头模块、第二摄像头模块、超声波检测模块、具有地图信息的GPS+无线传输模块、影像处理模块、语音提示模块、语音识别模块和电源模块组成。因此，本发明专利技术顺应了穿戴式多功能导盲仪的主流设计方向，集成了周围环境识别、障碍物识别、定位、障碍物运行速度和距离识别、红绿灯识别、GPS定位、路线规划、人性化的语音提示等功能，同时，该导盲仪还整合进去了帮助及救助功能。

A multifunctional eye guide instrument based on binocular vision

A multifunctional guide instrument based on binocular vision, the multifunctional guide instrument based on binocular vision by the first camera module, second camera module, ultrasonic detection module, with map information GPS+ wireless transmission module, image processing module, voice prompt module, voice recognition module and a power module. Therefore, the invention conforms to the mainstream design direction of wearable multifunctional guide instrument, integrated environment recognition and obstacle recognition, positioning, obstacle recognition speed and distance, traffic lights recognition, GPS positioning, route planning, human voice prompt function, at the same time, the guide also integrated into the instrument help and assistance.

【技术实现步骤摘要】
一种基于双目视觉的多功能导盲仪
本专利技术涉及机器视觉领域，尤其涉及一种基于双目视觉的多功能导盲仪。
技术介绍
人类获得信息中90％源于视觉系统，因此，视力的丧失会严重影响生存质量。盲人由于眼睛看不见，日常生活有很大障碍，尤其是出行困难。目前有很多种方法进行导盲，例如盲杖、红外线探测、超声波探测等非视觉探测方法。然而这些方法都存在一定的缺陷：①、使用盲杖探测，探测范围过小，盲人通过敲触大地或者周围的物体来断定行走方向，以及需要停下与否；这类拐杖的弊端很多，特别是它难以发现很远的物体和悬在半空中的物体；②、使用红外线、超声波等探测方式，只能探测体积较大的障碍物，不能获取障碍物轮廓、高度等完整信息，因此安全性较差。例如，国内外带语音提示的导盲器是由超声波探测器获取数据，经单片机处理后将数据发送给语音提醒器，然后驱动语音芯片提醒。然而，这种导盲器是通过不同音量、音调、节奏的提示音或者是误差较大的分段式语音提示对盲人进行提醒，只能使盲人对障碍物的距离有个大概的判断，并且，消耗了盲人的大量精力，容易造成错误判断。因此，穿戴式多功能导盲仪成为目前的主流设计方向。
技术实现思路
为了实现上述目标，本专利技术提供了一种基于双目视觉的多功能导盲仪，本专利技术的技术方案如下：一种基于双目视觉的多功能导盲仪；其包括：第一摄像头模块和第二摄像头模块，设于穿戴式头套上，且分别位于人眼的前方两侧；所述第一摄像头模块和第二摄像头模块的性能参数相同且平行放置，即平行于z轴的所述第一摄像头模块和第二摄像头模块的两光轴互相平行且与x轴共线；影像处理模块，其接收所述第一摄像头模块和第二摄像头模块采集到的图像数据，利用所述第一摄像头模块和第二摄像头模块拍摄同一目标物体的图像数据特征，通过影像处理算法进行目标物体种类的识别，同时从两个不同视点获取同一景物的多幅图像，获得多组立体图像对，通过测量景物在每一组所述立体图像对中的视差，再利用双目视觉成像原理，计算出目标物体到所述第一摄像头模块和第二摄像头模块的距离，以及所述目标物体相对于所述第一摄像头模块和第二摄像头模块的运动速度；语音提示模块，用于接收所述影像处理模块识别出目标物体种类、距离和运动速度信息时，采用语音的方式给出盲人停止或者行走方向的建议。优选地，所述的图像数据特征包括目标物体的种类特征、测距特征、测速特征和红绿灯判断特征；所述目标物体种类识别分为障碍物识别、红绿灯识别和移动物体识别；所述目标物体的距离包括障碍物距离、红绿灯距离和移动物体距离，所述目标物体的运动速度包括移动物体的运动速度。优选地，所述的基于双目视觉的多功能导盲仪，其特征在于，还包括超声波检测模块，具体包括：超声波测距子模块，其通过超声波的发射和接收，计算发射和接收超声波的时差，判断出前方障碍物、红绿灯和/或移动物体的距离，并将所述判断结果传送给所述影像处理模块；超声波测速子模块，其通过多次发射超声波，计算发射和接收超声波的时差，计算出运动物体的移动速度，并将所述计算结果传送给所述影像处理模块；其中，所述影像处理模块结合所述第一摄像头模块和第二摄像头模块以及所述超声波测距子模块得到的判断结果，确定前方障碍物、红绿灯和/或移动物体到所述第一摄像头模块和第二摄像头模块的距离；所述影像处理模块结合所述第一摄像头模块和第二摄像头模块以及所述超声波测距子模块得到的计算结果，得到运动物体的移动速度。优选地，所述的基于双目视觉的多功能导盲仪还包括具有地图信息的GPS+无线传输模块，与所述影像处理模块相连，所述影像处理模块还包括规划子模块和导航子模块；所述规划子模块根据所述地图信息进行出行前的线路规划及线路距离的确定，并通过语音的方式告知盲人；所述导航子模块用于得到盲人的定位信息以及预判出行时前方是否拥堵的结果，并通过语音的方式与盲人交流是否需要进行出行线路的更改。优选地，所述的基于双目视觉的多功能导盲仪还包括语音识别模块，其通过所述无线传输模块发送求助语音信息。优选地，所述无线传输模块采用4G网络传输，通过4G网络与云端软件平台进行互动，将盲人的定位信息及语音求助信息传输到云端软件平台；同时，云端软件平台将路线规划等信息通过4G网络传输模块传送到所述影像处理模块，方便盲人进行避开拥堵。优选地，所述的基于双目视觉的多功能导盲仪还包括电源模块，用于给所述第一摄像头模块、第二摄像头模块、所述影像处理模块、超声波检测模块供电；其中，所述电源模块包含供电子模块及低功耗控制子模块。从上述技术方案可以看出，本专利提供了基于双目视觉的多功能导盲仪，主要功能包括：周围环境识别，障碍物识别、定位，障碍物运行速度和距离识别，红绿灯识别，GPS定位，路线规划，人性化的语音提示等功能，且该导盲仪还集成了帮助及救助系统。附图说明图1为本专利技术基于双目视觉的多功能导盲仪的方法系统框架示意图图2所示为本专利技术实施例中平行双目视觉模块示意图具体实施方式体现本专利技术特征与优点的实施例将在后段的说明中详细叙述。应理解的是本专利技术能够在不同的示例上具有各种的变化，其皆不脱离本专利技术的范围，且其中的说明及图示在本质上当做说明之用，而非用以限制本专利技术。以下结合附图1，通过具体实施例对本专利技术的基于实时系统的热处理设备温度控制及方法、实现该方法的装置作进一步详细说明。需说明的是，附图均采用非常简化的形式、使用非精准的比例，且仅用以方便、明晰地达到辅助说明本专利技术实施例的目的。需要说明的是，本专利技术采用两个摄像头模块，组成双目视觉，模拟人眼功能，再利用后端影像处理模块的处理能力，将图像处理技术、超声波检测技术、语音播报技术、GPS和无线传输技术结合在一起，组合成了一个多功能化的导盲仪。请参阅图1，图1为本专利技术基于双目视觉的多功能导盲仪的系统框架示意图。如图1所示，该基于双目视觉的多功能导盲仪由第一摄像头模块、第二摄像头模块、超声波检测模块、具有地图信息的GPS+无线传输模块、影像处理模块、语音提示模块、语音识别模块和电源模块组成。语音提示模块和语音识别模块分别包含语音输入和语音输出两部分，这一部分对于盲人而言非常重要。人性化的设计和语音播报是该部分的核心。在本专利技术的实施例中，第一摄像头模块和第二摄像头模块，可以设于穿戴式头套上，且分别位于人眼的前方两侧，组成双目视觉，模拟人眼功能。请参阅图2，图2为本专利技术实施例中平行双目视觉模块示意图。如图2所示，第一摄像头模块和第二摄像头模块的性能参数相同且平行放置，第一摄像头模块和第二摄像头模块在同一个平面中，即平行于z轴，实现第一摄像头模块和第二摄像头模块的两光轴互相平行且与x轴共线。在使用时，由上述第一摄像头模块和第二摄像头模块分别采集图像数据，并将采集到的图像数据传输给影像处理模块(即ImageSignalProcessor)，影像处理模块利用第一摄像头模块和第二摄像头模块拍摄同一目标物体的图像数据特征，可以识别出周围环境，主要是障碍物、红绿灯和移动物体等。图像数据特征可以包括目标物体的种类特征、测距特征、测速特征和红绿灯判断特征；目标物体种类识别分为障碍物识别、红绿灯识别和移动物体识别；目标物体的距离包括障碍物距离、红绿灯距离和移动物体距离，目标物体的运动速度包括移动物体的运动速度。通过影像处理算法进行目标物体种类的识别，同时从两个不同视点获取同一景物本文档来自技高网...

【技术保护点】
一种基于双目视觉的多功能导盲仪，其特征在于，包括：第一摄像头模块和第二摄像头模块，设于穿戴式头套上，且分别位于人眼的前方两侧；所述第一摄像头模块和第二摄像头模块的性能参数相同且平行放置，即平行于z轴的所述第一摄像头模块和第二摄像头模块的两光轴互相平行且与x轴共线；影像处理模块，其接收所述第一摄像头模块和第二摄像头模块采集到的图像数据，利用所述第一摄像头模块和第二摄像头模块拍摄同一目标物体的图像数据特征，通过影像处理算法进行目标物体种类的识别，同时从两个不同视点获取同一景物的多幅图像，获得多组立体图像对，通过测量景物在每一组所述立体图像对中的视差，再利用双目视觉成像原理，计算出目标物体到所述第一摄像头模块和第二摄像头模块的距离，以及所述目标物体相对于所述第一摄像头模块和第二摄像头模块的运动速度；语音提示模块，用于接收所述影像处理模块识别出目标物体种类、距离和运动速度信息时，采用语音的方式给出盲人停止或者行走方向的建议。

【技术特征摘要】
1.一种基于双目视觉的多功能导盲仪，其特征在于，包括：第一摄像头模块和第二摄像头模块，设于穿戴式头套上，且分别位于人眼的前方两侧；所述第一摄像头模块和第二摄像头模块的性能参数相同且平行放置，即平行于z轴的所述第一摄像头模块和第二摄像头模块的两光轴互相平行且与x轴共线；影像处理模块，其接收所述第一摄像头模块和第二摄像头模块采集到的图像数据，利用所述第一摄像头模块和第二摄像头模块拍摄同一目标物体的图像数据特征，通过影像处理算法进行目标物体种类的识别，同时从两个不同视点获取同一景物的多幅图像，获得多组立体图像对，通过测量景物在每一组所述立体图像对中的视差，再利用双目视觉成像原理，计算出目标物体到所述第一摄像头模块和第二摄像头模块的距离，以及所述目标物体相对于所述第一摄像头模块和第二摄像头模块的运动速度；语音提示模块，用于接收所述影像处理模块识别出目标物体种类、距离和运动速度信息时，采用语音的方式给出盲人停止或者行走方向的建议。2.根据权利要求1所述的基于双目视觉的多功能导盲仪，其特征在于，所述的图像数据特征包括目标物体种类的特征、测距特征、测速特征和红绿灯判断特征；所述目标物体种类识别分为障碍物识别、红绿灯识别和移动物体识别；所述目标物体的距离包括障碍物距离、红绿灯距离和移动物体距离，所述目标物体的运动速度包括移动物体的运动速度。3.根据权利要求1或2所述的基于双目视觉的多功能导盲仪，其特征在于，还包括超声波检测模块，具体包括：超声波测距子模块，其通过超声波的发射和接收，计算发射和接收超声波的时差，判断出前方障碍物、红绿灯和/或移动物体的距离，并将所述判断结果传送给所述影像处理模块；超声波测速子模块，其通过...

【专利技术属性】
技术研发人员：王勇，
申请(专利权)人：上海集成电路研发中心有限公司，成都微光集电科技有限公司，
类型：发明
国别省市：上海,31