基于雷视融合的盲人辅助装置及方法制造方法及图纸

本发明专利技术提供了一种基于雷视融合的盲人辅助装置及方法，涉及人工智能技术领域，包括：多元信息采集模块

【技术实现步骤摘要】
基于雷视融合的盲人辅助装置及方法


[0001]本专利技术涉及人工智能
，尤其是涉及一种基于雷视融合的盲人辅助装置及方法
。

技术介绍

[0002]在现有的盲人辅助技术中，通常使用盲杖
、
导盲犬和语音助理等手段来协助盲人行动
。
然而，这些技术存在一些局限性
。
例如，盲杖只能提供对地面障碍物的感知，无法有效探测高度和距离，也无法提供远距离的预警功能；导盲犬能够提供导航和障碍物识别的帮助，但在复杂环境下可能面临困难
。
语音助理则主要基于声音交互，对于对视觉信息的感知和预警能力有限
。
综上所述，现有的盲人辅助技术中，对周围环境检测的准确度和精度较低
。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种基于雷视融合的盲人辅助装置及方法，以提高了对周围环境检测的准确度和精度
。
[0004]为了实现上述目的，本专利技术实施例采用的技术方案如下：
[0005]第一方面，本专利技术实施例提供了一种基于雷视融合的盲人辅助装置，包括：多元信息采集模块
、
多元信息预处理模块
、
环境信息感知模块和环境信息预警模块；多元信息采集模块用于采集目标对象周围的视频信息和雷达信息；多元信息预处理模块用于对视频信息和雷达信息进行预处理；环境信息感知模块用于将预处理后的视频信息和雷达信息进行特征融合，得到目标对象周围的环境信息；环境信息预警模块用于将环境信息进行显示和预警
。
[0006]在一种实施方式中，多元信息采集模块包括：激光雷达和摄像头；激光雷达用于采集目标对象周围的雷达信息；摄像头用于采集目标对象周围的视频信息
。
[0007]在一种实施方式中，多元信息预处理模块包括：图像信息预处理单元和雷达信息预处理单元；图像信息预处理单元用于对视频信息进行解码处理
、
抽帧处理以及比例缩放处理，得到视频帧图像；雷达信息预处理单元用于对雷达信息进行预处理，得到点云信息，并基于点云信息的时间戳信息将视频帧图像和点云信息进行对齐
。
[0008]在一种实施方式中，环境信息感知模块包括：卷积神经网络和特征金字塔网络；卷积神经网络用于对点云信息进行特征提取得到点云信息的空间注意力特征图，以及对视频帧图像进行特征提取得到图像特征图，并将点云信息的空间注意力特征图和图像特征图进行特征融合得到融合特征图；特征金字塔网络用于对融合特征图进行特征提取，得到目标对象周围的环境信息
。
[0009]在一种实施方式中，环境信息预警模块还包括：点阵式磁控凸点盲文显示器；环境信息预警模块还用于将环境信息转换为盲文信息的点阵矩阵，并将盲文信息的点阵矩阵发送至点阵式磁控凸点盲文显示器进行显示
。
[0010]在一种实施方式中，点阵式磁控凸点盲文显示器：点阵显示屏
、
磁控系统和控制单元；点阵显示屏包括多个点阵单元，每个点阵单元包括多个可控制的磁性凸点，用于显示盲文信息的点阵矩阵；控制单元与点阵显示屏和磁控系统相连接，用于接收盲文信息的点阵矩阵，并基于盲文信息的点阵矩阵向磁控系统发送控制信号；磁控系统用于基于控制信号控制点阵单元中的磁性凸点的位置和状态，以使点阵显示屏显示盲文信息的点阵矩阵
。
[0011]在一种实施方式中，环境信息预警模块还包括：预警单元；预警单元用于对环境信息进行判断，如果环境信息为危险环境或者危险目标，则对危险环境或者危险目标进行预警
。
[0012]第二方面，本专利技术实施例提供了一种基于雷视融合的盲人辅助方法，应用于上述第一方面提供的任一项的基于雷视融合的盲人辅助装置，包括：通过多元信息采集模块采集目标对象周围的视频信息和雷达信息；通过多元信息预处理模块对视频信息和雷达信息进行预处理；通过环境信息感知模块将预处理后的视频信息和雷达信息进行特征融合，得到目标对象周围的环境信息；通过环境信息预警模块将环境信息进行显示和预警
。
[0013]在一种实施方式中，通过环境信息预警模块将环境信息进行显示和预警，包括：将环境信息转换为盲文信息的点阵矩阵，并将盲文信息的点阵矩阵发送至点阵式磁控凸点盲文显示器进行显示
。
[0014]在一种实施方式中，通过环境信息预警模块将环境信息进行显示和预警，还包括：对环境信息进行判断，如果环境信息为危险环境或者危险目标，则对危险环境或者危险目标进行预警
。
[0015]本专利技术实施例带来了以下有益效果：
[0016]本专利技术实施例提供的上述基于雷视融合的盲人辅助装置及方法，包括：多元信息采集模块
、
多元信息预处理模块
、
环境信息感知模块和环境信息预警模块；多元信息采集模块用于采集目标对象周围的视频信息和雷达信息；多元信息预处理模块用于对视频信息和雷达信息进行预处理；环境信息感知模块用于将预处理后的视频信息和雷达信息进行特征融合，得到目标对象周围的环境信息；环境信息预警模块用于将环境信息进行显示和预警
。
上述装置能够通过雷达信息探测目标对象周围物体的距离和位置，通过视频信息获取周围环境的图像，检测识别不同类型的物体，然后将雷达信息和视频信息进行融合得到环境信息，从而能够提高对周围环境检测的准确度和精度；同时，上述装置能够对周围环境进行预警，从而更好地辅助盲人规划行动路径和避开障碍物
。
[0017]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解
。
本专利技术的目的和其他优点在说明书
、
权利要求书以及附图中所特别指出的结构来实现和获得
。
[0018]为使本专利技术的上述目的
、
特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下
。
附图说明
[0019]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图
。
[0020]图1为本专利技术实施例提供的一种基于雷视融合的盲人辅助装置的结构示意图；
[0021]图2为本专利技术实施例提供的一种环境信息感知模块的示意图；
[0022]图3为本专利技术实施例提供的另一种基于雷视融合的盲人辅助装置的结构示意图；
[0023]图4为本专利技术实施例提供的一种基于雷视融合的盲人辅助和预警的流程图；
[0024]图5为本专利技术实施例提供的一种基于雷视融合的盲人辅助方法的流程图；
[0025]图6为本专利技术实施例提供的一种电子设备的结构示意图
。
[0026]图标：...

【技术保护点】

【技术特征摘要】
1.
一种基于雷视融合的盲人辅助装置，其特征在于，包括：多元信息采集模块
、
多元信息预处理模块
、
环境信息感知模块和环境信息预警模块；所述多元信息采集模块用于采集目标对象周围的视频信息和雷达信息；所述多元信息预处理模块用于对所述视频信息和所述雷达信息进行预处理；所述环境信息感知模块用于将预处理后的所述视频信息和所述雷达信息进行特征融合，得到所述目标对象周围的环境信息；所述环境信息预警模块用于将所述环境信息进行显示和预警
。2.
根据权利要求1所述的装置，其特征在于，所述多元信息采集模块包括：激光雷达和摄像头；所述激光雷达用于采集目标对象周围的雷达信息；所述摄像头用于采集目标对象周围的视频信息
。3.
根据权利要求1所述的装置，其特征在于，所述多元信息预处理模块包括：图像信息预处理单元和雷达信息预处理单元；所述图像信息预处理单元用于对所述视频信息进行解码处理
、
抽帧处理以及比例缩放处理，得到视频帧图像；所述雷达信息预处理单元用于对所述雷达信息进行预处理，得到点云信息，并基于所述点云信息的时间戳信息将所述视频帧图像和所述点云信息进行对齐
。4.
根据权利要求3所述的装置，其特征在于，所述环境信息感知模块包括：卷积神经网络和特征金字塔网络；所述卷积神经网络用于对所述点云信息进行特征提取得到所述点云信息的空间注意力特征图，以及对所述视频帧图像进行特征提取得到图像特征图，并将所述点云信息的空间注意力特征图和所述图像特征图进行特征融合得到融合特征图；所述特征金字塔网络用于对所述融合特征图进行特征提取，得到所述目标对象周围的环境信息
。5.
根据权利要求1所述的装置，其特征在于，所述环境信息预警模块还包括：点阵式磁控凸点盲文显示器；所述环境信息预警模块还用于将所述环境信息转换为盲文信息的点阵矩阵，并将所述盲文信息的点阵矩阵发...

【专利技术属性】
技术研发人员：翟葆朔，
申请(专利权)人：中电信数字城市科技有限公司，
类型：发明
国别省市：