一种基于FPGA的智能导盲方法及头盔式系统技术方案

本发明专利技术提出了一种基于FPGA的智能导盲方法及头盔式系统，步骤为：调用盲人导航地图和GPS/北斗导航模块，规划行走路线；双目摄像头实时采集图像；FPGA处理模块对输入的图像执行多目标检测算法进行目标检测，对道路目标进行实例分割，执行双目测距算法实现双目测距；FPGA处理模块对多目标检测算法进行硬件加速；进行近距离障碍物的精确距离测量；融合导航信息、多目标检测结果、双目测距结果及超声测距结果，经决策算法分析给出导航语音提示；图像画面变化微小时不进行双目与目标检测。本发明专利技术基于FPGA对多目标检测和双目测距进行加速，在确保检测精度和实时性的同时降低功耗。确保检测精度和实时性的同时降低功耗。确保检测精度和实时性的同时降低功耗。

【技术实现步骤摘要】
一种基于FPGA的智能导盲方法及头盔式系统


[0001]本专利技术涉及计算机视觉的
，尤其涉及一种基于FPGA的智能导盲方法及头盔式系统。

技术介绍

[0002]随着人民生活水平的提升，盲人对于生活质量优化需求强烈，进而带动智能助视器市场需求攀升。但盲人智能助视器生产技术门槛较高，且产品价格昂贵，长期得不到重视。目前，盲人出行携带的辅助导盲设备主要为导盲杖和导盲眼镜，然而由于他们的外形构造及使用特点的原因，并不能观测携带者周围全面的环境状况。同时，当前导盲设备主要以避障功能为主，尚不能更好地满足盲人出行线路导航的需求。
[0003]近年来，在机器学习和深度学习的支持下，计算机视觉迅速发展。尽管在这一领域取得了巨大的进展，计算机视觉的能力也很强，但目标检测是一个复杂的过程，存在着诸多挑战。目标检测挑战之一是视角的多样性，不同角度观看同一物体看起来完全不同，因此检测器的目标是从不同角度识别物体。其次，变形与遮挡使得难以检测物体真实类别与距离，这些都增加了确定目标的困难，对目标检测精度存在威胁。同时，在视频方面，探测器需要经过训练，以便本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的智能导盲方法，其特征在于，其步骤如下：S1：使用者通过语音识别模块和语音提示模块调用头盔内置的盲人导航地图和GPS/北斗导航模块，设置目的地及出发地信息；盲人导航地图依据盲人特点规划行走路线，并反馈给使用者，经使用者确认后，启用导航功能；S2：双目摄像头实时采集头盔的前方和后方的图像，将图像传入FPGA处理模块；S3：FPGA处理模块对输入的图像执行多目标检测算法进行目标检测，执行双目测距算法实现双目测距；S4：FPGA处理模块对多目标检测算法进行硬件加速，加速工作采用分阶段开启的卷积运算加速方法；S5：使用超声波测距模块进行对近距离障碍物的精确距离测量；S6：融合导航信息、多目标检测结果、双目测距结果及超声测距结果，经决策算法分析后，给出详细的盲人导航语音提示信息；S7：采用自适应节能策略，通过差影法分析各方位环境动态程度，图像的画面变化微小时不进行步骤S3的多目标检测及双目测距。2.根据权利要求1所述的基于FPGA的智能导盲方法，其特征在于，所述多目标检测算法将检测出交通场景的常见景物，双目测距算法将计算检测出的目标物体与摄像头之间的距离，具体实现方法为：(1)输入的图像经YOLO V5神经网络推理与非极大值抑制处理，生成目标框；(2)双目测距算法对输入的图像进行处理生成深度图，根据深度图与目标框的坐标计算每个目标与摄像头的距离；(3)对目标框内的道路图像通过YOLO V5进行语义分割，得到道路的精确位置；(4)对识别到的信号灯的信息进行分析，告知当前道路通行情况。3.根据权利要求2所述的基于FPGA的智能导盲方法，其特征在于，所述多目标检测算法采用YOLO V5算法，并利用FPGA处理模块基于Winograd算法的卷积运算硬件加速处理；所述YOLO V5算法的输出头部分的张量维度变换和非线性激活函数的运算在CPU端进行处理，神经网络的其他部分的卷积操作进行FPGA的硬件加速；其中，神经网络的其他部分的卷积操作采用基于Winograd算法思想设计的改进型卷积运算硬件加速单元进行加速处理。4.根据权利要求3所述的基于FPGA的智能导盲方法，其特征在于，所述FPGA处理模块基于Winograd算法的卷积运算硬件加速处理的整体过程为：FPGA处理模块通过前后两个双目摄像头采集周围环境的实时信息，将数据存入存储器中；多目标检测算法的YOLO V5算法的神经网络权重的相关信息提前保存在存储器中，Winograd变换卷积核直接存储在存储器中，存储器中设置特征图缓存与权重缓存分别存储输入图像和Winograd变换卷积核；FPGA芯片内部可编程端实现卷积单元与池化单元的硬件加速，通过DMA方式完成数据的传输；在神经网络的卷积层与池化层硬件加速后，将结果输出给FPGA芯片内的CPU端。5.根据权利要求4所述的基于FPGA的智能导盲方法，其特征在于，所述基于Winograd算法的卷积运算硬件加速处理的方法为：对于输入尺寸为H
×
W的图像，将图像划分为若干个图像块，每个图像块的尺寸为h
×
w，输出参数大小为m
×
n，卷积核大小为r
×
r的卷积运算为：Y＝A
T
[[GgG
T
]
⊙
[B
T
dB]]A
其中，
⊙
表示两个矩阵的点乘运算即元素对应位置相乘；g表示尺寸为r
×
r的卷积核；d表示尺寸为(m+r
‑
1)
×
(m+r
‑
1)的图像块；G表示核变换矩阵，尺寸为(m+r
‑
1)
×
r，Winograd变换卷积核即为GgG
T
；B
T
表示输入变换矩阵，尺寸为(m+r
‑
1)
×
(m+r
‑
1)；A
T
为输出变换矩阵，尺寸为m
×
(m+r
‑
1)；其中h＝m+r
‑
1，w＝n+r
‑
1；Y表示卷积运算结果；最终将所有图像块所得结果进行拼接。6.根据权利要求4所述的基于FPGA的智能导盲方法，其特征在于，所述存储器存储了Winograd变换卷积核，其中，存储器中相同通道上的二维特征图和二维卷积核的卷积运算为：存储在存储器中的相同通道上的二维特征图d和Winograd变换卷积核通过AXI总线分别进入一个卷积运算加速单元的两个寄存器中；然后，二维特征图d经过输入特征图变换模块完成B
T
dB的运算，得到变换后的特征图；接着，变换后的特征图和Winograd变换卷积核同时进入矩阵点积运算单元实现<...

【专利技术属性】
技术研发人员：敖天勇，王清桥，杨静雯，王宪东，巩海岩，刘泽源，邵定保，周毅，
申请(专利权)人：河南大学，
类型：发明
国别省市：