一种智能语音导盲机器人控制方法及控制系统技术方案

本发明专利技术公开了一种智能语音导盲机器人控制方法及控制系统，采用YOLO神经网络实现了对物体的检测与识别得到障碍物类别信息，对双目摄像机进行双目标定与立体匹配从而实现测距功能，利用espeak语音合成将得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报，从而实现障碍物播报，采用近红外传感器对视野内的障碍物进行检测，通过行走装置进行行走和避障，并通过语音形式与使用者进行信息传递，增加了使用者对周围环境的感知能力，本发明专利技术识别准确率高、对复杂环境性能稳健，本发明专利技术实现了精准智能的语音播报，以提示盲人前方的物体类别，并提供最近物体的距离，使盲人对环境有精确的了解，提高生活质量，能够满足盲人生活需要。

A Control Method and Control System of Intelligent Speech Blind Guide Robot

【技术实现步骤摘要】
一种智能语音导盲机器人控制方法及控制系统
本专利技术属于导盲机器人，具体涉及一种智能语音导盲机器人控制方法及控制系统。
技术介绍
据国家统计部门统计，我国有视力障碍残疾人1731万人，其中，盲人有500多万人。每年新增的盲人大约有40多万人。在我们的日常生活中，靠视觉获取的信息是占大多数的，然而盲人在生理上的缺陷以及社会复杂环境的影响，给盲人的生活带来了极大的不便。国家对盲人的扶持力度加大，各类培训盲人按摩的机构增多，盲人有了更多的择业机会，导盲手杖、导盲犬等的出现极大帮助了盲人的出行。而目前没有针对盲人用的导盲机器人，为盲人根据周围物体以及物体距离盲人的角度与距离提供一种智能引导。
技术实现思路
本专利技术的目的在于提供一种智能语音导盲机器人控制方法及控制系统，以克服现有技术的不足。为达到上述目的，本专利技术采用如下技术方案：一种智能语音导盲机器人控制方法，包括以下步骤：步骤1)、通过双目摄像机获取机器人前方图像，然后通过对获取的图像采用yolo算法对机器人前方障碍物进行类别识别得到障碍物类别信息；步骤2)、对双目摄像机进行双目标定，利用标定后的双目摄像机获取障碍物与机器人的距离和方位；步骤3)、通过espeak语音合成将步骤1)和步骤2)得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报；步骤4)、利用向红外传感器检测检测障碍物位于车辆的位置，控制车辆向障碍物所在车辆位置的相反方向移动。进一步的，步骤1)中，基于darknet神经网络结构，采用YOLO算法对获取的图像进行神经网络样本训练和测试。进一步的，将双目摄像机获取的图像划分为大小为S*S个小格子，每个格子负责检测是否有待检测物体的中心落在了格子内，各网格检测时产生B个检测边框,每个边框包含5维信息：x,y,w,h,Cobj,x,y,w,h,Cobj分别代表边框中心的横坐标、纵坐标、整幅图像的宽度、整幅图像的高度和包围框的置信度,置信度如公式(1)(2)所示:式(1)中,Pr(Object)为物体在格子中的概率，存在则为1，反之为0，IOU表示参考的标准框和检测框的交并面积之比；YOLO算法在卷积层提取特征,目标预测在全连接层进行，当Pr(Object)＝1时,整幅图片中某类的置信度如公式(3)：式中Pr(Class|Object)是待检测目标的分类条件概率；Pr(Classi)是预测了某类别的概率；设置检测边框的阈值，滤掉得分低于阈值的包围边框，对保留的边框进行非极大值抑制处理，即可得到图像中障碍物对应置信度，即障碍物类别信息。进一步的，对双目摄像机进行标定，定义p＝[xy]T的点和空间中的点p＝[xyz]T之间的关系表示为：p＝sHP式中：s为尺度因子，H由矩阵表示：H＝AW，A为摄像机的内参数矩阵，(fx，fy)是图像在x轴和y轴方向上的尺度因子，(cx，cy)为摄像机的主点坐标；W＝[RT]，用于摄像机平面和目标物体平面的旋转平移变换，即为摄像机外参数矩阵。进一步的，对标定后的双目摄像机进行立体校正：校正后点的位置表示为(xp，yp)，畸变后点的位置表示为(xd，yd)，则有：式中：k1、k2、k3为切向畸变参数，p1、p2为径向畸变参数。进一步的，具体测距公式为：式中，f为相机焦距，T为两相机中心距，xl-xr为视差，Z为深度信息，P为待测物体位置。进一步的，对校正好的双目摄像机获取的左、右图片进行半全局SGBM立体匹配，寻找同一物点在左、右图片中的对应坐标以及两个点所对应坐标的视差值d，通过以下公式计算物体的深度：Q[xyd1]T＝[XYZW]T(4-11)空间点的三维坐标就是(X/WY/WZ/W)。进一步的，根据物体的边缘在图像像素中的位置与图像中间像素位置的x方向差值除以x方向像素值再乘整个图像的视角，即可得到现实物体与机器人待角度偏移，整个图像的视角即为图像代表的视野角度。一种导盲机器人系统，包括麦克纳姆轮轮式车以及设置于麦克纳姆轮轮式车上的控制系统、双目摄像机、语音播报器和红外传感器；控制系统包括主控制单元以及与主控制单元连接的红外测距单元、行走控制单元和语音控制单元；主控制单元用于加载上述方法程序；红外测距单元通过红外传感器获取麦克纳姆轮轮式车周围的障碍物信息，并将获取的障碍物信息传输至主控制单元；主控制单元根据获取的障碍物信息生成避障路线信息，将避障路线信息传输至行走控制单元实现麦克纳姆轮轮式车避障目的；行走控制单元用于接收主控制单元控制信号驱动麦克纳姆轮轮式车电机运动；双目摄像机用于获取麦克纳姆轮轮式车前方图像，并将获取的图像传输至主控制单元；主控单元根据获取的图像进行识别和测距，然后将识别信息和测距信息通过语音控制单元控制语音播报器进行播报。进一步的，行走控制单元采用L298N电机驱动模块；麦克纳姆轮轮式车底盘采用四个直流电机控制的麦克纳姆轮搭建方式的轮式车底盘。与现有技术相比，本专利技术具有以下有益的技术效果：本专利技术一种智能语音导盲机器人控制方法及控制系统，采用YOLO神经网络实现了对物体的检测与识别得到障碍物类别信息，对双目摄像机进行双目标定与立体匹配从而实现测距功能，利用espeak语音合成将得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报，从而实现障碍物播报，采用近红外传感器对视野内的障碍物进行检测，通过行走装置进行行走和避障，并通过语音形式与使用者进行信息传递，增加了使用者对周围环境的感知能力，本专利技术识别准确率高、对复杂环境性能稳健，本专利技术实现了精准智能的语音播报，以提示盲人前方的物体类别，并提供最近物体的距离，使盲人对环境有精确的了解，提高生活质量，能够满足盲人生活需要。进一步的，基于darknet神经网络结构，采用YOLO算法对获取的图像进行神经网络样本训练和测试，提高了计算精度。进一步的，对双目摄像机进行标定，减小了相机的径向畸变和切向畸变。附图说明图1为本专利技术结构示意图。图2为本专利技术控制系统框图。图3为本专利技术方法流程图。图4为麦克纳姆轮轮式车控制流程图。图5为物体检测流程图。图6为神经网络训练框图。图7为预测位置参数结构示意图。图8为转移层结构图。图9为摄像机小孔成像模型图。图10为立体匹配与测距基本原理图。具体实施方式下面结合附图对本专利技术做进一步详细描述：如图1、图2所示，一种智能语音导盲机器人，包括麦克纳姆轮轮式车2以及设置于麦克纳姆轮轮式车2上的控制系统1、双目摄像机4、语音播报器3和红外传感器5；控制系统包括主控制单元以及与主控制单元连接的红外测距单元、行走控制单元和语音控制单元；红外测距单元通过红外传感器5获取麦克纳姆轮轮式车2周围的障碍物信息，并将获取的障碍物信息传输至主控制单元；主控制单元根据获取的障碍物信息生成避障路线信息，将避障路线信息传输至行走控制单元实现麦克纳姆轮轮式车避障目的；行走控制单元用于接收主控制单元控制信号驱动麦克纳姆轮轮式车电机运动；双目摄像机4用于获取麦克纳姆轮轮式车前方图像，并将获取的图像传输至主控制单元；主控单元根据获取的图像进行识别和测距，然后将识别信息和测距信息通过语音控制单元控制语音播报器3进行播报；行走控制单元采用L298N电机驱动模块；麦克纳姆轮轮式车底盘采用四个直流电机控制的麦克纳姆轮搭建方式的轮式车底盘为载体以实现小车的36本文档来自技高网...

【技术保护点】
1.一种智能语音导盲机器人控制方法，其特征在于，包括以下步骤：步骤1)、通过双目摄像机获取机器人前方图像，对获取的图像采用yolo算法对机器人前方障碍物进行类别识别得到障碍物类别信息；步骤2)、对双目摄像机进行双目标定，利用标定后的双目摄像机获取障碍物与机器人的距离和方位；步骤3)、通过espeak语音合成将步骤1)和步骤2)得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报；步骤4)、利用向红外传感器检测检测障碍物位于车辆的位置，控制车辆向障碍物所在车辆位置的相反方向移动。

【技术特征摘要】
1.一种智能语音导盲机器人控制方法，其特征在于，包括以下步骤：步骤1)、通过双目摄像机获取机器人前方图像，对获取的图像采用yolo算法对机器人前方障碍物进行类别识别得到障碍物类别信息；步骤2)、对双目摄像机进行双目标定，利用标定后的双目摄像机获取障碍物与机器人的距离和方位；步骤3)、通过espeak语音合成将步骤1)和步骤2)得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报；步骤4)、利用向红外传感器检测检测障碍物位于车辆的位置，控制车辆向障碍物所在车辆位置的相反方向移动。2.根据权利要求1所述的一种智能语音导盲机器人控制方法，其特征在于，步骤1)中，基于darknet神经网络结构，采用YOLO算法对获取的图像进行神经网络样本训练和测试。3.根据权利要求2所述的一种智能语音导盲机器人控制方法，其特征在于，采用YOLO算法对获取的图像进行神经网络样本训练：将双目摄像机获取的图像划分为大小为S*S个小格子，每个格子负责检测是否有待检测物体的中心落在了格子内，各网格检测时产生B个检测边框,每个边框包含5维信息：x,y,w,h,Cobj,x,y,w,h,Cobj分别代表边框中心的横坐标、纵坐标、整幅图像的宽度、整幅图像的高度和包围框的置信度,置信度如公式(1)(2)所示:式(1)中,Pr(Object)为物体在格子中的概率，存在则为1，反之为0，IOU表示参考的标准框和检测框的交并面积之比；YOLO算法在卷积层提取特征,目标预测在全连接层进行，当Pr(Object)＝1时,整幅图片中某类的置信度如公式(3)：式中Pr(Class|Object)是待检测目标的分类条件概率；Pr(Classi)是预测了某类别的概率；设置检测边框的阈值，滤掉得分低于阈值的包围边框，对保留的边框进行非极大值抑制处理，即可得到图像中障碍物对应置信度，即障碍物类别信息。4.根据权利要求1所述的一种智能语音导盲机器人控制方法，其特征在于，步骤2)中，利用标定后的双目摄像机获取障碍物与机器人的距离和方位具体包括以下步骤：对双目摄像机进行标定，定义p＝[xy]T的点和空间中的点p＝[xyz]T之间的关系表示为：p＝sHP式中：s为尺度因子，H由矩阵表示：H＝AW，A为摄像机的内参数矩阵，(fx，fy)是图像在x轴和y轴方向上的尺度因子，(cx，cy)为摄像机的主点坐标；W＝[RT]，用于摄像机平面和目标物...

【专利技术属性】
技术研发人员：马行，王政博，黄全进，穆春阳，张春涛，陈建宇，杨玉，
申请(专利权)人：北方民族大学，
类型：发明
国别省市：宁夏,64