一种视觉导航自平衡车及平衡方法技术

本发明专利技术公开了一种视觉导航自平衡车及平衡方法，包括STM32单片机，以及与之连接的用于姿态检测的传感器、编码器、摄像头、蓝牙、直流电机以及OLED；蓝牙用于STM32单片机与移动设备通信；STM32单片机包括的控制模块有姿态控制模块、速度控制模块、路径控制模块。本发明专利技术创新点在于采用了独特的视觉导航算法，受环境影响较小，抗干扰能力强，在不同环境情况下也能够很好的进行自主行驶。

A vision navigation self balancing vehicle and its balancing method

The invention discloses a vision navigation self balancing vehicle and a balancing method, which comprises an STM32 single-chip microcomputer, a sensor, an encoder, a camera, a Bluetooth, a DC motor and an OLED connected with the STM32 single-chip microcomputer for attitude detection; a Bluetooth is used for communication between the STM32 single-chip microcomputer and a mobile device; a STM32 single-chip microcomputer comprises a control module including an attitude control module, a speed control module and a path control module \u3002 The innovation of the invention is that it adopts a unique visual navigation algorithm, which is less affected by the environment, has strong anti-interference ability, and can well carry out independent driving under different environment conditions.

【技术实现步骤摘要】
一种视觉导航自平衡车及平衡方法
本专利技术涉及的是在复杂环境下，通过视觉导航技术，使自平衡自主沿着铺设好的路径行驶，并实时传回拍摄的图像信息，包括STM32单片机控制模块、姿态检测模块、编码器模块、摄像头模块、蓝牙通信模块、直流电机驱动模块以及OLED显示模块。
技术介绍
在目前科技高速发展的大背景下，对于例如环境探测任务来说，全面地获取信息并且将相关数据实时传送至终端设备对于该类任务来说变得越来越重要。如何快速有效、方便安全地实现智能化的信息采集，成为该类任务中亟待解决的重要科技课题。用具有视觉导航能力的自平衡车来代替人的手工劳动，是未来发展的方向。通过摄像头实时扫描周围环境，通过算法实现路径解算与视觉导航，都是其中关键的内容。因此，综合以上考虑，来对这方面进行一定的研究和设计。本专利技术以采用STM32F407VET6单片机为控制核心，一方面，采集MPU6050六轴传感器的加速度与角速度数据，经卡尔曼滤波后得到精准的直立倾角信息，结合速度-姿态串级PID控制器，加快电机对误差的响应速度，实现对平衡车直立的精确控制；另一方面，利用DMA机制采集OV7670摄像头的图像信息，并对其进行灰度化、高斯图像滤波、图像二值化、路径提取和拟合等处理，得到精确的路径信息，实现平衡车的视觉导航。为了增强人机交互体验，平衡车的关键数据还将实时传输到Android端App，并可通过App对平衡车进行控制。
技术实现思路
1、本专利技术的目的本专利技术提供一种视觉导航自平衡车及平衡方法，旨在解决现代环境探测任务中，人类无法直接进入到一些特殊复杂的环境进行探测、获取的探测信息不全面、探测过程繁琐且危险等问题。2、本专利技术所采用的技术方案本专利技术公开了一种视觉导航自平衡车，包括STM32单片机，以及与之连接的用于姿态检测的传感器、编码器、摄像头、蓝牙、直流电机以及OLED；蓝牙用于STM32单片机与移动设备通信；STM32单片机包括的控制模块有姿态控制模块、速度控制模块、路径控制模块：姿态控制模块，由STM32单片机读取传感器的加速度和角速度数据，利用卡尔曼滤波法进行融合，获得平衡车倾角，再经过姿态PID控制器得到姿态控制输出的PWM信号的占空比数值；速度控制模块，由STM32单片机周期性地对编码器A、B向脉冲进行正交解码，计算得到平衡车的速度值；将速度PID控制器和姿态PID控制器串联在一起，组成速度-姿态串级PID控制器；速度PID控制器输出要达到当前速度需要的倾角值，作为姿态PID控制器的期望值，通过控制平衡车的倾角间接实现控制速度；路径控制模块，由STM32单片机通过DMA方式采集OV7670摄像头的图像，对其进行高斯滤波、二值化处理，去除噪声干扰和冗余信息，得到只有黑、白两种颜色的二值化图像；之后扫描图像，得到图像中的黑色路径点的坐标，通过最小二乘法拟合出路径方程；对路径按照远近重要程度不同进行加权，送入路径PID控制器，得到路径控制输出的PWM信号的占空比数值；最后，将姿态控制和路径控制两者输出的占空比相加，产生PWM信号，控制电机旋转，从而达到控制平衡车的目的。更进一步，STM32单片机包括的控制模块还包括通信控制模块，由STM32单片机将平衡车各个传感器的数据、图像、参数、控制信息打包成数据包，通过蓝牙实现与移动设备的数据交换。更进一步，STM32单片机包括的控制模块还包括显示控制模块，由STM32单片机通过OLED，将平衡车当前的传感器、参数等信息以菜单实时形式显示出来。本专利技术公开了一种视觉导航自平衡车平衡方法，包括如下步骤：姿态控制步骤、速度控制步骤、路径控制步骤：姿态控制步骤，由STM32单片机读取传感器的加速度和角速度数据，利用卡尔曼滤波法进行融合，获得平衡车倾角，再经过姿态PID控制器得到姿态控制输出的PWM信号的占空比数值；速度控制步骤，由STM32单片机周期性地对编码器A、B向脉冲进行正交解码，计算得到平衡车的速度值；将速度PID控制器和姿态PID控制器串联在一起，组成速度-姿态串级PID控制器；速度PID控制器输出要达到当前速度需要的倾角值，作为姿态PID控制器的期望值，通过控制平衡车的倾角间接实现控制速度；路径控制步骤，由STM32单片机通过DMA方式采集OV7670摄像头的图像，对其进行高斯滤波、二值化处理，去除噪声干扰和冗余信息，得到只有黑、白两种颜色的二值化图像；之后扫描图像，得到图像中的黑色路径点的坐标，通过最小二乘法拟合出路径方程；对路径按照远近重要程度不同进行加权，送入路径PID控制器，得到路径控制输出的PWM信号的占空比数值；最后，将姿态控制和路径控制两者输出的占空比相加，产生PWM信号，控制电机旋转，从而达到控制平衡车的目的。更进一步，姿态控制步骤包括：传感器信息采集子步骤、倾角解算子步骤、PID控制子步骤；传感器信息采集子步骤，采集平衡车的加速度和角速度信息；倾角解算子步骤，利用加速度、角速度的信息通过卡尔曼滤波解算出平衡车的倾角；读取加速度、角速度，由加速度计算倾角观测值；推算平衡车当前时刻状态；推算误差协方差；计算卡尔曼增益；由倾角观测值更新估计；更新误差协方差；PID控制子步骤包括：对平衡车倾角误差进行控制，维持平衡车的平衡姿态；更进一步，速度控制子步骤包括：读取编码器计数；计算速度；速度滤波，对测得的速度进行一阶滞后滤波，从而减小速度的突变，使速度控制更加平滑；PID控制，经过滤波得到较为平滑的速度后，将速度控制PID与姿态控制PID组成速度-姿态串级PID控制器对速度进行控制，速度控制PID输出当前速度下平衡车倾角的期望值，作为姿态控制PID的输入；输出限幅，对速度控制的输出进行了限幅避免速度控制输出的倾角期望值过大。更进一步，速度控制的周期大于姿态控制的周期，将速度控制周期分散到n个姿态控制周期中，速度控制间隔逐渐输入到姿态控制中，分散输出。更进一步，路径控制步骤包括：图像采集与处理子步骤、路径检测与拟合子步骤以及加权控制子步骤；图像采集与处理子步骤，从OV7670摄像头采集图像信息，并对图像进行高斯滤波、二值化，以供后续路径检测使用；路径检测与拟合部分主要负责从二值化图像中将路径分离出来，获得路径各个点的坐标，并拟合出路径方程；加权控制部分主要负责对路径按重要程度进行加权，控制平衡车沿地面路径行驶，单片机通过DCMI模块对摄像头的图像进行采集，为了减少CPU资源的浪费，提高实时性，采用DMA方式进行传输，这样使得图像采集的同时，CPU可以处理其他事情；所述的高斯滤波，对灰度图像的像素点进行遍历，移动高斯核的中心元素，使之位于图像待处理像素点的正上方，然后将滤波器窗口内的每个像素点与对应的高斯核元素相乘，将结果相加即可得到输出；所述的二值化，首先对统计出灰度图像的直方图，路径与地面背景为主要成分对比度很大，在直方图中存在2个波峰，选取2个波峰之间的中点作为阈值；然后遍历灰度图像，将像素点大于阈值的判为白色，小于阈值的判为黑色，完成图像的二值化；本文档来自技高网...

【技术保护点】
1.一种视觉导航自平衡车，其特征在于：/n包括STM32单片机，以及与之连接的用于姿态检测的传感器、编码器、摄像头、蓝牙、直流电机以及OLED；蓝牙用于STM32单片机与移动设备通信；/nSTM32单片机包括的控制模块有姿态控制模块、速度控制模块、路径控制模块：/n姿态控制模块，由STM32单片机读取传感器的加速度和角速度数据，利用卡尔曼滤波法进行融合，获得平衡车倾角，再经过姿态PID控制器得到姿态控制输出的PWM信号的占空比数值；/n速度控制模块，由STM32单片机周期性地对编码器A、B向脉冲进行正交解码，计算得到平衡车的速度值；将速度PID控制器和姿态PID控制器串联在一起，组成速度-姿态串级PID控制器；速度PID控制器输出要达到当前速度需要的倾角值，作为姿态PID控制器的期望值，通过控制平衡车的倾角间接实现控制速度；/n路径控制模块，由STM32单片机通过DMA方式采集OV7670摄像头的图像，对其进行高斯滤波、二值化处理，去除噪声干扰和冗余信息，得到只有黑、白两种颜色的二值化图像；之后扫描图像，得到图像中的黑色路径点的坐标，通过最小二乘法拟合出路径方程；对路径按照远近重要程度不同进行加权，送入路径PID控制器，得到路径控制输出的PWM信号的占空比数值；最后，将姿态控制和路径控制两者输出的占空比相加，产生PWM信号，控制电机旋转，达到控制平衡车。/n...

【技术特征摘要】
1.一种视觉导航自平衡车，其特征在于：
包括STM32单片机，以及与之连接的用于姿态检测的传感器、编码器、摄像头、蓝牙、直流电机以及OLED；蓝牙用于STM32单片机与移动设备通信；
STM32单片机包括的控制模块有姿态控制模块、速度控制模块、路径控制模块：
姿态控制模块，由STM32单片机读取传感器的加速度和角速度数据，利用卡尔曼滤波法进行融合，获得平衡车倾角，再经过姿态PID控制器得到姿态控制输出的PWM信号的占空比数值；
速度控制模块，由STM32单片机周期性地对编码器A、B向脉冲进行正交解码，计算得到平衡车的速度值；将速度PID控制器和姿态PID控制器串联在一起，组成速度-姿态串级PID控制器；速度PID控制器输出要达到当前速度需要的倾角值，作为姿态PID控制器的期望值，通过控制平衡车的倾角间接实现控制速度；
路径控制模块，由STM32单片机通过DMA方式采集OV7670摄像头的图像，对其进行高斯滤波、二值化处理，去除噪声干扰和冗余信息，得到只有黑、白两种颜色的二值化图像；之后扫描图像，得到图像中的黑色路径点的坐标，通过最小二乘法拟合出路径方程；对路径按照远近重要程度不同进行加权，送入路径PID控制器，得到路径控制输出的PWM信号的占空比数值；最后，将姿态控制和路径控制两者输出的占空比相加，产生PWM信号，控制电机旋转，达到控制平衡车。


2.根据权利要求1所述的视觉导航自平衡车，其特征在于，STM32单片机包括的控制模块还包括通信控制模块，由STM32单片机将平衡车各个传感器的数据、图像、参数、控制信息打包成数据包，通过蓝牙实现与移动设备的数据交换。


3.根据权利要求1所述的视觉导航自平衡车，其特征在于，STM32单片机包括的控制模块还包括显示控制模块，由STM32单片机通过OLED，将平衡车当前的传感器、参数等信息以菜单实时形式显示出来。


4.一种视觉导航自平衡车平衡方法，其特征在于包括如下步骤：姿态控制步骤、速度控制步骤、路径控制步骤：
姿态控制步骤，由STM32单片机读取传感器的加速度和角速度数据，利用卡尔曼滤波法进行融合，获得平衡车倾角，再经过姿态PID控制器得到姿态控制输出的PWM信号的占空比数值；
速度控制步骤，由STM32单片机周期性地对编码器A、B向脉冲进行正交解码，计算得到平衡车的速度值；将速度PID控制器和姿态PID控制器串联在一起，组成速度-姿态串级PID控制器；速度PID控制器输出要达到当前速度需要的倾角值，作为姿态PID控制器的期望值，通过控制平衡车的倾角间接实现控制速度；
路径控制步骤，由STM32单片机通过DMA方式采集OV7670摄像头的图像，对其进行高斯滤波、二值化处理，去除噪声干扰和冗余信息，得到只有黑、白两种颜色的二值化图像；之后扫描图像，得到图像中的黑色路径点的坐标，通过最小二乘法拟合出路径方程；对路径按照远近重要程度不同进行加权，送入路径PID控制器，得到路径控制输出的PWM信号的占空比数值；最后，将姿态控制和路径控制两者输出的占空比相加，产生PWM信号，控制电机旋转，从而达到控制平衡车的目的。


5.根据权利要求4所述的视觉导航自平衡车平衡方法，其特征在于姿态控制步骤包括：传感器信息采集子步骤、倾角解算子步骤、PID控制子步骤；
传感器信息采集子步骤，采集平衡车的加速度和角速度信息；
倾角解算子步骤，利用加速度、角速度的信息通过卡尔曼滤波解算出平衡车的倾角；读取加速度、角速度，由加速度计算倾角观测值；推算平衡车当前时刻状态；推算误差协方差；计算卡尔曼增益；由倾角观测值更新估计；更新误差协方差；PID控制子步骤包括：对平衡车倾角误差进行控制，维持平衡车的平衡姿态。


6.根据权利要求4所述的视觉导航自平衡车平衡方法，其特征在于速度控制子步骤包括：读取编码器计数...

【专利技术属性】
技术研发人员：崔渊，秦金玉，戴霞娟，高倩，薛波，俞洋，黄成，陶为戈，
申请(专利权)人：江苏理工学院，
类型：发明
国别省市：江苏;32