【技术实现步骤摘要】
一种移动型导盲机器人系统及导盲方法
本专利技术涉及一种移动型导盲机器人系统及导盲方法,属于残疾人辅助设备领域。
技术介绍
当前,我国视力障碍人士的数量超过500万人,位居世界前列。越来越多的视障人士认为,现阶段社会提供的导盲设施及工具均不能很好地满足他们的活动需要,难以提供有效的路径规划和避障服务,一定程度上造成了视力障碍人群出行难的问题。随着人工智能领域算法的突破性发展以及应用的日益普及,近年来智能硬件的成本大为降低,相关工具链也日益成熟,为新应用的形成奠定了必要的基础。当前智能导盲装置主要有穿戴式和杖式两大类,这两类导盲装置的主要技术缺陷有:(1)受限于可穿戴属性或安装空间对体积和重量的限制,该类装置难以配备高性能计算设备和完善的多源信息感知系统。(2)穿戴式智能导盲装置的感知传感器以人体为安装面,杖式智能导盲装置以盲杖前缘为安装面,均与人体运动强耦合,受人体正常运动的影响难以保持传感器参考系相对稳定,不利于提高感知精度。(3)无法实现直接的引导,仅提供感知辅助,决策需盲人自身完成。针对上述技术缺陷工业界发展了一类具有自主移动功能的导盲机器人,可初步处理上述缺陷,但仍存在诸多不足之处,如中国专利CN110368275A公开了一种导盲机器人硬件设计方法及与之配合的自主导盲方法,但没有考虑融合路面可通行性,在路径规划方面没有考虑导盲任务所处的行人环境。当前的代表性感知方案普遍使用语义分割技术判别可行路面,如中国专利CN201810534059.7公开的一种基于语义分割神经网络模型的目标 ...
【技术保护点】
1.一种移动型导盲机器人导盲方法,其特征在于:包括如下步骤:/n步骤一、采集训练数据;拍摄采集多张周围环境图片,构成图集D;并通过人工标注每张数据的内容轮廓;/n步骤二、构建识别网络;在图像集D基础上进行迁移学习,得到材质判别模型,之后进行修剪、量化和霍夫曼编码,将材质判别模型压缩并通过TensorRT工具优化材质判别模型的算力消耗,同时对每类材质赋予惩罚值l,得到材质惩罚系数表,再将判别模型和材质惩罚系数表一并存储在机器人系统中;所述惩罚值表示对系统在该材质上运动的拒绝程度;/n步骤三、材质检测以及材质评分;/n材质检测:在运行模式下,传感器将获取的深度相机和彩色相机数据帧分别发送给步骤二所得的判别模型;利用判别模型得到像素坐标系下的材质信息M;所述材质信息M元素格式为(u,v,C),u表示x轴方向像素坐标;v表示y轴方向像素坐标;C表示材质类别;/n材质评分:为将其与世界坐标系下点云
【技术特征摘要】
1.一种移动型导盲机器人导盲方法,其特征在于:包括如下步骤:
步骤一、采集训练数据;拍摄采集多张周围环境图片,构成图集D;并通过人工标注每张数据的内容轮廓;
步骤二、构建识别网络;在图像集D基础上进行迁移学习,得到材质判别模型,之后进行修剪、量化和霍夫曼编码,将材质判别模型压缩并通过TensorRT工具优化材质判别模型的算力消耗,同时对每类材质赋予惩罚值l,得到材质惩罚系数表,再将判别模型和材质惩罚系数表一并存储在机器人系统中;所述惩罚值表示对系统在该材质上运动的拒绝程度;
步骤三、材质检测以及材质评分;
材质检测:在运行模式下,传感器将获取的深度相机和彩色相机数据帧分别发送给步骤二所得的判别模型;利用判别模型得到像素坐标系下的材质信息M;所述材质信息M元素格式为(u,v,C),u表示x轴方向像素坐标;v表示y轴方向像素坐标;C表示材质类别;
材质评分:为将其与世界坐标系下点云建立联系,切取世界坐标系中机器人正前方1m*1m区域,由其中的点计算对应的像素坐标其中Twc为世界坐标到相机坐标变换阵,由惯性测量单元(IMU)读取得到,Cm为相机矩阵,由传感器预先标定得到;由在M中查询对应的材质类别,按步骤二预定义的惩罚值替换材质类别C,得到材质损失Lmaterial,Lmaterial元素格式为(x,y,z,l),x,y,z表示世界坐标系下坐标;l表示惩罚值;
步骤四、基于点云平面拟合的平坦型检测;
1)通过深度相机的深度点云信息获取实时路面点云数据;将数据转换为PCL点云处理库的PointCloud2数据类型,使用聚类型点云滤波器进行异常点补偿和点云滤波;
2)对滤波后的点云数据进行随机采样一致性评估,获得拟检测地平面的参数,进而得到估计平面;计算点云集中每一点到此平面的欧氏距离di,并按下式计算对应的li,进而得地平面平坦性描述T,T={l1,l2,...lN};
上式中,均值σ为敏感度阈值;选取T中位于世界坐标系中机器人正前方1m*1m区域的点构成集合,记为平坦损失Lterrian;
步骤五、2.5维栅格地图融合;
将步骤四得到的Lterrian和步骤三得到的Lmaterial相加得总损失Lmerge,Lmerage向步骤四得到的估计平面投影,并栅格化;对每个栅格进行如下操作:无映射点的栅格记惩罚值为无穷大;存在多映射点的栅格取最大惩罚值,从而得到2.5维栅格地图,将栅格地图发布为ROS消息,提交给规划模块处理;
步骤六、全局路径规划;即路网级规划,通过调用百度地图或高德地图API实现,其决策结果为一个路网级的轨迹参考线;
步骤七、两步法进行局部路径规划;
第一步、局部路径规划粗生成;在步骤五得到的栅格地图的信息基础上,暂不考虑行人这类高动态非合作目标的避碰约束,利用经典路径规划技术拟定初始局部规划的参考轨迹集
第二步、局部路径规划细生成;在初始参考轨迹集的基础上考虑剩余约束要求和优化指标,生成最终的决策轨迹τ,进而由控制器生成具体的决策序列A0:T;
考虑控制时间片[t0,tf],设为处于导盲机器人领域中的Nnearby个行人在t时刻的状态向量,其中
Px,Py,为位置、Vx,Vy为速度,θb,为躯干的方向角,θh为头部的方向角;容许控制ut=[rls,rrs];rls为机器人左轮转速,rrs为机器人右轮转速。优化的总体目标为:
其中,α*(tf-t0)为时间最短目标,为各行人与机器人的距离和,要求生成轨迹尽量接近初始参考轨迹α,β,γ为非负的加权参数;以此为目标求解控制量,控制量需满足如下约束条件:满足的控制约束,满足Δ=|ut(1)-ut(2)|<ωmax的转向约束,满足的加速度约束;并考虑人机关系,满...
【专利技术属性】
技术研发人员:戴亚平,王笑涵,赵乾,
申请(专利权)人:北京理工大学,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。