一种基于深度视觉的可穿戴导盲设备及服务器制造技术

本发明专利技术实施例公开一种基于深度视觉的可穿戴导盲设备及服务器，涉及导盲技术领域。包括：深度摄像头，用于获取自身前方预定视场内的图像流，并发送给处理器；图像流包括深度图像与彩色图像；处理器，用于将深度图像转换为以灰度表示深度的初始RGB‑D图像，用聚类算法对初始RGB‑D图像进行修复处理，得到RGB‑D修复图像；对彩色图像进行语义分割处理，得到彩色修复图像；根据预设的灰度阈值，利用彩色修复图像对RGB‑D修复图像进行聚类处理，得到包含不同灰度信息的分布图像；根据灰度信息确定出障碍物的位置，并发送导盲信息至导盲提示模块；导盲提示模块根据导盲信息对用户进行路径导盲提示。可扩大障碍物探测范围，且携带方便，从而提高导盲设备的实用性。

【技术实现步骤摘要】
一种基于深度视觉的可穿戴导盲设备及服务器
本专利技术涉及导盲
，特别涉及一种基于深度视觉的可穿戴导盲设备及服务器。
技术介绍
我国是世界上盲人最多的国家，截至2018年全国已经有1731万盲人，占全世界盲人人口的18％，而且盲人数量还在不断增长，约近1分钟就会增加1个盲人，3个低视力患者。盲人群体的生存状况是我国政府和社会长期关注的课题，尽管我国有如此庞大的视力残疾人群，可我们在街道上很难见到这样的人群出现。我国虽然设置了最长的盲道，但是可使用率较低，加上人口密度大，环境复杂，盲人出行依旧是一个严峻的问题。传统的导盲犬虽然可以很好的帮助到盲人，但由于训练困难、价格昂贵还不被广大人群接受，导盲犬的使用范围非常有限。随着科技的发展，一些导盲科技作品陆续出现，智能导盲杖、导盲机器人渐渐问世，利用超声波探测障碍物并配上语音系统与人进行交互，尽管可以实时反馈信息，但由于超声波探测属于点到点的线性探测，其探测范围有限，若增加超声波设备布设的密集性，携带又较为不便，在一定程度上降低了该类导盲设备的实用性。
技术实现思路
有鉴于此，本专利技术实施例提供一种基于深度视觉的可穿戴导盲方法、设备及系统，可以扩大障碍物探测范围，且携带方便，从而可提高导盲设备的实用性。一种基于深度视觉的可穿戴导盲设备，包括：深度摄像头、处理器、导盲提示模块及电路控制模块；所述处理器分别与深度摄像头及导盲提示模块连接，所述电路控制模块分别与前述各个模块连接，用于为导盲设备提供电源及对各个模块的电路进行管理；r>所述深度摄像头，用于获取自身前方预定视场内的图像流，并发送给所述处理器；所述图像流包括深度图像与彩色图像；所述处理器，用于将所述深度图像转换为以灰度表示深度的初始RGB-D图像，用聚类算法对所述初始RGB-D图像进行修复处理，得到RGB-D修复图像；及对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述RGB-D修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲提示模块；所述导盲提示模块，用于根据所述导盲信息对用户进行路径导盲提示。可选地，所述处理器，用聚类算法对所述初始RGB-D图像进行修复处理，得到RGB-D修复图像包括：对所述初始RGB-D图像，设定聚类个数、模糊指数、收敛精度及迭代次数；初始化一个隶属度，根据K均值聚类算法计算出一个第一聚类中心；将得到的所述第一聚类中心作为KFCM算法的初始聚类中心使用，根据隶属度迭代公式计算第一次迭代隶属度u(k+1)，所述隶属度uij迭代公式为：根据聚类中心迭代公式计算得到第一次迭代之后的聚类中心v(k+1)，令k＝k+1，其中聚类中心迭代公式为：其中K(xj,vi)是高斯径向基函数，其形式为m为模糊指数，k为迭代次数，k的初始值为0，uij是隶属度，vi表示聚类中心；重复迭代计算隶属度和聚类中心，直到存在i使其中c为聚类个数，i为当前迭代次数，i为正整数、且1≤i≤c；调用KFCM算法目标核函数，基于最后一次计算得到的隶属度与聚类中心，构建原始空间的点坐标与特征空间坐标的映射关系，根据所述映射关系将原始空间的点转换到特征空间中，以对初始RGB-D图像进行最优划分处理。可选的，所述处理器，对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像包括：制作训练样本数据集；将样本数据进行批量处理并输入选定的编码-解码类深度学习模型中训练，输出得到图像分割模型；将待处理的图像修改为预定像素大小的RGB图像，并将RGB三原色的值进行数字标准化；将数字标准化处理后的RGB图像输入所述图像分割模型，对所述RGB图像进行压缩提纯处理，获取图像中每个像素点的类别并输出，得到分割后的彩色修复图像。可选地，根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述RGB-D修复图像进行聚类包括：基于所述分割后的彩色修复图像的语义分割结果对RGB-D修复图像进行分割和标注，得到标注的RGB-D图像；对所述标注的RGB-D图像进行处理，提取图像中所有极小值点的深度，利用所述彩色修复图像的语义分割结果对所述极小值点进行聚类；其中，聚类结果中包括灰度信息；根据预设的灰度阈值，将上述聚类结果中的灰度分为三个等级，并分别对所述灰度赋相应等级区间内的灰度值，得到包含三种灰度值的分布图像结果。可选地，所述导盲提示模块包括音频输出单元，所述处理器，还用于在根据所述分布图像的灰度信息确定出障碍物的位置同时或之后，将确定出的障碍物的分布图像转化为电子立体声和普通话语音播报信息输出至所述音频输出单元；所述音频输出单元，用于以语音播报的形式向用户反馈障碍物位置分布并进行路径导盲提示，以使用户根据所述路径导盲提示行走。可选地，所述导盲提示模块还包括振动单元，所述振动单元用于通过振动的形式向用户反馈障碍物位置分布并进行路径导盲提示，以使用户根据所述路径导盲提示行走。可选地，所述导盲提示模块还包括三个振动单元，当用户使用所述导盲设备时，三个震动单元分别分布在用户的腹部左中右三个位置，形成一个多方向感知的振动传感系统；当左侧振动单元振动时，用于提示用户向左行走方向存在障碍物，当右侧振动单元振动时，用于提示用户向右行走方向存在障碍物，当中部振动单元振动时，用于提示用户前进方向存在障碍物。可选地，还包括定位模块及无线通信模块，所述定位模块与所述处理器连接，用于确定导盲设备当前的位置信息，并发送至所述处理器；所述无线通信模块与所述处理器连接，所述处理器通过所述无线通信模块与其它电子设备通信；所述处理器，至少还用于通过所述无线通信模块向其他电子设备发送位置信息及彩色图像信息。可选地，所述摄像头水平拍摄方向视场角为100～360度，竖直拍摄方向视场角为50～100度第二方面，本专利技术还实施例提供一种服务器，其特征在于，用于与可穿戴导盲设备通信连接；所述服务器，用于接收可穿戴导盲设备发送的自身前方预定视场内的图像流；所述图像流包括深度图像与彩色图像；将所述深度图像转换为以灰度表示深度的初始RGB-D图像，用聚类算法对所述初始RGB-D图像进行修复处理，得到RGB-D修复图像；及对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述RGB-D修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲设备，以使所述导盲设备根据所述导盲信息对用户进行路径导盲本文档来自技高网...

【技术保护点】
1.一种基于深度视觉的可穿戴导盲设备，其特征在于，包括：深度摄像头、处理器、导盲提示模块及电路控制模块；/n所述处理器分别与深度摄像头及导盲提示模块连接，所述电路控制模块分别与前述各个模块连接，用于为导盲设备提供电源及对各个模块的电路进行管理；/n所述深度摄像头，用于获取自身前方预定视场内的图像流，并发送给所述处理器；所述图像流包括深度图像与彩色图像；/n所述处理器，用于将所述深度图像转换为以灰度表示深度的初始RGB-D图像，用聚类算法对所述初始RGB-D图像进行修复处理，得到RGB-D修复图像；/n及对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；/n根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述RGB-D修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；/n根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲提示模块；/n所述导盲提示模块，用于根据所述导盲信息对用户进行路径导盲提示。/n

【技术特征摘要】
1.一种基于深度视觉的可穿戴导盲设备，其特征在于，包括：深度摄像头、处理器、导盲提示模块及电路控制模块；
所述处理器分别与深度摄像头及导盲提示模块连接，所述电路控制模块分别与前述各个模块连接，用于为导盲设备提供电源及对各个模块的电路进行管理；
所述深度摄像头，用于获取自身前方预定视场内的图像流，并发送给所述处理器；所述图像流包括深度图像与彩色图像；
所述处理器，用于将所述深度图像转换为以灰度表示深度的初始RGB-D图像，用聚类算法对所述初始RGB-D图像进行修复处理，得到RGB-D修复图像；
及对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；
根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述RGB-D修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；
根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲提示模块；
所述导盲提示模块，用于根据所述导盲信息对用户进行路径导盲提示。


2.根据权利要求1所述的导盲设备，其特征在于，所述处理器，用聚类算法对所述初始RGB-D图像进行修复处理，得到RGB-D修复图像包括：
对所述初始RGB-D图像，设定聚类个数、模糊指数、收敛精度及迭代次数；
初始化一个隶属度，根据K均值聚类算法计算出一个第一聚类中心；
将得到的所述第一聚类中心作为KFCM算法的初始聚类中心使用，根据隶属度迭代公式计算第一次迭代隶属度u(k+1)，所述隶属度uij迭代公式为：
根据聚类中心迭代公式计算得到第一次迭代之后的聚类中心v(k+1)，令k＝k+1，其中聚类中心迭代公式为：其中K(xj,vi)是高斯径向基函数，其形式为m为模糊指数，k为迭代次数，k的初始值为0，uij是隶属度，vi表示聚类中心；
重复迭代计算隶属度和聚类中心，直到存在i使其中c为聚类个数，i为当前迭代次数，i为正整数、且1≤i≤c；
调用KFCM算法目标核函数，基于最后一次计算得到的隶属度与聚类中心，构建原始空间的点坐标与特征空间坐标的映射关系，根据所述映射关系将原始空间的点转换到特征空间中，以对初始RGB-D图像进行最优划分处理。


3.根据权利要求1所述的导盲设备，其特征在于，所述处理器，对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像包括：
制作训练样本数据集；
将样本数据进行批量处理并输入选定的编码-解码类深度学习模型中训练，输出得到图像分割模型；
将待处理的图像修改为预定像素大小的RGB图像，并将RGB三原色的值进行数字标准化；
将数字标准化处理后的RGB图像输入所述图像分割模型，对所述RGB图像进行压缩提纯处理，获取图像中每个像素点的类别并输出，得到分割后的彩色修复图像。


4.根据权利要求3所述的导盲设备，其特征在于，根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述RGB-D修复图像进行聚类包括：
基于所述分割后...

【专利技术属性】
技术研发人员：周昱臣，赵小燕，吴平禹，杨钦辰，马佳佳，刘欢，齐一睿，张朝晖，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11