辅助视障人士的行进动作规划方法、装置及计算设备制造方法及图纸

本发明专利技术实施例涉及人工智能技术领域，公开了一种辅助视障人士的行进动作规划方法、装置及计算设备，该方法包括：实时获取视障人士前方的视频流以及目的地方位；对所述视频流以及所述目的地方位进行预处理；将预处理后的所述视频流以及所述目的地方位输入训练后的深度卷积神经网络模型；通过所述深度卷积神经网络模型根据所述视频流以及所述目的地方位输出对应的最优行走动作，并反馈至视障人士。通过上述方式，本发明专利技术实施例能够实时、准确地辅助视障人士在出行中避开障碍物并到达目的地。视障人士在出行中避开障碍物并到达目的地。视障人士在出行中避开障碍物并到达目的地。

【技术实现步骤摘要】
辅助视障人士的行进动作规划方法、装置及计算设备


[0001]本专利技术实施例涉及人工智能
，具体涉及一种辅助视障人士的行进动作规划方法、装置及计算设备。

技术介绍

[0002]据统计，中国视力障碍人数有7551万，其中盲人达到1400万，中国的视残者占据全世界视残人口的18％。盲人缺少感知外界的手段，出行往往有不少障碍。目前出行难仍是视障人群的首要问题。中国拥有大量视力残疾者，但是我们却很少可以看到盲人走在盲道上。究其缘由还是因为盲人所依赖的盲道经常因各种原因被障碍物阻挡。盲道存在的唯一的价值是让视障人士可以独自出行，如果盲道不能让他们“独自出行”，那么盲道也就形同虚设。而手机导航虽然有行走路线的规划，但无法帮助视障人士避开路途中的障碍物。

技术实现思路

[0003]鉴于上述问题，本专利技术实施例提供了一种辅助视障人士的行进动作规划方法、装置及计算设备，克服了上述问题或者至少部分地解决了上述问题。
[0004]根据本专利技术实施例的一个方面，提供了一种辅助视障人士的行进动作规划方法，所述方法包括：实时获取视障人士前方的视频流以及目的地方位；对所述视频流以及所述目的地方位进行预处理；将预处理后的所述视频流以及所述目的地方位输入训练后的深度卷积神经网络模型；通过所述深度卷积神经网络模型根据所述视频流以及所述目的地方位输出对应的最优行走动作，并反馈至视障人士。
[0005]在一种可选的方式中，所述实时获取视障人士前方的视频流以及目的地方位，包括：获取通过5G网络传输的通过设置在视障人士佩戴的眼镜上的4K摄像头实时捕获的所述视频流及所述目的地方位。
[0006]在一种可选的方式中，所述对所述视频流以及所述目的地方位进行预处理，包括：从所述视频流中提取每一帧图像并进行归一化处理；将所述目的地方位通过极坐标来表示，其中所述极坐标为以视障人士当前位置为极点的用方向和距离表示的目的地的位置。
[0007]在一种可选的方式中，所述从所述视频流中提取每一帧图像并进行归一化处理，包括：从所述视频流中提取每一帧图像并转换成单通道的800*800的大小；对所述每一帧图像的每一个像素值按比例压缩至0到1的范围内；将所述每一帧图像的像素值分别对应减去全局均值图片的像素值以实现归一化。
[0008]在一种可选的方式中，所述将预处理后的所述视频流以及所述目的地方位输入训练后的深度卷积神经网络模型之前，包括：获取视障人士的历史视频帧流、对应的目的地方位以及正确的行走动作数据，形成数据集；将所述历史视频帧流以及对应的所述目的地方位进行预处理，并将所述数据集分为训练集和测试集；根据所述历史视频帧流、对应的所述目的地方位以及所述正确的行进动作数据对所述深度卷积神经网络模型进行训练，获取训练后的所述深度卷积神经网络模型。
[0009]在一种可选的方式中，所述根据所述历史视频帧流、对应的所述目的地方位以及所述正确的行进动作数据对所述深度卷积神经网络模型进行训练，包括：将预处理后的所述历史视频帧流、对应的所述目的地方位输入所述深度卷积神经网络模型，输出预测的行走动作；计算所述预测的行走动作和所述正确的行走动作之间的误差；选择平均绝对值误差函数作为目标函数，应用自适应矩估计优化器作为梯度下降优化算法改善梯度下降的学习速度，应用所述测试集对所述深度卷积神经网络模型进行验证；找到使所述目标函数最小的最优权重值，作为训练后的所述深度卷积神经网络模型的权重。
[0010]在一种可选的方式中，所述将预处理后的所述历史视频帧流、对应的所述目的地方位输入所述深度卷积神经网络模型，输出预测的行走动作，包括：
[0011]将所述历史视频帧流输入所述深度卷积神经网络模型，依次经过第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层进行处理；将对应的所述目的地方位输入合并层与处理后的所述历史视频帧流进行合并；经过神经元个数不尽相同的三个连接层后输出所述预测的行走动作。
[0012]根据本专利技术实施例的另一个方面，提供了一种辅助视障人士的行进动作规划装置，所述装置包括：数据获取单元，用于实时获取视障人士前方的视频流以及目的地方位；预处理单元，用于对所述视频流以及所述目的地方位进行预处理；数据输入单元，用于将预处理后的所述视频流以及所述目的地方位输入训练后的深度卷积神经网络模型；动作获取单元，用于通过所述深度卷积神经网络模型根据所述视频流以及所述目的地方位输出对应的最优行走动作，并反馈至视障人士。
[0013]根据本专利技术实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
[0014]所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述辅助视障人士的行进动作规划方法的步骤。
[0015]根据本专利技术实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述辅助视障人士的行进动作规划方法的步骤。
[0016]本专利技术实施例通过实时获取视障人士前方的视频流以及目的地方位；对所述视频流以及所述目的地方位进行预处理；将预处理后的所述视频流以及所述目的地方位输入训练后的深度卷积神经网络模型；通过所述深度卷积神经网络模型根据所述视频流以及所述目的地方位输出对应的最优行走动作，并反馈至视障人士，能够实时、准确地辅助视障人士在出行中避开障碍物并到达目的地。
[0017]上述说明仅是本专利技术实施例技术方案的概述，为了能够更清楚了解本专利技术实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0018]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术
的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0019]图1示出了本专利技术实施例提供的辅助视障人士的行进动作规划方法的流程示意图；
[0020]图2示出了本专利技术实施例提供的辅助视障人士的行进动作规划方法的深度卷积神经网络模型预测的方法示意图；
[0021]图3示出了本专利技术实施例提供的辅助视障人士的行进动作规划方法的深度卷积神经网络模型的结构示意图；
[0022]图4示出了本专利技术实施例提供的辅助视障人士的行进动作规划装置的结构示意图；
[0023]图5示出了本专利技术实施例提供的计算设备的结构示意图。
具体实施方式
[0024]下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。
...

【技术保护点】

【技术特征摘要】
1.一种辅助视障人士的行进动作规划方法，其特征在于，所述方法包括：实时获取视障人士前方的视频流以及目的地方位；对所述视频流以及所述目的地方位进行预处理；将预处理后的所述视频流以及所述目的地方位输入训练后的深度卷积神经网络模型；通过所述深度卷积神经网络模型根据所述视频流以及所述目的地方位输出对应的最优行走动作，并反馈至视障人士。2.根据权利要求1所述的方法，其特征在于，所述实时获取视障人士前方的视频流以及目的地方位，包括：获取通过5G网络传输的通过设置在视障人士佩戴的眼镜上的4K摄像头实时捕获的所述视频流及所述目的地方位。3.根据权利要求1所述的方法，其特征在于，所述对所述视频流以及所述目的地方位进行预处理，包括：从所述视频流中提取每一帧图像并进行归一化处理；将所述目的地方位通过极坐标来表示，其中所述极坐标为以视障人士当前位置为极点的用方向和距离表示的目的地的位置。4.根据权利要求3所述的方法，其特征在于，所述从所述视频流中提取每一帧图像并进行归一化处理，包括：从所述视频流中提取每一帧图像并转换成单通道的800*800的大小；对所述每一帧图像的每一个像素值按比例压缩至0到1的范围内；将所述每一帧图像的像素值分别对应减去全局均值图片的像素值以实现归一化。5.根据权利要求1所述的方法，其特征在于，所述将预处理后的所述视频流以及所述目的地方位输入训练后的深度卷积神经网络模型之前，包括：获取视障人士的历史视频帧流、对应的目的地方位以及正确的行走动作数据，形成数据集；将所述历史视频帧流以及对应的所述目的地方位进行预处理，并将所述数据集分为训练集和测试集；根据所述历史视频帧流、对应的所述目的地方位以及所述正确的行进动作数据对所述深度卷积神经网络模型进行训练，获取训练后的所述深度卷积神经网络模型。6.根据权利要求5所述的方法，其特征在于，所述根据所述历史视频帧流、对应的所述目的地方位以及所述正确的行进动作数据对所述深度卷积神经网络模型进行训练，包括...

【专利技术属性】
技术研发人员：邢彪，陈维新，章淑敏，郑远哲，刘梦晗，林乐轩，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：