一种基于深度智能交互的室外视障辅助方法技术

本发明专利技术公开了一种基于深度智能交互的室外视障辅助方法，包括：1.获取图像和语音数据；2.根据图像数据获得深度图；3.基于目标检测网络获取目标信息；4.基于语义分割网络获取路面信息；5.将目标信息和道路信息映射到世界坐标系中；6.对目标和道路边缘实时检测并语音播报。本发明专利技术能快速准确的分析使用者前方的目标和道路边缘的位置及距离，并通过语音进行反馈，从而能保障视障人士的出行安全。从而能保障视障人士的出行安全。从而能保障视障人士的出行安全。

【技术实现步骤摘要】
一种基于深度智能交互的室外视障辅助方法


[0001]本专利技术属于多媒体信息处理领域，涉及到计算机视觉、自然语言处理、深度学习、双目测距等技术，具体地说是一种基于深度智能交互的室外视障辅助方法。

技术介绍

[0002]目前视障人士的出行安全和生活保障仍然是社会的一大热点。盲道，导盲犬等措施虽然可以在一定程度上满足视障群体的生活，但因其消耗资源多，成效不显著，终归不是治本之道。因此一种可供视障人士自己使用的，便捷有效的设备迫在眉睫，但是纵观国内外大学公布的研究课题，鲜有此方面的研究和成果出现。

技术实现思路

[0003]本专利技术为了解决上述现有技术存在的不足之处，提出一种基于深度智能交互的室外视障辅助方法，以其能快速准确的分析使用者前方的目标和道路边缘的位置及距离，从而能保障视障人士的出行安全。
[0004]本专利技术为解决技术问题采用如下的方法方案：
[0005]本专利技术一种基于深度智能交互的室外视障辅助方法的特点是按如下步骤进行：
[0006]步骤1、获取图像和语音数据：
[0007]步骤1.1、在使用者的前方配置有传感器装置，并包括：左右两侧的黑白相机、中间的彩色相机、麦克风和耳机；其中，黑白相机的水平、垂直视场角信息记为HFOV
Mono
,VFOV
Mono
，彩色相机的水平、垂直视场角信息为HFOV
Rgb
,VFOV
Rgb
；
[0008]步骤1.2、利用所述彩色相机获取使用者前方的维度为3
×
W
rgb
×
H
rgb
的彩色场景图像img
rgb
；其中，W
rgb
表示彩色场景图像img
rgb
的宽度，H
rgb
表示彩色场景图像img
rgb
的高度；3表示通道数；
[0009]步骤1.3、利用两个黑白相机分别获取使用者前方两侧的维度均为1
×
W
Mono
×
H
Mono
的左、右黑白场景图像img
l
，img
r
；其中，W
Mono
表示黑白场景图像的宽度，H
Mono
表示黑白场景图像的高度；
[0010]步骤2、根据图像数据获得深度图：
[0011]步骤2.1、对左、右黑白场景图像img
l
，img
r
分别进行校正得到校正后的左、右黑白场景图像
[0012]步骤2.2、对校正后的左、右黑白场景图像按照从左到右、从上到下的顺序逐行扫描和匹配，从而得到左、右黑白场景图像中互相匹配的像素点对集合；令f
i
为第i组匹配的像素点对；
[0013]步骤2.3、计算第i组匹配的像素点对f
i
中两个匹配的像素点之间的像素间距d
i
；
[0014]步骤2.4、计算第i组的像素间距d
i
的视差值D
i
；
[0015]步骤2.5、计算所述像素点对集合中所有组的像素点对的视差值，得到左侧黑白场
景图像中每个像素点的深度信息，从而由每个像素点的深度信息构建成维度为1
×
W
Mono
×
H
Mono
的深度图img
depth
；
[0016]步骤2.6、根据黑白相机与彩色相机的视场角、焦距和相机间的水平间距信息，对深度图img
depth
进行裁剪和平移，使得深度图img
depth
与彩色场景图像img
rgb
的像素点一一对应，从而生成与彩色场景图像img
rgb
维度匹配的裁剪后的深度图img
Rgb,depth
；其维度为1
×
W
rgb
×
H
rgb
[0017]步骤3、基于目标检测网络获取目标信息：
[0018]步骤3.1、令目标检测网络对输入图像的维度要求记为其中，表示目标检测网络要求的输入图像的宽度，表示目标检测网络要求的输入图像的高度；
[0019]步骤3.2、按照维度要求对彩色场景图像img
rgb
依次进行缩放、灰色像素填充、维度扩充和归一化处理，从而得到维度为的预处理后的彩色场景图像
[0020]步骤3.3、所述处理后的彩色场景图像输入目标检测网络中进行处理，输出彩色场景图像中所有目标的类别、目标所在的检测框位置；
[0021]步骤4、基于语义分割网络获取路面信息：
[0022]步骤4.1、令语义分割网络对输入图像的维度要求记为步骤4.1、令语义分割网络对输入图像的维度要求记为其中，表示语义分割网络要求的输入图像的宽度，表示语义分割网络要求的输入图像的高度；
[0023]步骤4.2、按照维度要求对彩色场景图像img
rgb
进行维度扩充和尺寸拉伸处理，得到维度为的处理后的彩色图像
[0024]步骤4.3、所述处理后的彩色图像输入语义分割网络中进行处理，输出属于路面信息的像素点集；
[0025]步骤5、将目标信息和道路信息映射到世界坐标系中：
[0026]步骤5.1、获取彩色场景图像img
rgb
的目标检测结果中的第j个目标，并将第j个目标的预测框映射到裁剪后的深度图img
Rgb,depth
中，从而获得第j个目标预测框所对应的深度图中的子矩阵；
[0027]步骤5.2、将所述子矩阵中的所有深度值进行升序排序后存入列表；
[0028]步骤5.3、计算所述列表中前1/8到1/4的深度值的平均值，记为第j个目标的深度值distance
j
；
[0029]步骤5.4、获取第j个目标的预测框的中心点坐标；
[0030]步骤5.5、计算第j个目标的中心点坐标到彩色场景图像img
rgb
中垂直中线的水平距离，并作为第j个目标的左右偏移值x
j
；
[0031]步骤5.6、计算第j个目标的中心点坐标到彩色场景图像img
rgb
中水平中线的垂直
距离，并作为第j个目标的上下偏移值y
j
；
[0032]步骤5.7、建立以使用者为原点，以使用者的正前方为Z轴正方向，正右方为X轴正方向，正上方为Y轴正方向的世界坐标系，从而利用式(1)获取第j个目标在世界坐标系中的X轴坐标X
j
：
[0033][0034]步骤5.8、利用式(2)获取第j个目标在世界坐标系中的Y轴坐标Y
j
：
[0035][0036]通过5.9、利用式(3)获取第j个目标在世界本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度智能交互的室外视障辅助方法，其特征是按如下步骤进行：步骤1、获取图像和语音数据：步骤1.1、在使用者的前方配置有传感器装置，并包括：左右两侧的黑白相机、中间的彩色相机、麦克风和耳机；其中，黑白相机的水平、垂直视场角信息记为HFOV
Mono
，VFOV
Mono
，彩色相机的水平、垂直视场角信息为HFOV
Rgb
，VFOV
Rgb
；步骤1.2、利用所述彩色相机获取使用者前方的维度为3
×
W
rgb
×
H
rgb
的彩色场景图像img
rgb
；其中，W
rgb
表示彩色场景图像img
rgb
的宽度，H
rgb
表示彩色场景图像img
rgb
的高度；3表示通道数；步骤1.3、利用两个黑白相机分别获取使用者前方两侧的维度均为1
×
W
Mono
×
H
Mono
的左、右黑白场景图像img
l
，img
r
；其中，W
Mono
表示黑白场景图像的宽度，H
Mono
表示黑白场景图像的高度；步骤2、根据图像数据获得深度图：步骤2.1、对左、右黑白场景图像img
l
，img
r
分别进行校正得到校正后的左、右黑白场景图像步骤2.2、对校正后的左、右黑白场景图像按照从左到右、从上到下的顺序逐行扫描和匹配，从而得到左、右黑白场景图像中互相匹配的像素点对集合；令f
i
为第i组匹配的像素点对；步骤2.3、计算第i组匹配的像素点对f
i
中两个匹配的像素点之间的像素间距d
i
；步骤2.4、计算第i组的像素间距d
i
的视差值D
i
；步骤2.5、计算所述像素点对集合中所有组的像素点对的视差值，得到左侧黑白场景图像中每个像素点的深度信息，从而由每个像素点的深度信息构建成维度为1
×
W
Mono
×
H
Mono
的深度图img
depth
；步骤2.6、根据黑白相机与彩色相机的视场角、焦距和相机间的水平间距信息，对深度图img
depth
进行裁剪和平移，使得深度图img
depth
与彩色场景图像img
rgb
的像素点一一对应，从而生成与彩色场景图像img
rgb
维度匹配的裁剪后的深度图img
Rgb，depth
；其维度为1
×
W
rgb
×
H
rgb
步骤3、基于目标检测网络获取目标信息：步骤3.1、令目标检测网络对输入图像的维度要求记为其中，表示目标检测网络要求的输入图像的宽度，表示目标检测网络要求的输入图像的高度；步骤3.2、按照维度要求对彩色场景图像img
rgb
依次进行缩放、灰色像素填充、维度扩充和归一化处理，从而得到维度为的预处理后的彩色场景图像步骤3.3、所述处理后的彩色场景图像输入目标检测网络中进行处理，输出彩色场景图像中所有目标的类别、目标所在的检测框位置；步骤4、基于语义分割网络获取路面信息：
步骤...

【专利技术属性】
技术研发人员：郭丹，谷纪豪，唐申庚，肖同欢，曹晨曦，宋万强，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：