一种基于视觉注意特性的视-听觉转换导盲方法技术

本发明专利技术公开了一种基于视觉注意特性的视‑听觉转换导盲方法，该方法利用人类对动静态物体的视觉注意特性对视频图像进行简化，并根据其重要性分别采用精度不同的听觉显示技术进行播放，可以在避免信息过载的同时，为使用者提供更多的环境信息。本发明专利技术在对视频图像简化的同时，还对行进路线上非注意区域的障碍物和运动物体进行检测，可以更好地保证使用者安全。本发明专利技术基于人类视觉的感知特性来处理视‑听觉转换，比现有技术更符合视觉的使用习惯，使用起来更方便和自然。

A Blind Guide Method Based on Visual Attention Characteristic for Visual-Audio Conversion

The invention discloses a visual-auditory conversion blind guide method based on visual attention characteristics. The method simplifies video images by using human visual attention characteristics of dynamic and static objects, and uses different precision auditory display technology according to their importance to play, which can avoid information overload and provide more environmental information for users. The invention not only simplifies the video image, but also detects obstacles and moving animals in the non-attention area on the route, so as to better ensure the safety of users. The present invention deals with visual-auditory conversion based on the perceptual characteristics of human vision, which is more in line with the use habit of vision and more convenient and natural than the prior art.

【技术实现步骤摘要】
一种基于视觉注意特性的视-听觉转换导盲方法
本专利技术涉及信号处理
，具体涉及一种基于视觉注意特性的视-听觉转换导盲方法。
技术介绍
人类获取的信息有80％来自视觉，视觉损伤将给人们的生活带来极大的不便。由于视觉信息的缺失，视力障碍者无法正常感知周围环境，自由行走受到阻碍，难以生活自理，给生存、生活、学习、就业、社交等方面带来巨大的困难，严重影响了其家庭的生活质量。据统计，90％左右的视觉障碍者为低收入人群。随着视力障碍者数量的不断增长，对可以引导盲人自主行走、感受周围环境信息且价格低廉的辅助工具的需求也越来越迫切。安全行走是盲人最迫切需要解决的问题，目前常见的导盲产品主要有白手杖(WhiteCane)、导盲犬、电子行走辅助装置(ElectronicTravelAids，ETA)等。白手杖上没有安装任何电子辅助设备，价格低廉，是最常用的一种导盲产品，但白手杖能给盲人提供的信息非常的有限，性能价值偏低，危险系数高，难以满足视觉障碍患者的实际需要。导盲犬在发达国家中较早得到推广和应用，但我国2006年开始才出现第一批导盲犬，且因为导盲犬的使用存在着训练周期和适应期过长、成本高昂、饲养出行不便及其他诸多不可控因素，所以目前还难以在我国广泛使用。与白手杖和导盲犬相比，电子行走辅助装置具有提供信息量大、功能多、价格适中、使用方便等诸多优点，是一种更适合大规模推广的导盲方案，因此受到越来越多研究者的关注，在实际中也有着广泛的应用前景。目前电子行走辅助装置主要可以分为智能导盲手杖、智能引导式穿戴、移动式多功能引导机器人等几种，通常采用超声、红外、激光、视频、多传感器输入等方式采集周围环境的信息，并将这些信息转换为触觉或听觉反馈给使用者。其中，由于视频输入具有信息量丰富、易于检测平面标识等优点，而听觉输出具有多维、全向及并行输出的特性，适合表示多维数据，因此成为目前导盲系统采用的主要方式之一。目前导盲系统中的视-听觉转换技术大致可以分为两类，一类是基于像素映射的低层视觉处理方法，即将采集到的灰度图像、RGB图像或深度图像的像素直接映射为音频信号，这种方法实现较简单，可以表达丰富的信息，但会使输出音频包含过多细节信息，导致使用者出现信息过载的现象。另一类是基于计算机视觉的高层视觉处理方法，即将检测到的行走路径、障碍物或其他结果通过语音或非语音音频传递给使用者，这种方法可以在一定程度上减少信息过载的发生，但只能提供路径方向和障碍物位置等信息，缺少进一步的环境描述。由于听觉和视觉感知的机理不同，实际中很难采用声音完全反映出视频图像中的各种细节信息，需要对视频图像进行简化才能避免信息过载。人类使用视觉器官感知周围环境时，人眼对信息的处理不是均衡的，一方面会对具有高分辨率的视网膜中央凹区感应的图像关注度更高，另一方面会对移动的物体等更加敏感，因此在导盲系统中如果能够模仿视觉注意机理，保留视频输入中使用者关注的信息，弱化不受注意的信息，可以避免听觉输出时的信息过载现象，并且更接近人类视觉的使用习惯。田亚男等在2014年电子学报上发表的文章“基于注意模型的视觉替代方法”中提出了一种基于注意模型的图像简化和音频映射方法，但该方法只使用了静态图像的注意模型，在实际使用中仍存在着较大的局限。
技术实现思路
本专利技术的目的是针对现有视-听觉转换中基于像素映射的低层视觉处理方法容易信息过载，基于计算机视觉的高层视觉处理方法不能提供更丰富的环境信息的不足，提供了一种基于视觉注意特性的视-听觉转换导盲方法，该方法利用人类的视觉注意特性对视频图像进行简化，并根据景物的重要性分别采用精度不同的听觉显示技术进行播放，可以在保证使用者安全的前提下，更精细地表示视觉注意的物体，为使用者提供更丰富的环境信息。本专利技术的目的可以通过采取如下技术方案达到：一种基于视觉注意特性的视-听觉转换导盲方法，所述的视-听觉转换导盲方法包括下列步骤：S1、从输入视频流中采集RGB彩色图像和深度图像，并基于RGBD图像，对前景物体和背景物体进行划分，其中，RGBD图像为RGB彩色图像和深度图像；S2、设置RGBD图像中的注视区域，标注出注视区域所覆盖的前景物体，并将其转换为第一音频信号；S3、根据采集的视频信号，将当前时间的RGBD图像与其前后数帧的RGBD图像作对比，检测并标注出RGBD图像中平均深度值最小的M个运动前景物体，然后将被标注的运动前景物体转换为第二音频信号，其中M为预设的常数；S4、从RGBD图像的非注视区域中提取前景物体，在提取的前景物体中标注出平均深度值最小的N个前景物体，然后将被标注的前景物体转换为第三音频信号，其中N为预设的常数；S5、将得到的第一音频信号、第二音频信号、第三音频信号按预设顺序对使用者播放。进一步地，所述的步骤S1中，采用标记分水岭对RGBD图像进行前景物体和背景物体进行划分，具体过程如下：S1.1、基于深度图像计算深度梯度图像和法向量梯度图像，基于RGB彩色图像计算彩色梯度图像；S1.2、对上述深度梯度图像、法向量梯度图像和彩色梯度图像的每幅图像进行处理，提取图像中所有极小值的深度，删除深度小于预先指定阈值的极小值点，只保留深度大于预先指定阈值的极小值点；S1.3、将步骤S1.2所得的三幅图像进行与操作，得到标记图像；S1.4、利用标记图像对彩色梯度图像进行修正，使彩色梯度图像只在标记处具有极小值，不在标记处的像素点不具有极小值；S1.5、在修正后的彩色梯度图像上进行分水岭分割；S1.6、根据深度图像判断步骤S1.5分割结果中物体遮挡关系，将被遮挡物体作为背景物体，未被遮挡的物体作为前景物体。进一步地，所述的步骤S2中注视区域所覆盖的任一前景物体采用以下方法转换为音频信号：S2.1A、将前景物体中每个像素点的坐标映射为声场的来波方向，深度值映射为声音强度，来波方向采用以下公式计算：其中φ和θ分别为来波方向的仰角和方向角，x和y为像素点对应的图像坐标，x0和y0分别为来波方向的仰角和方向角为0时对应的图像坐标，Θ和Ξ分别为摄像头视场仰角和方向角变化范围的大小。深度值采用下式映射为声音强度Nf＝10Alog10(4π(dmax-d)2+1)(3)其中Nf为映射后的声音强度，dmax为摄像头所能识别最大深度值，d为像素点的深度值，A为预设的增益；S2.2A、计算每个像素点所对应的来波方向的头部传输函数，将预设的激励音频放大至像素点对应的声音强度，用头部传输函数对其进行滤波，从而得到预设时长的双声道音频信号；S2.3A、按预设的顺序逐点计算上述前景物体的像素对应的双声道音频信号，直至所有像素计算完毕。进一步地，所述的步骤S2中注视区域所覆盖的任一前景物体采用以下方法转换为音频信号：S2.1B、预设所使用的几何图形集合，每个几何图形设定其对应的激励音频；S2.2B、将前景物体的轮廓用几何图形集合中几何图形的组合进行近似；S2.3B、按预设的顺序选择组成上述前景物体的一个几何图形，将其中心的图像坐标转换为声场的来波方向，平均深度映射为播放的重复频率，面积大小映射为声音的强度；S2.4B、计算步骤S2.3B中几何图形中心对应的来波方向的头部传输函数，将其对应的激励音频放大至其对应的声音强度，并按其对应的重复频率进行复制，最后用上述头部传输本文档来自技高网...

【技术保护点】
1.一种基于视觉注意特性的视‑听觉转换导盲方法，其特征在于，所述的视‑听觉转换导盲方法包括下列步骤：S1、从输入视频流中采集RGB彩色图像和深度图像，并基于RGBD图像，对前景物体和背景物体进行划分，其中，RGBD图像为RGB彩色图像和深度图像；S2、设置RGBD图像中的注视区域，标注出注视区域所覆盖的前景物体，并将其转换为第一音频信号；S3、根据采集的视频信号，将当前时间的RGBD图像与其前后数帧的RGBD图像作对比，检测并标注出RGBD图像中平均深度值最小的M个运动前景物体，然后将被标注的运动前景物体转换为第二音频信号，其中M为预设的常数；S4、从RGBD图像的非注视区域中提取前景物体，在提取的前景物体中标注出平均深度值最小的N个前景物体，然后将被标注的前景物体转换为第三音频信号，其中N为预设的常数；S5、将得到的第一音频信号、第二音频信号、第三音频信号按预设顺序对使用者播放。

【技术特征摘要】
1.一种基于视觉注意特性的视-听觉转换导盲方法，其特征在于，所述的视-听觉转换导盲方法包括下列步骤：S1、从输入视频流中采集RGB彩色图像和深度图像，并基于RGBD图像，对前景物体和背景物体进行划分，其中，RGBD图像为RGB彩色图像和深度图像；S2、设置RGBD图像中的注视区域，标注出注视区域所覆盖的前景物体，并将其转换为第一音频信号；S3、根据采集的视频信号，将当前时间的RGBD图像与其前后数帧的RGBD图像作对比，检测并标注出RGBD图像中平均深度值最小的M个运动前景物体，然后将被标注的运动前景物体转换为第二音频信号，其中M为预设的常数；S4、从RGBD图像的非注视区域中提取前景物体，在提取的前景物体中标注出平均深度值最小的N个前景物体，然后将被标注的前景物体转换为第三音频信号，其中N为预设的常数；S5、将得到的第一音频信号、第二音频信号、第三音频信号按预设顺序对使用者播放。2.根据权利要求1所述的一种基于视觉注意特性的视-听觉转换导盲方法，其特征在于，所述的步骤S1过程如下：S1.1、基于深度图像计算深度梯度图像和法向量梯度图像，基于RGB彩色图像计算彩色梯度图像；S1.2、对上述深度梯度图像、法向量梯度图像和彩色梯度图像的每幅图像进行处理，提取图像中所有极小值的深度，删除深度小于预先指定阈值的极小值点，只保留深度大于预先指定阈值的极小值点；S1.3、将步骤S1.2所得的三幅图像进行与操作，得到标记图像；S1.4、利用标记图像对彩色梯度图像进行修正，使彩色梯度图像只在标记处具有极小值，不在标记处的像素点不具有极小值；S1.5、在修正后的彩色梯度图像上进行分水岭分割；S1.6、根据深度图像判断步骤S1.5分割结果中物体遮挡关系，将被遮挡物体作为背景物体，未被遮挡的物体作为前景物体。3.根据权利要求1所述的一种基于视觉注意特性的视-听觉转换导盲方法，其特征在于，所述的步骤S2中注视区域所覆盖的任一前景物体采用以下方法转换为音频信号：S2.1A、将前景物体中每个像素点的坐标映射为声场的来波方向，深度值映射为声音强度，来波方向采用以下公式计算：其中φ和θ分别为来波方向的仰角和方向角，x和y为像素点对应的图像坐标，x0和y0分别为来波方向的仰角和方向角为0时对应的图像坐标，Θ和Ξ分别为摄像头视场仰角和方向角变化范围的大小，深度值采用下式映射为声音强度Nf＝10Alog10(4π(dmax-d)2+1)(3)其中Nf为映射后的声音强度，dmax为摄像头所能识别最大深度值，d为像素点的深度值，A为预设的增益；S2.2A、计算每个像素点所对应的来波方向的头部传输函数，将预设的激励音频放大至像素点对应的声音强度，用头部传输函数对其进行滤波，从而得到预设时长的双声道音频信号；S2.3A、按预设的顺序逐点计算上述前景物体的像素对应的双声道音频信号，直至所有像素计算完毕。4.根据权利要求1所述的一种基于视觉注意特性的视-听觉转换导盲方法，其特征在于，所述的步骤S2中注视区域所覆盖的任一前景物体采用以下方法转换为音频信号：S2.1B、预设所使用的几何图形集合，每个几何图形设定其对应的激励音频；S2.2B、将前景物体的轮廓用几何图形集合中几何图形的组合进行近似；S2.3B、按预设的顺序选择组成上述前景物体的一个几何图形，将其中心的图像坐标转换为声场的来波方向，平均...

【专利技术属性】
技术研发人员：张军，王凯炼，宁更新，冯义志，余华，季飞，王杰，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44