一种基于神经网络和触觉点阵的视觉补偿方法技术

一种基于神经网络和触觉点阵的视觉补偿方法，其特征在于：S1，将摄像头传感器采集到的视觉图像进行预处理，通过特定算法进行压缩和转换，使用神经网络优化图像边缘轮廓提取的结果，生成触觉表达图像；S2，将步骤S1预处理后的视觉图像数据也送入神经网络进行物体检测与识别，得到目标物体的位置信息和识别标签信息；对标签信息，再利用词向量进行分类，压缩转换并编码为电刺激信号，融合生成触觉提示图像；S3，根据S1的触觉表达图像和S2的触觉提示图像，采用触觉点阵装置产生相应的压力刺激和电刺激，作用于皮肤感受器，训练大脑构造出触觉图像，对视觉进行补偿。

【技术实现步骤摘要】
一种基于神经网络和触觉点阵的视觉补偿方法
本专利技术涉及盲人辅助设备领域。
技术介绍
视觉是人最重要的感觉之一，至少有80％以上的外界信息经视觉获得。然而，根据世界卫生组织在全球范围内统计的数据，有大约2.85亿人员存在视觉性障碍，其中视觉功能几乎为零的盲人有4500万，更令人担忧的是全世界盲人数量每年都在不断增加，预计2020年我国视障人数将达5000余万。此外，随着近年来科技的发展，视听娱乐体验的不断提升，人们愈发倾向于将空闲时间用于观看视频图片等视觉作品，人们无节制的用眼使得视觉器官长期处于亚健康状态。感觉替代理论和大脑可塑性理论地提出，直接证明了我们可以使用其他感觉对视觉进行补偿，形成一种“通感”，让其他感觉器官帮助人“看见”外界图像。目前已经有许多关于盲人辅助设备领域的研究，提出过多种替代视觉的辅助装置，在盲人辅助设备方面打开了一条崭新的替代视觉功能的途径。其中触觉替代系统方案设计更加简单实用，安全可靠，并且几乎不会影响其他感官，具有更高的可行性。这种方法不但能够帮助视觉残障人士的日常生活，也能够缓解正常人的视觉压力或是增强视本文档来自技高网...

【技术保护点】
1.一种基于神经网络和触觉点阵的视觉补偿方法，其特征在于：/nS1，将摄像头传感器采集到的视觉图像进行预处理，通过特定算法进行压缩和转换，使用神经网络优化图像边缘轮廓提取的结果，生成触觉表达图像；/nS2，将步骤S1预处理后的视觉图像数据也送入神经网络进行物体检测与识别，得到目标物体的位置信息和识别标签信息；对标签信息，再利用词向量进行分类，压缩转换并编码为电刺激信号，融合生成触觉提示图像；/nS3，根据S1的触觉表达图像和S2的触觉提示图像，采用触觉点阵装置产生相应的压力刺激和电刺激，作用于皮肤感受器，训练大脑构造出触觉图像，对视觉进行补偿。/n

【技术特征摘要】
1.一种基于神经网络和触觉点阵的视觉补偿方法，其特征在于：
S1，将摄像头传感器采集到的视觉图像进行预处理，通过特定算法进行压缩和转换，使用神经网络优化图像边缘轮廓提取的结果，生成触觉表达图像；
S2，将步骤S1预处理后的视觉图像数据也送入神经网络进行物体检测与识别，得到目标物体的位置信息和识别标签信息；对标签信息，再利用词向量进行分类，压缩转换并编码为电刺激信号，融合生成触觉提示图像；
S3，根据S1的触觉表达图像和S2的触觉提示图像，采用触觉点阵装置产生相应的压力刺激和电刺激，作用于皮肤感受器，训练大脑构造出触觉图像，对视觉进行补偿。


2.如权利要求1所述的基于神经网络和触觉点阵的视觉补偿方法，其特征在于，S1中具体为：
将摄像头传感器采集到的图像进行预处理包括归一化、图像降噪、图像灰度化、图像增强的处理(皆属图像处理领域的通用常规技术)；
摄像头传感器采集到的图像经过预处理之后，使用基于改进的Pix2Pix算法进行图像风格转换，进行图像分割、边缘检测和提取，转换为更适用于皮肤触觉感受器能够高效感知的触觉图像风格。最后再进行图像压缩和图像编码，作为触觉表达图像传输到S3中的触觉点阵装置产生相应的压力刺激。
其中，改进的Pix2Pix神经网络，在训练数据上，使用现有专家制作的触觉图像作为训练数据，对于专家制作的图像数据量不足的问题，利用图像增强技术扩充这些数据，以及使用传统的边缘提取方法扩充数据。在网络结构上，由生成器网络G和判别器D组成，生成器网络G是一个U型网络，该网络以真实照片图片为输入尽可能生成和专家触觉图像一样的图片，它包含了12个卷积层，4个池化层，4个反卷积层。每个卷积层都使用了samepadding进行补齐，卷积后的激活函数使用的是Relu，池化层使用的是2*2的最大值池化，反卷积时的步长为2。判别器D使用的是马尔可夫性的判别器，使用传统的L1损失来让生成的图片跟训练的图片尽量相似，用对抗神经网络部分来构建高频部分的细节。其最终使用的损失函数为：



其中G为生成器函数，算法训练时要最小化生成的图像和专家制作的视觉图像间的差别；D为判别器函数，判断输入图像的每个像素是否是生成的。LcGAN(G,D)为log尺度下对于每个像素点输入图像与训练图像的判别函数输出概率的期望值加上log尺度下对于每个像素点输入图像与生成图像的判别函数输出概率到1的距离的期望值。λ为调节系数，LL1(G)为生成图像和训练图像的L1损失。


3.如权利要求1所述的基于神经网络和触觉点阵的视觉补偿方法，其特征在于，S2具体包括：
将摄像头传感器采集到的S1的图像数据经过预处理之后，送入神经网络进行处理，使用改进的YOLO神经网络，对图像进行物体检测与识别，获得物体的boundingbox位置和标签信息，进而得到物体的形状位置大小和标签的关联信息；
对于识别得到的不同物体的不同标签，使用词向量对标签进行特征表达，将文本标签转化为向量形式。然后使用主成分分析的方法对改向量进行压缩，进一步提取该向量的特征降低其维度后作为新的特征向量。再通过加权算法建立起新的特征向量与电刺激波形的对应关系，最后在进行图像压缩后作为触觉提示图像传输到S3中的触觉点阵装置，在相应位置产生相应的波形的电刺激。


4.如权利要求3所述的基于...

【专利技术属性】
技术研发人员：万国春，周佛致，康文豪，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31