基于深度视觉的人工视网膜幅频调控方法和系统技术方案

本发明专利技术公开了基于深度视觉的人工视网膜刺激幅频调控方法和系统，方法包括以下步骤：两个并排水平摆放在同一垂直面上的摄像头采集前方的场景图像；将双摄像头采集的两帧同步场景图像，生成带有场景深度信息的二维深度图，将带有场景灰度信息和深度信息的二维深度图进行抽象，并输出；如果选择灰度信息，则按照观测物的表面灰度信息生成电极刺激的编码；如果用户选择深度信息，则按照观测物的表面距离生成电极刺激的编码。本发明专利技术能够从视觉上，给使用人工视网膜系统的盲人感知物体距离的能力。

Amplitude-frequency modulation method and system of artificial retina based on depth vision

The invention discloses an artificial retina stimulation amplitude-frequency control method and system based on depth vision. The method comprises the following steps: two cameras placed horizontally on the same vertical plane are used to capture the scene image in front of them; two synchronized scene images collected by two cameras are used to generate a two-dimensional depth map with scene depth information, and gray-scale information and depth information of the scene are used to generate a two-dimensional depth map with scene depth information. Two-dimensional depth map is abstracted and output; if the gray information is selected, the coding of electrode stimulation is generated according to the surface gray information of the object; if the user chooses the depth information, the coding of electrode stimulation is generated according to the surface distance of the object. The invention can visually give blind people using artificial retina system the ability to perceive object distance.

【技术实现步骤摘要】
基于深度视觉的人工视网膜幅频调控方法和系统
本专利技术属于人工视觉领域，涉及一种基于深度视觉的人工视网膜幅频调控方法和系统。
技术介绍
随着科学技术的不断进步，早在2010年，便开发了人工视网膜系统。其最基本的概念是将光信号转变为电信号，在利用电信号刺激视网膜内层细胞，是盲人产生光感。目前，该技术仍然是视觉修复领域的研究热点。不少公司和科研院所在相关领域做出努力，并不断提出改进方案，改善系统的效果，提高患者生活质量。其中有两个方向是改进的重点：第一个方向是增加电极密度；第二个方向是处理图像生成刺激编码的技术。电极数目的增加，从理论上是最直接有效的方式。但是当电极数目增加到60个以上时，因电极连接、电气接口及密封性等工程等问题出现了瓶颈。即使电极数目增加到了上百个，对于人眼中上百万个细胞而言，实属杯水车薪。而且由于眼底视网膜病变等原因，电极阵列的刺激与其光感出现了扭曲，单纯的增加电极并不能有效的改善系统的效果。除了增加电极数目，另一方面，从图像处理到生成刺激编码这一技术手段还没有足够的开发。当前的主要技术是使用单一摄像头，采集图像，并按照图像的色彩明暗生成对应的刺激编码。人类的两只眼睛的非常重要的功能就是通过视差，感知距离。而对于盲人来说，如果能够感知距离，也就能够绕过障碍物、拾取物体，其作用远胜于感知极其模糊的色彩明暗。
技术实现思路
为解决上述问题，本专利技术针对现有人工视网膜图像处理及刺激的缺点，提出了一种基于深度视觉的人工视网膜刺激幅频调控方法，根据深度图提供的信息，按空间对应的方式生成电极的刺激编码。为实现上述目的，本专利技术的技术方案为一种基于深度视觉的人工视网膜刺激幅频调控方法，包括以下步骤：两个并排水平摆放在同一垂直面上的摄像头采集前方的场景图像；将双摄像头采集的两帧同步场景图像，生成带有场景深度信息的二维深度图，将带有场景灰度信息和深度信息的二维深度图进行抽象，并输出；如果选择灰度信息，则按照观测物的表面灰度信息生成电极刺激的编码；如果用户选择深度信息，则按照观测物的表面距离生成电极刺激的编码。优选地，所述双摄像头并排布置在可穿戴设备上，在眼部附近。优选地，所述双摄像头采集的两帧同步场景图像后，进行缩放，缩放后的图像与植入体电极阵列覆盖视网膜的视域成比例。优选地，所述二维深度图为根据视差，采用三角测量原理和立体区配技术生成，在三维计算机图形中，包含与视点的场景对应的表面距离信息的图像。优选地，所述按照观测物的表面灰度信息生成电极刺激的编码，包括以下步骤：对二维深度图进行线性转换，增强对比度；对转换后的灰度图分块，统计局部灰度，根据统计的情况，对图像进行二值化处理，并降采样，缩放后图像的分辨率为电极阵列横纵电极数目的4倍；对二值化的图像按4*4像素点进行分块，统计黑白像素点的比例，根据此比例并按照像素点的位置生成对应的刺激编码，按照固定刺激频率将编码分配到对应的发送序列中，完成对刺激的幅值调控。优选地，所述按照观测物的表面距离生成电极刺激的编码，包括以下步骤：对二维深度图的距离信息进行过滤，只保留5米内的数据并将数值重新规划到0-255的范围内；对转换后的深度图分块，统计局部深度值，根据统计的情况，将深度值映射到6个频段，同时降采样，处理后图像的像素点根电极阵列中的电极一一对应；将处理后的图像，根据电极数目、电流源数目、刺激脉宽、传输速率等参数，将编码按照预先指定的策略将编码分配到对应的发送序列中，完成对刺激的频率调控。基于上述目的，本专利技术还提供了一种基于深度视觉的人工视网膜幅频调控系统，包括图像采集模块，图像处理模块和刺激编码模块，所述图像采集模块包括两个并排水平摆放在同一垂直面上的摄像头和与摄像头连接的辅助电路，摄像头将采集到的图像传输给辅助电路，再传输给所述图像处理模块；所述图像处理模块将图像进行灰度处理为二维深度图，再传输给所述刺激编码模块；所述刺激编码模块包括频率调控器和幅度调控器，幅度调控器用于按照观测物的表面灰度信息生成电极刺激的编码，频率调控器用于按照观测物的表面距离生成电极刺激的编码。本专利技术将观测物的距离信息通过一定的调控模式刺激电极，传递给盲人，使其通过视觉观测到物体距离。与此同时，也保留了选择观测物体灰度的功能。附图说明图1为本专利技术实施例的基于深度视觉的人工视网膜刺激幅频调控方法的步骤流程图；图2为本专利技术实施例的基于深度视觉的人工视网膜刺激幅频调控方法的二维深度图计算原理图；图3为本专利技术实施例的基于深度视觉的人工视网膜刺激幅频调控方法的发送刺激编码时间点的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。相反，本专利技术涵盖任何由权利要求定义的在本专利技术的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本专利技术有更好的了解，在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。参见图1，为本专利技术实施例的本专利技术的技术方案为基于深度视觉的人工视网膜刺激幅频调控方法的步骤流程图，包括以下步骤：S10，两个并排水平摆放在同一垂直面上的摄像头采集前方的场景图像；S20，将双摄像头采集的两帧同步场景图像后，生成带有场景深度信息的二维深度图，将带有场景灰度信息和深度信息的二维深度图进行抽象，并输出；S30，如果选择灰度信息，则按照观测物的表面灰度信息生成电极刺激的编码；S40，如果用户选择深度信息，则按照观测物的表面距离生成电极刺激的编码。本专利技术系统实施例如下：包括图像采集模块，图像处理模块和刺激编码模块，所述图像采集模块包括两个并排水平摆放在同一垂直面上的摄像头和与摄像头连接的辅助电路，摄像头将采集到的图像传输给辅助电路，再传输给所述图像处理模块；所述图像处理模块包括灰度处理器，将图像进行灰度处理为二维深度图，再传输给所述刺激编码模块；所述刺激编码模块包括频率调控器和幅度调控器，幅度调控器用于按照观测物的表面灰度信息生成电极刺激的编码，频率调控器用于按照观测物的表面距离生成电极刺激的编码。具体实施例中，S10中双摄像头并排布置在可穿戴设备上，在眼部附近。双摄像头采集的两帧同步场景图像后，进行缩放，缩放后的图像与植入体电极阵列覆盖视网膜的视域成比例。S20中的二维深度图为根据视差，采用三角测量原理和立体区配技术生成，在三维计算机图形中，包含与视点的场景对应的表面距离信息的图像。具体来讲对图像做灰度处理，不同格式的彩色图像转换成一维的灰度图：如果是RGB格式的彩色图，其灰度值g的公式为：g(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.114*B(i,j)其中i，j为像素点位置；R、G、B分别是RGB格式图像色彩的红绿蓝信息。由于其他格式的彩色图都由基本的RGB转换而来，其处理方式类似，这里不赘述。然后用灰度处理后的图像对，利用视差和相似三角形原理计算深度信息，参见图2，利用视差计算深度信息的计算公式如下：其中，p为观测点；P和P’分别观测点p落在参考摄像头R和目标摄像头T采集的图像上的位置；OR和OT分别是参考摄像头和目标摄像头的焦点；其所在的直线本文档来自技高网...

【技术保护点】
1.一种基于深度视觉的人工视网膜刺激幅频调控方法，其特征在于，包括以下步骤：两个并排水平摆放在同一垂直面上的摄像头采集前方的场景图像；将双摄像头采集的两帧同步场景图像，生成带有场景深度信息的二维深度图，将带有场景灰度信息和深度信息的二维深度图进行抽象，并输出；如果选择灰度信息，则按照观测物的表面灰度信息生成电极刺激的编码；如果用户选择深度信息，则按照观测物的表面距离生成电极刺激的编码。

【技术特征摘要】
1.一种基于深度视觉的人工视网膜刺激幅频调控方法，其特征在于，包括以下步骤：两个并排水平摆放在同一垂直面上的摄像头采集前方的场景图像；将双摄像头采集的两帧同步场景图像，生成带有场景深度信息的二维深度图，将带有场景灰度信息和深度信息的二维深度图进行抽象，并输出；如果选择灰度信息，则按照观测物的表面灰度信息生成电极刺激的编码；如果用户选择深度信息，则按照观测物的表面距离生成电极刺激的编码。2.根据权利要求1所述的方法，其特征在于，所述双摄像头并排布置在可穿戴设备上，在眼部附近。3.根据权利要求1所述的方法，其特征在于，所述双摄像头采集的两帧同步场景图像后，进行缩放，缩放后的图像与植入体电极阵列覆盖视网膜的视域成比例。4.根据权利要求1所述的方法，其特征在于，所述二维深度图为根据视差，采用三角测量原理和立体区配技术生成，在三维计算机图形中，包含与视点的场景对应的表面距离信息的图像。5.根据权利要求1所述的方法，其特征在于，所述按照观测物的表面灰度信息生成电极刺激的编码，包括以下步骤：对二维深度图进行线性转换，增强对比度；对转换后的灰度图分块，统计局部灰度，根据统计的情况，对图像进行二值化处理，并降采样，缩放后图像的分辨率为电极阵列横纵电极数目的4倍；对二值化的图像按4*4像素点进行分块，统计黑...

【专利技术属性】
技术研发人员：韩彦，孙晓安，黄穗，
申请(专利权)人：浙江诺尔康神经电子科技股份有限公司，
类型：发明
国别省市：浙江,33