一种用于视觉假体的双目图像采集与预处理装置及方法制造方法及图纸

本发明专利技术公开了一种用于视觉假体的双目图像采集与预处理装置及方法，本方案的装置中包括左右微型摄像头和图像预处理器。左右微型摄像头各自同步实时采集视频信息并将采集的视频信息输出给图像预处理器进行图像融合、显著目标提取等预处理，然后进一步地计算显著目标的位置、距离与轮廓信息。本方案中，首先通过左右微型摄像头采集图像、图像预处理图像器，利用双摄像头的优势，计算了显著目标在视野中的大致方位和距离信息，这些信息对于盲人而言是非常关键的，也是其它相关专利所忽略的地方；另一方面，将视野中较为显著的目标信息进行转化与信息传递，忽略了次要信息，能够大大减轻后续图像编码模块的计算量，提高视觉假体的运行速度。

A kind of binocular image acquisition and preprocessing device and method for visual prosthesis

The invention discloses a binocular image acquisition and preprocessing device and a method for visual prosthesis. The device includes left and right micro cameras and image preprocessor. The left and right cameras are synchronized to collect video information in real time, and the collected video information is output to the image preprocessor for image pre-processing, such as image fusion and salient object extraction. Then, the location, distance and contour information of the salient target are further calculated. In the scheme, firstly, about micro camera image acquisition, image preprocessing image, using dual camera advantages, calculated the salient object in view direction and distance information, this information is very important for the blind, is ignored by other related patents; on the other hand, will be more significant in the view of the target information transformation and information transfer, ignoring the secondary information, which can greatly reduce the calculation amount of subsequent image encoding module, improve the speed of visual prosthesis.

【技术实现步骤摘要】
一种用于视觉假体的双目图像采集与预处理装置及方法
本专利技术涉及生物医学领域，尤其涉及一种用于视觉假体的双目图像采集与预处理装置及方法。
技术介绍
视觉是人类日常生活中获取外界信息的主要途径，在人类的正常生活和学习中起着重要的作用。视觉的产生过程为：光作用于视觉器官，使其感受细胞兴奋，其信息经视觉神经系统加工后便产生视觉(vision)。通过视觉，人和动物感知外界物体的大小、明暗、颜色、动静，获得对机体生存具有重要意义的各种信息，至少有80％以上的外界信息经视觉获得，视觉是人和动物最重要的感觉。由于各种原因导致的人类视觉残缺或者视觉丧失，给病人的生活和工作带来了极大的不便。近年来，随着生物医学工程技术中电刺激神经系统的快速发展，以及人们对大脑视觉通路的深刻认识和对人眼视觉处理机制的研究，使用外界的辅助工具帮助患者建立视觉认知成为一种可能，该辅助工具类似于耳聋患者佩戴的电子耳蜗，即人工视觉假体。人工视觉假体是一种利用外界电刺激来替代生物电刺激来传递视觉信息以恢复失明病人视力的设备。人工视觉假体包括体外与体内两大部分：体外部分主要完成图像信息采集和预处理，然后将其转换成相应的编码信息，最后通过有线或无线传输将编码信息送到体内假体。体内部分主要负责接收编码信息和产生微电流驱动刺激电极阵列。人工视觉假体的具体工作过程是：1、由图像采集模块将获取的图像信息转换数字信息；2、将上一步获得的图像的数字信息进行处理,并转换为满足要求的相应的编码信息并输出给体内的假体；3、由植入的假体接收体外相应的编码信息后，转换成为生物电信号刺激并激活该部位的神经元细胞，从而使患者产生基本的视觉感光，达到修复视觉功能的目的。无论是视网膜假体、视皮层假体、还是视神经假体，都需要包含图像采集与处理装置及方法。视觉假体的图像采集与预处理装置，结合图像的预处理方法，完成的作用是对采集到的外界场景信息转化为二维图像信息，并完成预处理，然后传输到图像编码模块，进而转化为视觉神经系统能够接受的电信号，送到刺激电极阵列使人产生基本的视觉感光。所以，图像采集与预处理的优劣直接影响后续的图像编码信息的生成，它采集的图像信息的质量、视角范围和信息量也制约着视觉系统所能感知到的图像信息。因此，视觉假体的图像采集与预处理装置及方法是人工视觉假体中不可缺少也是非常重要的组成部分。中国专利技术专利，申请号201610830069.6，公开日为2016年9月19日，公开了一种“用于视觉假体的双目图像采集方法及系统”，其技术方案是：采用两个数字图像传感器进行视频图像采集，并实现两路视频图像信息的快速配准与融合,充分模拟了人眼视角且优于人眼视角范围的效果，满足了视觉假体实时性的应用需求。然而该假体的图像采集系统仅获取了二维图像信息，忽略了目标了方位和距离信息，这些信息对于盲人而言也尤其关键。
技术实现思路
本专利技术的目的在于：针对现有视觉假体中，不能根据图像采集器采集的图像计算出物体到假体的距离，从而不能将物体的距离和角度信息反馈给假体使用者的问题，本专利技术提供一种用于视觉假体的双目图像采集与预处理装置及方法。本专利技术采用的技术方案如下：一种用于视觉假体的双目图像采集与预处理装置，其特征在于，包括依次电连接的图像采集单元、图像预处理单元；图像采集单元用于实时采集图像；图像预处理单元用于对图像采集模块采集的图像进行预处理。进一步地，图像采集单元包括第一微型摄像头和第二微型摄像头，图像预处理单元包括图像处理器。进一步地，图像预处理单元的输出端依次连接有图像编码模块、无线传输模块、电流刺激模块。一种用于视觉假体的双目图像预处理方法，包括以下步骤：S1，图像预处理，将图像采集单元采集的图像进行预处理；S2，提取预处理后的图像中的显著目标；S3，对步骤S2中提取的显著目标进行测距定位；S4，提取步骤S2中显著目标的边缘并对显著目标轮廓进行增强。进一步地，图像预处理步骤为：S11，图像校正采用模板匹配对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；S12，图像配准对步骤S11中校正后的图像采用比值匹配法对所述左右微型摄像头传输来的实时视频图像进行快速配准；S13，图像融合对步骤S12图像配准后的图像，采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；S14，高斯滤波对步骤S13图像融合后的图像，采用一个高斯核扫描图像中的每一个像素，用高斯核确定的邻域内像素的加权平均灰度值代替核中心像素点的值。进一步地，步骤S2中提取预处理后图像中的显著目标的具体步骤为：S21，采用线性迭代聚类分割方法对步骤S1预处理后的图像进行分割，获得超像素点；S22，将步骤S21分割后的图像中各超像素点作为节点，定义位于边界上的节点为吸收状态节点，其余节点为临时状态节点，并使得所有边界上的吸收状态节点保持不相连，所有临时状态节点为相连；所有吸收状态节点和所有临时状态节点均为状态节点；S23，计算步骤S22中所有相邻的两个节点i和j之间边eij的权重值ωij：其中，σ是控制权值强度的常量，xi与xj分别是节点i和j的像素值；S24，基于步骤S23得到的权重值，定义相似矩阵A，相似矩阵A的元素aij计算公式为：其中，N(i)表示与i节点连接的节点，A经过下述变换得到转换矩阵P：P＝D-1×A(11)矩阵P中各元素pij是从给定的一系列状态S＝{s1,s1,…,sm}中，从状态si转移到状态sj的概率；S25：所有临时状态节点和吸收状态节点中，前t个节点为临时状态节点，后r个节点为吸收状态节点，定义矩阵Q∈[0,1]t×t为在任意临时状态节点间的转移概率，通过标准化吸收时间向量y＝N×c，得到显著性映射S：其中，N＝(I-Q)-1，c为元素均为1的t维列向量，S(i)表示所有状态节点中第i个节点的显著值；由于节点转移到吸收状态时，转移次数多，花费时间长的区域即为显著性区域，故S(i)值大的地方，生成的8位深度灰度图像中区域越亮，进一步对图像进行二值化处理，从而得到图像中的显著区域。进一步地，步骤S3提取的显著目标进行测距定位，建立已知世界坐标系与图像坐标系，利用已知世界坐标系与图像坐标系的对应关系，计算双目摄像头在当前位置关系下的参数信息，获得显著目标的距离信息。具体步骤如下：S31：选取显著目标中的关键特征点，采用模板匹配的方法，找出其分别在所述左右微型摄像头所成像中的位置坐标信息，分别记为(xL,yL)和(xR,yR)，计算利用物体上的点相对于两个摄像头透镜中心入射角以及双摄像头光敏器件上对应影像点到各自光敏器件中点的距离；S32：依据相似三角形的等比关系,确定待测物体的该点到摄像头的距离及其在空间里的位置。进一步地，提取S2中显著目标的边缘并对显著目标轮廓进行增强采用的为Canny算子算法。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1.采用本方案的视觉假体，一方面利用了双摄像头的优势，计算了显著目标在视野中的大致方位和距离信息，从而使得使用者看到的视觉信息更加直观形象，能够帮助使用者确定所看到物体的距离和位置，从而更具有真实感。2.采用本方案本文档来自技高网...

【技术保护点】
一种用于视觉假体的双目图像采集与预处理装置，其特征在于，包括依次电连接的图像采集单元、图像预处理单元；图像采集单元用于实时采集图像；图像预处理单元用于对图像采集模块采集的图像进行预处理。

【技术特征摘要】
1.一种用于视觉假体的双目图像采集与预处理装置，其特征在于，包括依次电连接的图像采集单元、图像预处理单元；图像采集单元用于实时采集图像；图像预处理单元用于对图像采集模块采集的图像进行预处理。2.根据权利要求1所述的一种用于视觉假体的双目图像采集与预处理装置，图像采集单元包括第一微型摄像头(2)和第二微型摄像头(3)，图像预处理单元包括图像处理器(4)。3.根据权利要求1或2任一所述的一种用于视觉假体的双目图像采集与预处理装置，其特征在于，图像预处理单元的输出端依次连接有图像编码模块、无线传输模块、电流刺激模块。4.一用于视觉假体的双目图像预处理方法，其特征在于，包括以下步骤：S1，图像初步处理，将图像采集单元采集的图像进行初步处理；S2，提取初步处理后的图像中的显著目标；S3，对步骤S2中提取的显著目标进行测距定位；S4，提取步骤S2中显著目标的边缘并对显著目标轮廓进行增强。5.根据权利要求4所述的一用于视觉假体的双目图像预处理方法，其特征在于，图像初步处理步骤为：S11，图像校正采用模板匹配对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；S12，图像配准对步骤S11中校正后的图像采用比值匹配法对所述左右微型摄像头传输来的实时视频图像进行快速配准；S13，图像融合对步骤S12图像配准后的图像，采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；S14，高斯滤波对步骤S13图像融合后的图像，采用一个内高斯核描图像中的每一个像素，用高斯核确定的邻域内像素的加权平均灰度值代替核中心像素点的值。6.根据权利要求4所述的一用于视觉假体的双目图像预处理方法，其特征在于，步骤S2中提取初步处理后图像中的显著目标的具体步骤为：S21，采用线性迭代聚类分割方法对步骤S1初步处理后的图像进行分割，获得超像素点；S22，将步骤S21分割后的图像中各超像素点作为节点，即状态节点，定义位于边界上的节点为吸收状态节点，其余节点为临时状态节点，并使得所有边界上的吸收状态节点保持不相连，所有临时状态节点为相连；S23，计算步骤S22中相邻的节点i和j之间边eij的权重值ωij：

【专利技术属性】
技术研发人员：牛晓可，王江涛，王治忠，王松伟，朱民杰，朱中美，
申请(专利权)人：郑州布恩科技有限公司，
类型：发明
国别省市：河南,41