一种图像处理方法技术

本发明专利技术公开了一种视皮层假体的图像处理装置，包括左右微型摄像头、图像预处理器、图像编码器，所述左右微型摄像头将各自同步实时采集的视频信息输出给所述图像预处理器,图像预处理器将接收的两路所述视频信息进行拼接融合成一幅全视野图像，并进一步完成图像滤波、增强和像素降低等预处理操作，输出给所述图像编码器,图像编码器将接收的所述经预处理后的全视野图像做进一步的处理与编码，转化为人体视觉皮层能够接收的电信号。本发明专利技术提供的图像处理装置实现将双摄像头采集的图像信息转化为用于刺激视皮层的电流信号,在保证诱发神经元发放等量动作电位的前提条件下，能够有效降低刺激电流的强度，从而达到有效减少脑组织损伤的目的。

【技术实现步骤摘要】

本专利技术涉及视皮层假体，尤其是涉及视皮层假体的图像处理装置及方法。
技术介绍
视觉假体是一种通过电刺激视觉神经系统使得盲人重建光明的装置，目前，很多国家的科技人员在研究采用视觉假体的方法来修复盲人的视觉功能。根据视觉假体的植入位置不同，可分为视网膜假体、视神经假体和视皮层假体。其中，视皮层假体能够绕过视觉通路中可能发生病变的视网膜、视神经等，直接刺激于视皮层，适用于更多的盲人，因此，相对上述另外两种视觉假体具有更加广泛的应用。视皮层假体的设计原理是：首先，采用图像采集模块采集图像信息；然后，图像处理器对采集到的图像信息进行处理和编码，并输出刺激代码；最后，通过电刺激装置刺激相应的视觉皮层，使盲人患者产生人工视觉。不同类型的视觉假体因为刺激位置不同，因此所采用的编码策略和电刺激方案存在特异性。目前现有的视觉假体系统多侧重于在视网膜和视神经处实施电刺激，例如，欧洲专利技术专利（公开号EP2155327，公开日为2010年02月24日）和美国专利技术专利（公开号为US9180296，公开日为2015年11月10日）均自述是为植入式视觉假体提供刺激输入的系统，给出的电刺激方案仅适用于视网膜假体；美国专利技术专利（公开号WO2014121288，公开日期为2014年08月07日）自述为一种视皮层假体，但仅仅提供了包含针对大脑皮层矩形沟的植入式器件（柔性电极阵列）和植入方案，未涉及图像编码的方法；中国专利技术专利（公开号CN101239008A，公开日2008年8月13日）公开了一种视觉假体的图像处理装置与方法，自述其装置和方法适用于视网膜假体、视神经假体和视皮层假体，然而对于对图像的编码运算中未考虑视皮层神经元的编码特性，且未提及图像编码的结果与电极阵列刺激模块如何对接。理论上，视觉假体恢复人工视觉的成像效果与植入微电极阵列的密集程度与针数成正比；然而，微电极阵列的密集程度与数量又直接影响到微电极阵列在脑内的植入寿命和图像处理的复杂度。如何采用可能少的电极数目让患者获得尽可能多样的视觉信息，是视皮层假体研究的关键问题。2016年6月发表的硕士论文《基于初级视皮层的人工视觉假体总体设计与前端实现》提供了对应的解决方案，借鉴稀疏编码的思想利用稀疏的神经元响应表征图像中目标的边界信息，然而未利用视觉的注意机制实现对图像显著性区域的检测，文中给出的图像处理方案仅适用于当目标占据视野较大范围的情况，若图像中的显著性目标仅占据视野的小部分区域，对整幅图像进行像素降低后，图像中关于显著性目标的信息会大大降低。
技术实现思路
本专利技术目的在于提供一种视皮层假体的图像处理装置及方法。为实现上述目的，本专利技术采取下述技术方案：本专利技术所述视皮层假体的图像处理装置，包括左右微型摄像头、图像预处理器、图像编码器，所述左右微型摄像头将各自同步实时采集的视频信息输出给所述图像预处理器, 图像预处理器将接收的两路所述视频信息进行拼接融合成一幅全视野图像，并基于视觉系统的注意机制,检测图像的显著性区域,进一步完成图像的边缘提取、增强和像素降低等预处理操作，输出给所述图像编码器, 图像编码器将接收的所述经预处理后的全视野图像做进一步的处理与编码，转化为人体视觉皮层能够接收的电信号。所述左右微型摄像头均为CMOS图像传感器摄像头，分别对应安装在眼镜架的左右眼镜框内部，单个CMOS图像传感器摄像头的视角范围≤90度，分别通过USB接口与所述图像预处理器进行数据传输。所述左、右微型摄像头在左右眼镜框内的安装位置与安装角度可调，融合后的全视野图像的视角优于人的双眼最大极限视角，计算公式如下：式中，α为左微型摄像头的左极限视界与正前方的夹角，等同于右微型摄像头的右极限视界与正前方的夹角，d为两个微型摄像头的中心间距，h为拍摄点m到左、右微型摄像头连线的垂直距离；所述α由单个微型摄像头的视角范围以及单微型摄像头与两微型摄像头所呈直线间的夹角共同决定，通过调整α和d，能够扩大总视角。所述视皮层假体图像处理装置的图像处理方法，包括图像预处理和图像编码两部分；一、所述图像预处理按照下述步骤进行：S1、图像校正采用模板法对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；S2、图像配准采用比值匹配法对所述左右微型摄像头传输来的实时视频图像，具体步骤如下：S21、取所述左摄像头所采集的图像的最右侧一列像素点和每间隔5个像素点对应位置处的像素点，共取n组像素点，n为大于1的自然数；S22、计算所述n组像素点的比值，将所述比值结果直接存放在数组m中，m为大于1的自然数；S23、在所述右摄像头采集的图像中同样每间隔5个像素点的两列各自取出m＋n个像素点，计算其比值，然后将该比值结果存入数组k中，k为大于1的自然数；S23、利用左摄像头所采集的图像中的比值模板在右摄像头所采集的图像中寻找相应的匹配，得出结果；S3、图像融合图像融合是为了解决图像匹配结束后所述左右摄像头相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；S4、显著性区域检测采用简单线性迭代的超像素图像分割方法与马尔科夫吸收链相结合的方法提取融合后全视野图像的显著性区域； 即: 采用简单线性迭代的超像素图像分割方法对融合后的全视野图像进行分割，以图像中超像素点作为节点，连接各节点对图像分割成众多区域，利用马尔科夫吸收链方法检测出图像中显著性的区域； S5、边缘提取采用Canny算子检测算法对显著性区域内的目标图像进行边缘提取；即进行降噪、寻找图像中的亮度梯度、在图像中跟踪边缘；S6、图像增强采用形态学方法中的腐蚀和膨胀进行图像增强；S7、像素降低具体步骤如下：S71、根据实际要求将原始图像进行分割，将原始图像平均分割成32×32个图像块；S72、计算每个分割区域像素点的平均值，然后将该平均值赋给该分割区域中的所有点；S73、将灰度级设定为5级，即：灰度值为0、60、120、180、255，然后，根据原图像每个像素点对应的灰度范围为其赋新的灰度值；二、所述图像编码按照下述步骤进行：S1、从自然图像中随机采集5000个32×32个图像块，对每个图像块分别进行去相关性、降维预处理操作，其中所述自然图像来自用于测试稀疏编码模型的图像库；S2、利用所述自然图像高阶统计特性与视皮层神经元稀疏响应之间的联系，采用拓扑独立分量分析的方法对自然图像块组成的集合进行特征提取，得到与视皮层神经元感受野特性相符的完备原子库；S3、采用所述原子库，对处理后图像进行稀疏分解，得到对应的响应系数：S4、设置初始阈值，将响应小于阈值的神经元响应置零，得到响应矩阵；S5、根据所述响应矩阵重建图像；S6、计算所述重建图像与原始图像的误差率；S7、若所述误差大于10%，则返回步骤S4降低阈值，若小于10%则结束，输出响应系数矩阵，从而达到减少需要在视皮层激活神经元的数量；S8、根据给定响应系数和神经元的特征调谐参数，求解电流刺激方案；即：通过H-H模型模拟特定神经元的特征调谐特性来确定电流刺激方案，以激活视皮层中的神经元细胞产生拟定的响应模式，从而使患者感知到对应的图像模式。本发本文档来自技高网...

【技术保护点】
一种视皮层假体的图像处理装置，包括左右微型摄像头、图像预处理器、图像编码器，其特征在于：所述左右微型摄像头将各自同步实时采集的视频信息输出给所述图像预处理器, 图像预处理器将接收的两路所述视频信息进行拼接融合成一幅全视野图像，并基于视觉系统的注意机制,检测图像的显著性区域,进一步完成图像的边缘提取、增强和像素降低等预处理操作，输出给所述图像编码器, 图像编码器将接收的所述经预处理后的全视野图像做进一步的处理与编码，转化为人体视觉皮层能够接收的电信号。

【技术特征摘要】
1.一种视皮层假体的图像处理装置，包括左右微型摄像头、图像预处理器、图像编码器，其特征在于：所述左右微型摄像头将各自同步实时采集的视频信息输出给所述图像预处理器, 图像预处理器将接收的两路所述视频信息进行拼接融合成一幅全视野图像，并基于视觉系统的注意机制,检测图像的显著性区域,进一步完成图像的边缘提取、增强和像素降低等预处理操作，输出给所述图像编码器, 图像编码器将接收的所述经预处理后的全视野图像做进一步的处理与编码，转化为人体视觉皮层能够接收的电信号。2.根据权利要求1所述视皮层假体的图像处理装置，其特征在于：所述左右微型摄像头均为CMOS图像传感器摄像头，分别对应安装在眼镜架的左右眼镜框内，单个CMOS图像传感器摄像头的视角范围≤90度，分别通过USB接口与所述图像预处理器进行数据传输。3.根据权利要求1所述视皮层假体的图像处理装置，其特征在于：所述左右微型摄像头在左右眼镜框内的安装位置与角度均可调，融合后的全视野图像的视角θ计算公式如下：式中，α为左微型摄像头的左极限视界与正前方的夹角，等同于右微型摄像头的右极限视界与正前方的夹角，d为两个微型摄像头的中心间距，h为拍摄点m到左、右微型摄像头连线的垂直距离；所述α由单个微型摄像头的视角范围及其与两微型摄像头所呈直线间夹角共同决定，通过调整α和d，能够扩大总视角θ。4.一种如权利要求1所述视皮层假体图像处理装置的图像处理方法，其特征在于：包括图像预处理和图像编码两部分；一、所述图像预处理按照下述步骤进行：S1、图像校正采用模板法对所述左右微型摄像头传输来的实时视频信息进行模板制定、特征点提取和求解镜头畸变系数；S2、图像配准采用比值匹配法对所述左右微型摄像头传输来的实时视频图像进行快速配准；S3、图像融合图像融合是为了解决图像匹配结束后所述左右摄像头相邻视角拼接的交界处问题，这里采用渐入渐出的线性融合方法实现双路视频图像的融合；即：将左右摄像头相邻视角图像的像素值进行加权平均得到重叠区每一个像素点的值；其中像素点到图像重叠区两边缘的距离作为融合比重；S4、显著性区域检测采用简单线性迭代的超像素图像分割方法与马尔科夫吸收链相结合的方法提取融合后全视野图像的显著性区域； 即: 采用简单线性迭代的超像素图像分割方法对融合后的全视野图像进行分割，以图像中超像素点作为节点，连接各节点对图像分割成众多区域，利用马尔科夫吸收链方法检测出图像中显著性的区域；S5、边缘提取采用Canny算子检测算法对显著性区域内的目标图像进行边缘提取；即进行降噪、寻找图像中的亮度梯度、在图像中跟踪边缘；S6、图像增强采用形态学方法中的腐蚀和膨胀进行图像增强；二、所述图像编码按照下述步骤进行：S1、借鉴稀疏编码的思想，将预处理后的图像采用图像原子库中的基函数进行表示，得到每个原子对应的稀疏响应系数；S2、根据给定响应系数和神经元的特征调谐参数，求解电流刺激方案；即：通过H-H模型模拟特定神经元的特征调谐特性来确定电流刺激方案，为激活视皮层中...

【专利技术属性】
技术研发人员：师丽，牛晓可，王治忠，王松伟，刘丽君，王江涛，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11