双目视差估计方法和视觉假体以及计算机可读存储介质技术

本发明专利技术公开了一种双目视差估计方法和视觉假体以及计算机可读存储介质，其中，双目视差估计方法包括：获取双目相机采集的视觉假体佩戴者周围环境的第一图像和第二图像；对所述第一图像和所述第二图像进行深度特征提取和匹配融合，以获得特征图；根据所述特征图进行视差估算，以获得用于生成视觉假体的电刺激脉冲信号的目标视差图。将双目视差估计方法和视觉假体结合，可以有效提取盲人周围环境中的障碍物信息并提供给盲人患者，辅助患者识别和躲避生活场景中的各种障碍物，提高其行动能力。提高其行动能力。提高其行动能力。

【技术实现步骤摘要】
双目视差估计方法和视觉假体以及计算机可读存储介质


[0001]本专利技术涉及医疗器械
，尤其是涉及一种双目视差估计方法，以及视觉假体和计算机可读存储介质。

技术介绍

[0002]视觉假体是通过向视网膜或视觉皮层施加刺激电流来诱发视盲患者光幻视，以形成视觉感受的一种新型医疗器械。根据刺激电极植入位置的不同，可以分为视网膜刺激视觉假体(也称为“植入式视网膜电刺激器”)和脑皮层刺激视觉假体。
[0003]相关技术中，视网膜刺激视觉假体通过外部摄像头获取患者周围环境图像后，采用常规图像处理算法增强图像后转换为电刺激信号，发送给植入到患者视网膜上的电极阵列，视网膜细胞在受到电刺激来实现视觉感知和重建。
[0004]但是，实际日常生活场景中，盲人患者走动时其周围往往同时存在各种不同的障碍物，目前常规图像处理算法无法在复杂场景下有效提取并向患者展示生活中的障碍物以及他们与障碍物之间的距离，因此，无法有效辅助患者识别和躲避生活场景中的各种障碍物，存在安全隐患。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术第一个目的在于提出了一种双目视差估计方法，该方法可以有效提取盲人周围环境中的障碍物信息并提供给盲人患者，辅助患者识别和躲避生活场景中的各种障碍物，提高其行动能力。
[0006]本专利技术的第二个目的在于提出一种视觉假体。
[0007]本专利技术的第三个目的在于提出一种计算机可读存储介质。
[0008]为了达到上述目的，本专利技术第一方面实施例的双目视差估计方法，获取双目相机采集的视觉假体佩戴者周围环境的第一图像和第二图像；对所述第一图像和所述第二图像进行深度特征提取和匹配融合，以获得特征图；根据所述特征图进行视差估算，以获得用于生成视觉假体的电刺激脉冲信号的目标视差图。
[0009]根据本专利技术实施例的双目视差估计方法，可以精确计算视差图，实现复杂环境下有效提取障碍物信息，生成用于生成视觉假体的电刺激脉冲信号的目标视差图，即将双目视差估计方法与视觉假体的电刺激进行结合，可以显著提升视觉假体向患者传输的障碍物识别和躲避信息辅助方面的准确性和有效性，提高患者其行动能力。
[0010]在一些实施例中，对所述第一图像和所述第二图像进行深度特征提取和匹配融合，以获得特征图，包括：以所述第一图像和所述第二图像作为输入，经MobileNet并利用共享权重的方式分别提取所述第一图像中的第一图像特征以及所述第二图像中的第二图像特征；按照一组预设的视差值分别将所述第一图像特征和所述第二图像特征进行特征匹配，获得多个匹配结果；将多个所述匹配结果进行融合，以获得一组特征图。
[0011]在一些实施例中，在以所述第一图像和所述第二图像作为输入，经MobileNet并利
用共享权重的方式分别提取所述第一图像中的第一图像特征以及所述第二图像中的第二图像特征之前，所述控制方法还包括：对所述第一图像和所述第二图像进行畸变校正和立体校正，以使得校正后的第一图像和所述第二图像的匹配点在同一像素行上。
[0012]在一些实施例中，根据所述特征图进行视差估算，以获得用于生成视觉假体的电刺激脉冲信号的目标视差图，包括：将所述一组特征图输入视差估算网络以获得初始视差图，以及，将所述一组特征图输入权重估算网络以获得注意力权重；将所述初始视差图、所述注意力权重和所述特征图进行加权融合，并输入全局信息优化网络；利用上下文时序关系进行连续帧优化所述初始视差图，以获得最终预测视差图；根据所述视觉假体所设定的分辨率对所述最终预测视差图进行下采样，以获得所述目标视差图。
[0013]在一些实施例中，将所述一组特征图输入视差估算网络以获得初始视差图，包括：将所述一组特征图进行序列化，获得序列化特征图；利用深度特征变换网络对输入输出序列的依赖项进行建模，以确定特征映射关系；根据所述特征映射关系经过特征映射将所述序列化特征图进行聚集，以估计所述初始视差图。
[0014]在一些实施例中，将所述一组特征图输入权重估算网络以获得注意力权重，包括：以所述一组特征图作为输入信息；利用多尺度空洞卷积金字塔模块，通过聚合不同尺寸和不同位置的环境信息构建匹配代价；通过3D卷积融合堆叠多个沙漏网络，调整所述匹配代价；以及，通过所述权重估算网络的SoftMax层输出所述注意力权重。
[0015]在一些实施例中，利用上下文时序关系进行连续帧优化所述初始视差图，以获得最终预测视差图，包括：对连续的K帧的第一图像和第二图像分别进行基于MobileNet的特征提取和连续帧之间的特征匹配；基于Perspective
‑
n
‑
Point算法求解每帧图像在相对坐标系下的相机位姿变换关系；利用帧与帧之间的投影进行缺失区域的补全，以获得所述最终预测视差图。
[0016]在一些实施例中，利用帧与帧之间的投影进行缺失区域的补全，以获得所述最终预测视差图，包括：确定图像的缺失区域；以所述缺失区域中最邻近匹配点为中心、以预设分辨率进行所述缺失区域的超像素分割，使得所述缺失区域被掩码包含；基于最邻近匹配点在连续帧之间的投影关系，利用相邻帧掩码内的有效视差，进行所述缺失区域的局部的视差补全，以获得所述最终预测视差图。
[0017]为了达到上述目的，本专利技术第二方面实施例的视觉假体，包括：植入装置和无线信号器，所述植入装置与所述无线信号器连接；摄像单元，用于采集佩戴者周围环境的图像；人工智能图像处理单元，所述人工智能图像处理单元与所述摄像单元和所述无线信号器连接，用于根据所述的双目视差估计方法获得目标视差图，并将所述目标视差图通过所述无线信号器发送给所述植入装置，所述植入装置根据所述目标视差图生成电刺激脉冲信号。
[0018]根据本专利技术实施例的视觉假体，通过人工智能图像处理单元执行上面实施例的双目视差估计方法获得目标视差图，即将上面实施例的双目视差估计方法应用于视觉假体，可以实现复杂环境下有效提取障碍物信息，可以显著提升视觉假体向患者传输的障碍物识别和躲避信息辅助方面的准确性和有效性，提高患者行动能力。
[0019]在一些实施例中，所述摄像单元包括至少一套双目相机。
[0020]为了达到上述目的，本专利技术第三方面实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的双目视差估计方法。
[0021]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0022]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0023]图1是根据本专利技术的一个实施例的视觉假体的框图；
[0024]图2是根据本专利技术的一个实施例的双目视差估计方法的流程图；
[0025]图3是根据本专利技术的另一个实施例的双目视差估计方法的流程图；
[0026]图4是根据本专利技术的一个实施例的视觉假体工作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目视差估计方法，其特征在于，包括：获取双目相机采集的视觉假体佩戴者周围环境的第一图像和第二图像；对所述第一图像和所述第二图像进行深度特征提取和匹配融合，以获得特征图；根据所述特征图进行视差估算，以获得用于生成视觉假体的电刺激脉冲信号的目标视差图。2.根据权利要求1所述的双目视差估计方法，其特征在于，对所述第一图像和所述第二图像进行深度特征提取和匹配融合，以获得特征图，包括：以所述第一图像和所述第二图像作为输入，经MobileNet并利用共享权重的方式分别提取所述第一图像中的第一图像特征以及所述第二图像中的第二图像特征；按照一组预设的视差值分别将所述第一图像特征和所述第二图像特征进行特征匹配，获得多个匹配结果；将多个所述匹配结果进行融合，以获得一组特征图。3.根据权利要求2所述的双目视差估计方法，其特征在于，在以所述第一图像和所述第二图像作为输入，经MobileNet并利用共享权重的方式分别提取所述第一图像中的第一图像特征以及所述第二图像中的第二图像特征之前，所述方法还包括：对所述第一图像和所述第二图像进行畸变校正和立体校正，以使得校正后的第一图像和所述第二图像的匹配点在同一像素行上。4.根据权利要求2所述的双目视差估计方法，其特征在于，根据所述特征图进行视差估算，以获得用于生成视觉假体的电刺激脉冲信号的目标视差图，包括：将所述一组特征图输入视差估算网络以获得初始视差图，以及，将所述一组特征图输入权重估算网络以获得注意力权重；将所述初始视差图、所述注意力权重和所述特征图进行加权融合，并输入全局信息优化网络；利用上下文时序关系进行连续帧优化所述初始视差图，以获得最终预测视差图；根据所述视觉假体所设定的分辨率对所述最终预测视差图进行下采样，以获得所述目标视差图。5.根据权利要求4所述的双目视差估计方法，其特征在于，将所述一组特征图输入视差估算网络以获得初始视差图，包括：将所述一组特征图进行序列化，获得序列化特征图；利用深度特征变换网络对输入输出序列的依赖项进行建模，以确定特征映射关系；根据所述特征映射关系经过特征映射将所述序列化特征图进行聚集，以估...

【专利技术属性】
技术研发人员：田洪君，廖玚，陈应俊，
申请(专利权)人：微智医疗器械有限公司，
类型：发明
国别省市：