用于眼睛图像分割和图像质量估计的神经网络制造技术

公开了用于眼睛图像分割和图像质量估计的系统和方法。在一个方面，在接收眼睛图像之后，诸如增强现实装置的装置可以使用具有合并架构的卷积神经网络来处理眼睛图像，以生成分割的眼睛图像和眼睛图像的质量估计。分割的眼睛图像可以包括背景区域、巩膜区域、虹膜区域或瞳孔区域。在另一方面，可以训练具有合并架构的卷积神经网络用于眼睛图像分割和图像质量估计。在又一方面，该装置可以使用分割的眼睛图像来确定例如瞳孔外形和虹膜外形的眼睛外形。该装置可以使用眼睛外形来创建虹膜区域的极性图像，用于计算虹膜代码或生物认证。用于计算虹膜代码或生物认证。用于计算虹膜代码或生物认证。

【技术实现步骤摘要】
用于眼睛图像分割和图像质量估计的神经网络
[0001]本申请是申请号为201780073170.4的中国专利申请的分案申请，原申请的国际申请日为2017年05月25日，优先权日为2016年09月29日，国际申请号为PCT/US2017/034482，进入国家阶段的日期为2019年05月27日，专利技术名称为“用于眼睛图像分割和图像质量估计的神经网络”。
[0002]相关申请的交叉引用
[0003]本申请要求2016年9月29日提交的名称为“NEURAL NETWORK FOR EYE IMAGE SEGMENTATION AND IMAGE QUALITY ESTIMATION(用于眼睛图像分割和图像质量估计的神经网络)”的申请号为2016138608的俄罗斯专利的优先权，其全部内容通过引用整体并入本文。


[0004]本公开一般涉及用于眼睛图像分割的系统和方法，并且更特别地，涉及使用用于眼睛图像分割和图像质量估计的卷积神经网络。

技术介绍

[0005]在个人生物识别领域，最有效的已知方法之一是使用人眼中的自然发生的图案，主要是虹膜或视网膜。在虹膜和视网膜中，在虹膜的情况下来自基质的纤维的颜色图案或者在视网膜的情况下来自血管的图案的颜色图案用于个人生物识别。在任何一种情况下，这些图案是由该组织形态发生中的随机事件表观遗传地生成的；这意味着即使对于遗传上相同的(同卵的)双胞胎，它们也是不同的。
[0006]常规的虹膜代码是从虹膜的图像中提取的位串。为了计算虹膜代码，将眼睛图像分割以将虹膜与瞳孔和巩膜分开，分割的眼睛图像被映射(map)到极坐标或伪极坐标，以及使用复值二维小波(例如，盖伯(Gabor)或哈尔(Haar))提取相位信息。典型的虹膜代码是基于小波卷积的符号的位串并且具有2048位。虹膜代码可以伴随有具有相同数量的位的掩码(mask)，其表示分析的区域是否被眼睑、睫毛、镜面反射所遮挡或被噪声破坏。使用这种虹膜代码是许多常见的基于虹膜的生物识别任务(例如从护照数据中识别乘客)的标准。

技术实现思路

[0007]分割眼睛图像以将虹膜与瞳孔和巩膜分开的方法具有许多挑战。
[0008]在一个方面，公开了一种用于眼睛图像分割和图像质量估计的方法。该方法受硬件处理器控制并包括：接收眼睛图像；使用卷积神经网络处理眼睛图像以生成眼睛图像的分割；以及使用卷积神经网络处理眼睛图像以生成眼睛图像的质量估计，其中卷积神经网络包括分割塔(tower)和质量估计塔，其中分割塔包括分割层和共享层，其中质量估计塔包括质量估计层和共享层，其中共享层的第一输出层连接到分割塔的第一输入层和分割塔的第二输入层，其中共享层的第一输出层连接到质量估计层的输入层，以及其中接收眼睛图像包括由共享层的输入层接收眼睛图像。
[0009]在另一方面，公开了一种用于眼睛图像分割和图像质量估计的方法。该方法受硬件处理器控制并包括：接收眼睛图像；使用卷积神经网络处理眼睛图像以生成眼睛图像的分割；以及使用卷积神经网络处理眼睛图像以生成眼睛图像的质量估计。
[0010]在又一方面，公开了一种用于训练卷积神经网络以进行眼睛图像分割和图像质量估计的方法。该方法受硬件处理器控制并包括：获得眼睛图像的训练组；提供使用眼睛图像的训练组的卷积神经网络；以及使用眼睛图像的训练组训练卷积神经网络，其中卷积神经网络包括分割塔和质量估计塔，其中分割塔包括分割层和共享层，其中质量估计塔包括质量估计层和共享层，其中共享层的输出层连接到分割塔的第一输入层和分割塔的第二输入层，以及其中共享层的输出层连接到质量评估层的输入层。
[0011]在再一方面，公开了一种用于确定语义分割的眼睛图像中的眼睛外形的方法。该方法受硬件处理器控制并包括：接收包括多个像素的眼睛图像的语义分割的眼睛图像，其中语义分割的眼睛图像的像素具有颜色值，其中语义分割的眼睛图像的像素的颜色值是第一颜色值、第二颜色值、第三颜色值和第四颜色值，其中第一颜色值对应于眼睛图像中的背景，其中第二颜色值对应于眼睛图像中眼睛的巩膜，其中第三颜色值对应于眼睛图像中眼睛的虹膜，以及其中第四颜色值对应于眼睛图像中眼睛的瞳孔；使用语义分割的眼睛图像确定瞳孔外形；使用语义分割的眼睛图像确定虹膜外形；以及确定语义分割的眼睛图像中的用于不相关的区域的掩码。
[0012]在另一方面，公开了一种用于确定语义分割的眼睛图像中的眼睛外形的方法。该方法受硬件处理器控制并包括：接收眼睛图像的语义分割的眼睛图像；使用语义分割的眼睛图像确定眼睛图像中眼睛的瞳孔外形；使用语义分割的眼睛图像确定眼睛图像中眼睛的虹膜外形；以及确定眼睛图像中的用于不相关的区域的掩码。
[0013]此说明书所述主题的一个或多个实施方式的细节在下面的附图和描述中阐述。从描述、附图和权利要求中，其他特征、方面以及优势将变得显而易见。本
技术实现思路
和之后的具体实施方式都不旨在限定或限制本专利技术主题的范围。
附图说明
[0014]图1是具有合并架构的示例卷积神经网络的框图，该合并架构包括共享共享层的分割塔和质量估计塔。
[0015]图2示意性地示出了眼睛图像中的示例眼睛。
[0016]图3A
‑
3C描绘了具有合并架构的示例卷积神经网络。
[0017]图4示出了使用图3中所示的具有合并卷积网络架构的卷积神经网络来分割眼睛图像的示例结果。
[0018]图5是创建具有合并架构的卷积神经网络的示例过程的流程图。
[0019]图6是使用具有合并架构的卷积神经网络分割眼睛图像的示例过程的流程图。
[0020]图7是确定分割的眼睛图像中的瞳孔外形、虹膜外形和用于不相关的图像区域的掩码的示例过程的流程图。
[0021]图8示意性地示出了示例语义分割的眼睛图像。
[0022]图9是确定分割的眼睛图像中的瞳孔外形或虹膜外形的示例过程的流程图。
[0023]图10A
‑
10C示意性地示出了示例瞳孔外形确定。
[0024]图11示出了使用图7和9中所示的示例方法确定瞳孔外形、虹膜外形和用于不相关的图像区域的掩码的示例结果。
[0025]图12A
‑
12B示出了在使用图7和9中所示的示例方法拟合瞳孔外形和虹膜外形之后获得的极坐标中的虹膜图像上训练具有三元组网络架构的卷积神经网络的示例结果。
[0026]图13是具有三元组网络架构的示例卷积神经网络的框图。
[0027]图14示意性地示出了可穿戴显示系统的示例。
[0028]在整个附图中，可以重复使用附图标记来指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，而不是为了限制本公开的范围。
具体实施方式
[0029]概述
[0030]具有2048位的常规的基于小波的虹膜代码可以用于虹膜识别。然而，虹膜代码可能对变化敏感，该变化包括图像裁剪、图像模糊、捕获图像时的光照条件、眼睑和睫毛的遮挡以及图像视角。另外，在计算虹膜代本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于眼睛图像分割和图像质量估计的方法，所述方法受硬件处理器的控制，并包括：接收眼睛图像；以及使用卷积神经网络处理所述眼睛图像以生成所述眼睛图像的分割和所述眼睛图像的质量估计；其中所述卷积神经网络包括用于生成所述眼睛图像的所述分割的分割塔和用于生成所述眼睛图像的所述质量估计的质量估计塔，其中所述分割塔包括分割层和共享层，其中所述质量估计塔包括质量估计层和所述共享层，其中所述共享层的第一输出层连接到所述分割层的第一输入层和所述分割层的第二输入层，所述第一输入层或所述第二输入层中的至少一个包括链接层，其中所述共享层的所述第一输出层连接到所述质量估计层的输入层，其中所述共享层的第一中间层的输出连接到所述分割层的第三输入层，以及其中所述眼睛图像由所述共享层的输入层接收。2.根据权利要求1所述的方法，其中所述共享层的不同数量的层连接到所述分割层的输入层和所述质量估计层。3.根据权利要求1至2中任一项所述的方法，其中使用所述卷积神经网络处理所述眼睛图像以生成所述眼睛图像的所述分割包括使用所述分割塔生成所述眼睛图像的所述分割，并且其中所述分割塔的输出层的输出为所述眼睛图像的所述分割。4.根据权利要求3所述的方法，其中所述眼睛图像的所述分割包括所述眼睛图像的背景、巩膜、虹膜或瞳孔。5.根据权利要求1至4中任一项所述的方法，其中使用所述卷积神经网络处理所述眼睛图像以生成所述眼睛图像的所述质量估计包括使用所述质量估计塔生成所述眼睛图像的所述质量估计，并且其中所述质量估计塔的输出层的输出包括所述眼睛图像的所述质量估计。6.根据权利要求1至5中任一项所述的方法，其中所述...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：