与基于声学的回声签名的用户认证相关联的系统和方法技术方案

公开了与基于涉及与设备相关联的回声签名的联合特征表示来预测设备用户的认证相关联的系统。该系统执行包括响应于与设备相关联的配置文件的处理请求而发射声学信号的操作。该系统接收基于从相对于离散时段的与用户相关联的一个或更多个深度部分的独特轮廓的声学信号的反射而定制的一组回声声学信号。提取与回声声学信号相关联的一个或更多个区域分段以训练分类模型。基于所提取的一个或更多个区域分段生成分类模型。基于分类模型生成联合特征表示。在联合特征表示的预测中使用基于向量的分类模型。该系统基于联合特征表示的预测来确定联合特征表示是否与回声签名相关联。还公开了相应的方法和计算机可读设备。

【技术实现步骤摘要】
【国外来华专利技术】与基于声学的回声签名的用户认证相关联的系统和方法相关申请的交叉引用本非临时申请要求于2017年10月30日提交的美国临时申请No.62/578,724、于2018年6月4日提交的美国临时申请No.62/680,035以及于2018年9月21日提交的美国临时申请No.62/734,557的权益，为了所有目的，每个美国临时申请的说明书的全部内容均通过引用结合在本申请中。政府许可权声明本专利技术是在由国家科学基金会授予的合同编号NSF1730291下，在政府支持下进行的。政府享有本专利技术的某些权利。
本公开涉及一种与生成基于声学的回声签名相关联的系统和方法，该基于声学的回声签名是与设备的原始用户相关联的独特的基于回声的印记，该印记在设备的当前用户的认证的预测期间被实施。更具体地，本专利技术涉及一种新颖的训练和增强分类模型的系统和方法，以便在设备的当前用户配置文件的认证期间，预测相对于时段的、包括用户的声学特征和视觉标志性特征的联合特征表示的相应的认证。
技术介绍
历史上，智能手机上的用户认证对于许多重要的日常应用(诸如社交网络、购物、存钱和其他现代活动等)而言是关键的。用户认证的核心是在期望的安全性和便利性之间的平衡。解决方案必须是安全还容易实施的。为解决这个问题已经进行了一系列努力。最基本和传统的使用PIN码的方法有着可用性(例如，用户忘记了密码)和安全性(例如，肩窥攻击)的双重问题。基于脸部的认证可以容易地被用户的图像或视频文件欺骗。例如，任何简单的扭曲(诸如要求眨眼)都容易受到视频文件攻击。虹膜扫描很可能是最安全的方法，然而，它需要当前在大多数商业上可购得的移动设备上难以利用的特殊的传感器。指纹传感器虽然便于认证，但是正面临由不断增加的屏幕尺寸的趋势造成的实际挑战，这种趋势为指纹传感器留下了很小的空间。另一个示例，苹果公司的Face将点投影仪、泛光照明器和红外深度传感器封装在小区域中，以便感测脸部的3D形状，从而通常在节省空间的同时实现有效的安全性。然而，特殊的传感器仍然使用宝贵的正面空间，并且对于消费者来说在已经昂贵的设备上花费额外的费用(其材料账单的5％)。因此，智能手机或其他移动设备上的高效且有效的用户认证应当满足用户的安全性和便利性两者，这仍然有固有的困难的平衡技术。如上所述，苹果公司的Face是这种努力的最新成果，但是其代价是需要点投影仪、泛光照明器和红外摄像头的附加硬件。具体地，智能手机认证的历史包括使用传统的个人识别码(PIN)或文本/图形密码，文本/图形密码最早且仍然最广泛地用于智能手机用户认证。尽管简单，但是PIN或密码可以容易地被用户设备附近的某人窥视。当被录音或者声音被高级学习算法近似模仿时，语音识别很容易被欺骗。呼吸印记感测用户的呼吸音，当用户具有激烈的运动时，该呼吸音可能显著地改变。基于视觉的脸部识别易受伪装图像的攻击。尽管眨眼可以提高其安全性，但是录好的视频仍然可以欺骗系统。指纹传感器已经取得了极好的安全性和便利性。然而，该传感器占用了许多宝贵的空间，并从来自用户的指纹伪造指纹已经证明是实用的解决方案。更先进的指纹传感器使用超声波来穿透皮肤并构建3D成像，但此类传感器在大多数智能手机上通常是难以利用的，并将增加成本。苹果公司的使用特殊的原深感摄像头(TrueDepth)传感器，带来额外的硬件成本，并需要重大的设计改变。英特尔的实感是类似的技术，但是它昂贵且功率计算量大，不适合于移动设备。因此，需要一种基于声学回声签名的认证系统，该系统利用与用于用户认证的视觉特征相结合的用户的独特面部深度的主动且新颖的声学感测，该声学感测可以使用现有硬件取得高均衡准确度。为了使用声学信号和视觉方面取得有弹性的、安全的和易于使用的认证，仍有以下挑战：1)回声信号对用户的脸部和设备之间的相对位置(即，姿势)高度敏感，这使得更难以提取可靠的不敏感姿势特征以用于鲁棒的认证；2)智能手机通常包括多个扬声器和麦克风。确定哪些扬声器和麦克风是最合适的以及什么是要实施的最佳声信号对于认证性能仍是关键的；以及3)对于权宜的用户注册和实时认证，需要复杂的信号处理、特征提取和机器学习技术。因此，期望实施一种嵌入在智能手机或移动设备中的、无需任何附加硬件(诸如传感器)的用户认证系统。还期望实施一种基于声学的回声签名认证系统和相关方法，其从用户的智能手机设备的耳机扬声器发出几乎无声的信号，以便“照亮”用户的脸部。从回声中提取的声学特征与从前置摄像头检测到的视觉面部标志组合并用于认证用户，而不需要向现有智能手机设备添加任何附加硬件组件。由于回声签名声学特征取决于用户的独特3D面部几何形状，因此该回声签名系统不会像2D视觉脸部识别系统那样容易被图像或视频欺骗。这样的系统可以仅用商用硬件来实施，从而避免了由例如公司的Face所实施的解决方案中的特殊传感器的额外成本。对人和非人对象(诸如图像、照片和雕像)的实验表明，回声签名以93.75％的均衡准确度和93.50％的F分数执行，同时平均精度是98.05％，并且没有观察到基于图像/视频的攻击在任何欺骗中成功。还期望实施一种新颖的用户认证系统，该系统通过利用现有的耳机扬声器和前置摄像头来创建回声签名，这可以容易地部署在大多数手机上。不需要昂贵的特殊传感器(例如，深度或虹膜)，其也不需要更多硬件空间来将这些组件嵌入在设备中。回声签名认证系统将来自定制的CNN特征提取器的声学特征与来自视觉算法的面部标志性特征组合作为用户的联合特征描述。还期望实施不需要用户记住和使用任何密码的认证，从而避免类似PIN码的可用性问题。声学特征取决于个人用户的3D面部几何形状，因此相较容易欺骗的、基于2D视觉的方法的图像/视频攻击更有弹性。类似于FaceID，回声签名不需要用户直接触摸屏幕或手机，从而避免了诸如例如潮湿的手指等给指纹传感器造成困难的问题。还期望实施一种适于包括任何硬件限制、感测分辨率和人类的可听度在内的注意事项的声学发射信号。在某些实施例或方面中，为了来自脸部的回声的可靠分段而实施新颖的声学信号处理技术。还期望实施一种新颖的用户认证系统，该系统利用声学和/或视觉来进行安全、方便和有效的用户认证，而不需要除了已知的智能手机设备之外的任何附加的特殊硬件。还期望实施一种新颖的回声签名认证系统，该系统从智能手机设备的耳机扬声器主动发出几乎听不见的声学信号，以便“照亮”用户的脸部，并且通过从用户的脸部的3D面部轮廓反弹的回声和声学信号中的任一个提取的独特的特征来认证用户。还期望有效地对抗手持手机姿势中必需的改变，并且替代地实施从用户的3D面部轮廓反弹的回声(即，声学信号)。在某些方面或实施例中，实施了端到端混合机器学习框架，该框架使用卷积神经网络来提取典型的声学特征，并将视觉和声学特征融合到支持向量机(SVM)用于最终认证。在某些方面或实施例中，训练卷积神经网络(CNN)以提取可靠的声学特征，该声学特征还可以进一步与视觉面部标志位置组合，该视觉面部标志位置又被输入到二进制支持向量机(SVM)分类本文档来自技高网...

【技术保护点】
1.一种与基于涉及与设备相关联的回声签名的联合特征表示来预测设备用户的认证相关联的系统，所述系统包括：/n回声签名引擎，所述回声签名引擎包括执行以下操作的处理器：/n响应于处理与所述设备相关联的配置文件的请求而发射声学信号；/n接收基于从相对于离散时段的与所述用户相关联的一个或更多个深度部分的独特轮廓的声学信号的反射而定制的一组回声声学信号；/n提取与所述回声声学信号相关联的一个或更多个区域分段以训练分类模型；/n基于所提取的所述一个或更多个区域分段生成所述分类模型；/n基于所述分类模型提取联合特征表示；/n生成在所述联合特征表示的预测中使用的基于向量的分类模型；以及/n基于所述联合特征表示的所述预测来确定所述联合特征表示是否与所述回声签名相关联。/n

【技术特征摘要】
【国外来华专利技术】20171030 US 62/578,724;20180604 US 62/680,035;20181.一种与基于涉及与设备相关联的回声签名的联合特征表示来预测设备用户的认证相关联的系统，所述系统包括：
回声签名引擎，所述回声签名引擎包括执行以下操作的处理器：
响应于处理与所述设备相关联的配置文件的请求而发射声学信号；
接收基于从相对于离散时段的与所述用户相关联的一个或更多个深度部分的独特轮廓的声学信号的反射而定制的一组回声声学信号；
提取与所述回声声学信号相关联的一个或更多个区域分段以训练分类模型；
基于所提取的所述一个或更多个区域分段生成所述分类模型；
基于所述分类模型提取联合特征表示；
生成在所述联合特征表示的预测中使用的基于向量的分类模型；以及
基于所述联合特征表示的所述预测来确定所述联合特征表示是否与所述回声签名相关联。


2.根据权利要求1所述的系统，其中，与所述用户配置文件相关联的所述联合特征表示包括声学特征。


3.根据权利要求1所述的系统，其中，与所述用户配置文件相关联的所述联合特征表示包括所提取的与相对于离散时段的一个或更多个深度部分的所述独特轮廓相关联的标志坐标。


4.根据权利要求3所述的系统，其中，与所述用户配置文件相关联的所述联合特征表示包括所提取的与相对于离散时段的一个或更多个深度部分的所述独特轮廓相关联的声学特征。


5.根据权利要求1所述的系统，其中，用于处理与计算设备相关联的所述配置文件的所述请求包括原始用户配置文件的初始注册或相对于当前时段的用户配置文件的认证以访问计算设备。


6.根据权利要求5所述的系统，其中，用于处理与所述计算设备相关联的所述配置文件的请求还包括：通过将与所述原始用户配置文件的联合特征表示相关联的向量特征和与相对于所述当前时段的所述当前用户配置文件的联合特征表示相关联的向量特征进行比较来认证当前用户配置文件以访问所述计算设备。


7.根据权利要求6所述的系统，其中，所述操作还包括：基于与所述当前用户配置文件的联合特征表示相关联的所述向量特征相对于与所述原始用户配置文件的联合特征表示相关联的向量特征的相似性是否高于阈值来认证所述当前用户配置文件。


8.根据权利要求1所述的系统，其中，所述提取与所述回声声学信号相关联的所述一个或更多个区域分段的操作还包括：在与接收到的声学回声信号相关联的所述一个或更多个区域分段中识别直接路径分段。


9.根据权利要求1所述的系统，其中，所述提取与所述回声声学信号相关联的所述一个或更多个区域分段的操作还包括：在与所述接收到的回声声学信号相关联的所述一个或更多个区域分段中识别主回声分段。


10.根据权利要求3所述的系统，其中，生成与所述用户配置文件相关联的所述联合特征表示还包括：用增强后的标志坐标来增强所述联合特征表示，所述合成的声学特征和增强后的标志坐标与相对于不同的离散时段的与所述用户相关联的一个或更多个深度部分的所述独特轮廓相关联。


11.根据权利要求10所述的系统，其中，提取与所述合成的声学特征和/或增强后的标志坐标相关联的一个或更多个不同的向量特征用于生成相对于所述不同的离散时段的所述联合特征表示。


12.一种与基于涉及与设备相关联的回声签名的联合特征表示来预测所述设备用户的认证相关联的方法，所述方法包括：
回声签名引擎，所述回声签名引擎包括执行以下操作的处理器：
响应于处理与所述设备相关联的配置文件的请求而发射声学信号；
接收基于从相对于离散时段的与所述用户相关联的一个或更多个深度部分的独特轮廓的声学信号的反射而定制的一组回声声学信号；
提取与所述回声声学信号相关联的一个或更多个区域分段以训练分类模型；
基于所提取的所述一个或更多个区域分段生成所述分类模型；

【专利技术属性】
技术研发人员：叶凡，周兵，
申请(专利权)人：纽约州州立大学研究基金会，
类型：发明
国别省市：美国;US