将对象区分优先级以用于对象辨识制造技术

本发明专利技术提供用于在一或多个视频帧中将对象区分优先级以用于对象辨识的技术和系统。举例来说，获得当前视频帧，且在所述当前视频帧中检测对象。确定与所述对象相关联的状态信息。也可确定所述对象的优先级。举例来说，可针对对象基于与所述对象相关联的状态信息确定优先级。针对来自所述对象的至少一个对象基于针对所述至少一个对象确定的优先级执行对象辨识。举例来说，可针对具有较高优先级的对象在具有较低优先级的对象之前执行对象辨识。

Prioritize objects for object identification

【技术实现步骤摘要】
【国外来华专利技术】将对象区分优先级以用于对象辨识相关申请的交叉引用本申请案要求2017年8月30日提交的第62/552,165号美国临时申请案的权益，所述美国临时申请案特此以引用的方式且出于所有目的全文并入本文中。
本专利技术大体上涉及对象辨识，且更具体来说涉及用于将对象区分优先级以用于对象辨识的技术和系统。
技术介绍
对象辨识可用以从数字图像或视频剪辑的视频帧识别或检验对象。对象辨识的一个实例是面部辨识，其中检测且辨识人的面部。在一些情况下，从图像提取面部的特征且与存储于数据库中的特征进行比较以尝试辨识面部。在一些情况下，将所提取的特征馈送到分类器且分类器将给出输入特征的身份。对象辨识是时间和资源密集的过程。
技术实现思路
在一些实例中，描述用于将图像中的对象区分优先级以用于执行对象辨识的技术和系统。举例来说，可跨越视频帧序列检测和跟踪对象。在每一视频帧，可将对象区分优先级以用于对象辨识过程。可随后对具有最高优先级的对象执行对象辨识过程。举例来说，具有较高优先级的对象将比具有较低优先级的对象更早处理。在一些情况下，所述技术和系统用于将视频帧中的面部区分优先级以用于面部辨识。使用基于指派于对象的状态的一组规则来更新对象的优先级。基于针对每一视频帧执行的对象跟踪的结果而确定状态。举例来说，可基于一或多个先前视频帧中的对象的先前状态，基于与当前视频帧中的对象相关联的唯一对象识别符，基于从针对对象执行的前一对象辨识过程确定的对象的置信度得分，和/或基于指派于对象的历史计数器，来针对当前视频帧确定对象的状态。对象的历史计数器对对象已在某一状态中的次数和/或对象已经辨识为具有高于或低于一或多个置信度阈值的置信度得分的次数进行计数。指派于对象的状态可包含新状态、经确认状态、未经确认状态(也被称作非确认状态)、预先陌生人状态和陌生人状态。可对不匹配于任何先前检测和/或跟踪的对象的对象指派新状态。当对象的唯一对象识别符匹配于在前一帧中检测和跟踪的对象的唯一对象识别符时，且在一些情况下，当基于置信度得分和/或对象的历史计数器满足其它条件时也可对对象指派新状态。当对象的置信度得分高于高置信度阈值从而指示存在对象匹配于已知对象(例如，向对象辨识系统登记的对象)的数据库中注册的对象的高置信度时，可为对象指派经确认状态。可对在当前视频帧中的对象的唯一对象识别符与匹配于当前视频帧的对象的前一视频帧中的前一对象的唯一对象识别符之间具有识别符失配的对象指派未经确认状态(例如，基于对象的限界框与前一对象的限界框之间的重叠，或其它合适的匹配技术)。在一些情况下，可基于针对对象确定的置信度得分指派未经确认状态。也可基于对象是否展现陌生人的特性而指派状态。如本文所使用，术语陌生人指代未在已知对象的数据库中注册的对象。可对具有低于用以识别陌生人的最小置信度阈值的置信度得分但具有指示在阈值数目的帧中尚未检测到作为陌生人的对象的历史计数器值的对象指派预先陌生人状态。可对具有低于最小置信度阈值的置信度得分且具有指示在阈值数目的帧中对象已被检测为陌生人的历史计数器值的对象指派陌生人状态。也可使用其它因数来确定对象的状态。可为每一状态定义基本优先级。具有“新”状态的对象与具有其它状态的对象的基本优先级相比可具有最高基本优先级。按降序针对未经确认状态、随后是预先陌生人状态、经确认状态和陌生人状态定义下一最高基本优先级。当对象被新指派某一状态时，为所述状态定义的基本优先级经指派于所述对象。举例来说，如果面部或其它对象在当前帧中经辨识且其状态改变到不同状态，那么面部的优先级将更新到新指派状态的基本优先级。在一些情况下，如果对象的状态在当前帧中维持于其当前状态(在此情况下状态未更新到不同状态)，那么对象的优先级将增加预定义量。在一些情况下，如果在当前帧中检测和跟踪对象，但在当前帧中未辨识出，那么对象的优先级将被增加预定义量。使用本文所描述的技术和系统，可以高准确性实时实现对象辨识(包含面部辨识)。如本文所使用，术语“实时”指代在正捕获视频序列时辨识视频序列中的对象。根据至少一个实例，提供一种在一或多个视频帧中将对象区分优先级以用于对象辨识的方法。所述方法包含获得当前视频帧，以及检测所述当前视频帧中的多个对象。所述方法进一步包含确定与所述多个对象相关联的状态信息。所述方法进一步包含确定所述多个对象的优先级。针对对象基于与所述对象相关联的状态信息确定优先级。所述方法进一步包含针对来自所述多个对象的一或多个对象基于为所述一或多个对象确定的一或多个优先级执行对象辨识。在具有较低优先级的对象之前针对具有较高优先级的对象执行对象辨识。在另一实例中，提供一种用于在一或多个视频帧中将对象区分优先级以用于对象辨识的设备，其包含经配置以存储视频数据的存储器和处理器。所述处理器经配置以且可获得当前视频帧，且检测当前视频帧中的多个对象。所述处理器进一步经配置以且可确定与所述多个对象相关联的状态信息。所述处理器进一步经配置以且可确定所述多个对象的优先级。针对对象基于与所述对象相关联的状态信息确定优先级。所述处理器进一步经配置以且可针对来自所述多个对象的一或多个对象基于针对所述一或多个对象确定的一或多个优先级执行对象辨识。在具有较低优先级的对象之前针对具有较高优先级的对象执行对象辨识。在另一实例中，提供一种非暂时性计算机可读媒体，其上存储有指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器：获得当前视频帧；检测当前视频帧中的多个对象；确定与所述多个对象相关联的状态信息；确定所述多个对象的优先级，其中针对对象基于与对象相关联的状态信息确定优先级；以及针对来自所述多个对象的一或多个对象基于针对所述一或多个对象确定的一或多个优先级执行对象辨识，其中针对具有较高优先级的对象在具有较低优先级的对象之前执行对象辨识。在另一实例中，提供一种用于在一或多个视频帧中将对象区分优先级以用于对象辨识的设备。所述设备包含用于获得当前视频帧的装置，和用于检测当前视频帧中的多个对象的装置。所述设备进一步包含用于确定与所述多个对象相关联的状态信息的装置。所述设备进一步包含确定所述多个对象的优先级。针对对象基于与所述对象相关联的状态信息确定优先级。所述设备进一步包含用于针对来自所述多个对象的一或多个对象基于为所述一或多个对象确定的一或多个优先级执行对象辨识的装置。在具有较低优先级的对象之前针对具有较高优先级的对象执行对象辨识。在一些方面中，所述多个对象包含多个面部，且对象辨识包含面部辨识。在一些方面中，上文描述的方法、设备和计算机可读媒体进一步包括：获得所述多个对象的对象识别符、置信度得分和历史计数器信息，其中对象的历史计数器信息至少指示所述对象已具有当前状态的帧的数目；以及基于所述多个对象的对象识别符、置信度得分和历史计数器信息确定所述多个对象的状态信息。在一些方面中，上文描述的方法、设备和计算机可读媒体进一步包括：响应于对象的状态针对当前帧维持于当前状态将当前视频帧的对象的优先级增加预定义量。在一些方面中，上文描述的方法、设备和计算机可本文档来自技高网...

【技术保护点】
1.一种用于在一或多个视频帧中将对象区分优先级以用于对象辨识的设备，其包括：/n存储器，其经配置以存储与所述一或多个视频帧相关联的视频数据；以及/n处理器，其经配置以：/n获得当前视频帧；/n检测所述当前视频帧中的多个对象；/n确定与所述多个对象相关联的状态信息；/n确定所述多个对象的优先级，其中针对对象基于与所述对象相关联的状态信息确定优先级；以及/n针对来自所述多个对象的一或多个对象基于针对所述一或多个对象确定的一或多个优先级执行对象辨识，其中针对具有较高优先级的对象在具有较低优先级的对象之前执行对象辨识。/n

【技术特征摘要】
【国外来华专利技术】20170830 US 62/552,165;20180821 US 16/107,8791.一种用于在一或多个视频帧中将对象区分优先级以用于对象辨识的设备，其包括：
存储器，其经配置以存储与所述一或多个视频帧相关联的视频数据；以及
处理器，其经配置以：
获得当前视频帧；
检测所述当前视频帧中的多个对象；
确定与所述多个对象相关联的状态信息；
确定所述多个对象的优先级，其中针对对象基于与所述对象相关联的状态信息确定优先级；以及
针对来自所述多个对象的一或多个对象基于针对所述一或多个对象确定的一或多个优先级执行对象辨识，其中针对具有较高优先级的对象在具有较低优先级的对象之前执行对象辨识。


2.根据权利要求1所述的设备，其中所述处理器经配置以：
获得所述多个对象的对象识别符、置信度得分和历史计数器信息，其中对象的历史计数器信息至少指示所述对象已具有当前状态的帧的数目；以及
基于所述多个对象的所述对象识别符、所述置信度得分和所述历史计数器信息确定所述多个对象的所述状态信息。


3.根据权利要求1所述的设备，其中所述处理器经配置以响应于所述当前视频帧的对象的状态针对所述当前视频帧维持于当前状态而将所述对象的优先级增加预定义量。


4.根据权利要求1所述的设备，其中所述处理器经配置以：
跟踪所述当前视频帧中的所述多个对象，其中跟踪包含匹配所述当前视频帧中的对象与先前检测到的对象；以及
基于所述跟踪的结果更新与所述多个对象相关联的所述状态信息。


5.根据权利要求4所述的设备，其中在所述当前视频帧中检测到的不与前一视频帧中检测到的任何对象匹配的对象被指派新状态，其中经指派新状态的对象被给定比经指派于其它状态的对象更高的基本优先级。


6.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有新状态；
确定所述对象的对象识别符匹配于与所述当前视频帧中的所述对象匹配的先前检测到的对象的对象识别符；
确定所述对象的置信度得分大于第一置信度阈值且小于第二置信度阈值，所述第一置信度阈值小于所述第二置信度阈值；
确定所述对象的历史计数器小于第一计数器阈值，所述第一计数器阈值包含所述对象的所述置信度得分大于所述第一置信度阈值的视频帧的数目的计数；
基于所述对象的所述置信度得分大于所述第一置信度阈值且小于所述第二置信度阈值以及基于所述对象的所述历史计数器小于所述第一计数器阈值将所述对象的状态维持于所述新状态；以及
响应于所述对象的所述状态维持于所述新状态将所述对象的优先级增加预定义量。


7.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有新状态；
确定所述对象的置信度得分大于第二置信度阈值；
基于所述对象的所述置信度得分大于所述第二置信度阈值将所述对象的状态从所述新状态改变到经确认状态，所述经确认状态指示对所述对象先前执行的对象辨识成功的确认；以及
响应于将所述对象的所述状态从所述新状态改变到所述经确认状态将所述对象的优先级改变到与所述经确认状态相关联的基本优先级，其中与所述经确认状态相关联的所述基本优先级小于与所述新状态相关联的基本优先级。


8.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有新状态；
确定所述对象的对象识别符匹配于与所述当前视频帧中的所述对象匹配的先前检测到的对象的对象识别符；
确定所述对象的置信度得分大于第一置信度阈值且小于第二置信度阈值，所述第一置信度阈值小于所述第二置信度阈值；
确定所述对象的历史计数器大于第一计数器阈值，所述第一计数器阈值包含所述对象的所述置信度得分大于所述第一置信度阈值的视频帧的数目的计数；
基于所述对象的所述置信度得分大于所述第一置信度阈值且小于所述第二置信度阈值以及基于所述对象的所述历史计数器大于所述第一计数器阈值将所述对象的状态从所述新状态改变到经确认状态；以及
响应于所述对象的所述状态维持于所述新状态将所述对象的优先级增加预定义量。


9.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有新状态；
确定所述对象的对象识别符不匹配于与所述当前视频帧中的所述对象匹配的先前检测到的对象的对象识别符；
基于所述对象的所述对象识别符不匹配于所述先前检测到的对象的所述对象识别符将所述对象的状态从所述新状态改变到未经确认状态；以及
响应于将所述对象的所述状态从所述新状态改变到所述未经确认状态将所述对象的优先级改变到与所述未经确认状态相关联的基本优先级，其中与所述未经确认状态相关联的所述基本优先级小于与所述新状态相关联的基本优先级。


10.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有新状态；
确定所述对象的置信度得分小于最小置信度阈值，其中所述最小置信度阈值用以识别陌生人，且其中陌生人是未在已知对象的数据库中注册的对象；
基于所述对象的所述置信度得分小于所述最小置信度阈值将所述对象的状态从所述新状态改变到预先陌生人状态；以及
响应于将所述对象的所述状态从所述新状态改变到所述预先陌生人状态将所述对象的优先级改变到与所述预先陌生人状态相关联的基本优先级，其中与所述预先陌生人状态相关联的所述基本优先级小于与所述新状态相关联的基本优先级。


11.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有新状态；
确定所述对象的置信度得分小于最小置信度阈值，其中所述最小置信度阈值用以识别陌生人，且其中陌生人是未在已知对象的数据库中注册的对象；
确定所述对象的历史计数器大于最小计数器阈值，所述最小计数器阈值包含所述对象的所述置信度得分小于所述最小置信度阈值的视频帧的数目的计数；
基于所述对象的所述置信度得分小于所述最小置信度阈值以及基于所述对象的所述历史计数器大于所述最小计数器阈值将所述对象的状态从所述新状态改变到陌生人状态；以及
响应于将所述对象的所述状态从所述新状态改变到所述陌生人状态将所述对象的优先级改变到与所述陌生人状态相关联的基本优先级，其中与所述陌生人状态相关联的所述基本优先级小于与所述新状态相关联的基本优先级。


12.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有经确认状态，所述经确认状态指示对所述对象先前执行的对象辨识成功的确认；
确定所述对象的对象识别符匹配于与所述当前视频帧中的所述对象匹配的先前检测到的对象的对象识别符；
基于所述对象的所述对象识别符匹配于所述先前检测到的对象的所述对象识别符将所述对象的状态维持于所述经确认状态；以及
响应于所述对象的所述状态维持于所述经确认状态将所述对象的优先级增加预定义量。


13.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有经确认状态，所述经确认状态指示对所述对象先前执行的对象辨识成功的确认；
确定所述对象的对象识别符不匹配于与所述当前视频帧中的所述对象匹配的先前检测到的对象的对象识别符；
确定所述对象的置信度得分大于最小置信度阈值，其中所述最小置信度阈值用以识别陌生人，且其中陌生人是未在已知对象的数据库中注册的对象；
基于所述对象的所述对象识别符不匹配于所述先前检测到的对象的所述对象识别符以及基于所述对象的所述置信度得分大于所述最小置信度阈值将所述对象的状态从所述经确认状态改变到未经确认状态；以及
响应于将所述对象的所述状态从所述经确认状态改变到所述未经确认状态将所述对象的优先级改变到与所述未经确认状态相关联的基本优先级，其中与所述未经确认状态相关联的所述基本优先级高于与所述经确认状态相关联的基本优先级。


14.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有经确认状态，所述经确认状态指示对所述对象先前执行的对象辨识成功的确认；
确定所述对象的对象识别符不匹配于与所述当前视频帧中的所述对象匹配的先前检测到的对象的对象识别符；
确定所述对象的置信度得分小于最小置信度阈值，其中所述最小置信度阈值用以识别陌生人，且其中陌生人是未在已知对象的数据库中注册的对象；
基于所述对象的所述对象识别符不匹配于所述先前检测到的对象的所述对象识别符以及基于所述对象的所述置信度得分小于所述最小置信度阈值将所述对象的状态从所述经确认状态改变到预先陌生人状态；以及
响应于将所述对象的所述状态从所述经确认状态改变到所述预先陌生人状态将所述对象的优先级改变到与所述预先陌生人状态相关联的基本优先级，其中与所述预先陌生人状态相关联的所述基本优先级大于与所述经确认状态相关联的基本优先级。


15.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的对象具有未经确认状态；
确定所述对象的对象识别符匹配于与所述当前视频帧中的所述对象匹配的先前检测到的对象的对象识别符；
确定所述对象的置信度得分大于第一置信度阈值且小于第二置信度阈值，所述第一置信度阈值小于所述第二置信度阈值；
基于所述对象的所述对象识别符匹配于所述先前检测到的对象的所述对象识别符以及基于所述对象的所述置信度得分大于所述第一置信度阈值且小于所述第二置信度阈值将所述对象的状态从所述未经确认状态改变到新状态；以及
响应于将所述对象的所述状态从所述未经确认状态改变到所述新状态将所述对象的优先级改变到与所述新状态相关联的基本优先级，其中与所述新状态相关联的所述基本优先级大于与所述未经确认状态相关联的基本优先级。


16.根据权利要求1所述的设备，其中所述处理器经配置以：
确定所述当前视频帧中检测到的...

【专利技术属性】
技术研发人员：王雷，毕宁，罗纳德·卡里奥迪萨，陈颖，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US